このトークン計算ツールは何を数えますか？
入力したテキストのトークン数を、GPTのo200k_baseトークン分割ルールで計算します。単語数、文字数、空白文字の数も表示します。トークンには単語、単語の一部、句読点、空白文字などが含まれます。
GPTのトークン分割ルールで計算します。他のモデルでは結果が異なる場合があります。
スペース、改行、タブは文字数として数えます。空白文字は前後のテキストと同じトークンに含まれる場合があるため、これらの数をトークン総数から差し引くことはできません。
1文字が複数のトークンに分かれることがあります。元のテキストを損なわないよう、バイトの断片は16進数で表示します。
無料のトークンカウンター・計算ツールで、AIへのプロンプトに使う前にテキストの量を確認できます。トークン数、単語数、文字数を調べ、空白文字の内訳やテキストがトークンに分かれる様子を確認できます。
入力したテキストのトークン数を、GPTのo200k_baseトークン分割ルールで計算します。単語数、文字数、空白文字の数も表示します。トークンには単語、単語の一部、句読点、空白文字などが含まれます。
いいえ。1つのトークンに複数の文字や単語の一部が含まれることも、1文字が複数のトークンに分かれることもあります。絵文字や結合記号が付いた文字も、見た目は1文字でも複数のトークンになる場合があります。文字数とトークン数の間に固定の比率はありません。
いずれにも対応していますが、CJKとしてひとまとめにしても、1文字あたりのトークン数が共通になるわけではありません。よく使われる文字の並びが1つのトークンになることも、1文字や1音節が複数のトークンに分かれることもあります。トークン数は言語だけでなく、実際のテキストとトークンの分割ルールによって決まります。
ラテン文字、キリル文字、アラビア文字、インド系文字などのテキストや、複数の言語が混ざったテキストにも対応しています。単語はさらに小さく分割される場合があるため、英語の単語数や文字数に基づく目安をすべての言語に当てはめることはできません。同じ文でも、翻訳するとトークン数が異なる場合があります。
現在のブラウザーでは、漢字、仮名、韓国語の音節、ラテン文字は通常それぞれ1文字として数えます。結合アクセント付きの文字や組み合わせた絵文字も、通常は1文字として数えます。空白文字や句読点も含まれます。単語数は言語に応じた区切りで数えるため、CJKの文章にスペースがないというだけで全文を1単語とみなすことはありません。文字数も単語数も、トークン数とは別に計算します。
スペースなどの空白文字もトークンの計算に含まれます。スペースは後ろの単語と一緒になる場合も、独立したトークンになる場合もあります。スペースを削除すると周囲のトークンの区切りも変わることがあるため、スペース1個が必ず1トークンになるわけではありません。
いいえ。モデルによってトークンの分割ルールが異なります。このツールはプレーンテキストについてGPTの参考値を表示します。会話リクエスト全体にはロール、メッセージ形式、ツール定義なども含まれるため、使用量の合計が異なる場合があります。
いいえ。テキストと読み込んだファイルはブラウザー内で計算され、内容が計算サービスに送信されることはありません。
テキストの長さやファイルサイズに固定の上限はありません。大きな入力ほど時間がかかり、処理できる量はお使いの端末で利用可能なメモリーに左右されます。全文を対象に計算し、プレビューには先頭の500トークンだけを表示します。プレビューの制限によって合計が減ることはありません。「クリア」で現在の計算を停止できます。
関連ツール： 文字数・単語数カウンター
Java・Python・JavaScript・JSON・HTMLなどのコードを整形・美化し、インデント、空白、改行をそろえます。
録音のトリミング・結合・分割、無音やノイズの除去、音量・速度・音程・チャンネルの調整ができます。
CSVやExcelの表を開いて編集し、表形式テキストを整形。CSVからExcelやSQLへの変換もできます。
Markdownの編集・プレビュー、Mermaid図の描画、Markdown・HTML・表の形式変換ができます。
文章の比較、単語数や頻出語の集計、行の並べ替え・置換、DOCX本文の表示ができます。
中国語の単語の意味、類義語、対義語や、さまざまな言語の IPA 発音記号を調べられます。
MP3・WAV・FLACなどを相互変換し、通常の音声や生PCMを再生。音声メタデータの確認・編集もできます。
JSONの表示・比較・検証、JSONPathのテスト、CSV・YAML・XMLへのデータ変換ができます。
音声を文字起こしし、テキストから音声を生成。ブラウザーで自分の声を録音することもできます。
動画の変換・圧縮、クリップのトリミング・結合、画面サイズの変更、音声抽出に対応します。
ローカル動画やストリーミング動画の再生、画面・カメラの録画、カメラを使ったオンラインミラーを利用できます。
PDFの圧縮・結合、ページの分割・並べ替え、画像への変換、文書の表示・比較ができます。
画像形式の変換、写真のサイズ変更・切り抜き、圧縮、画像比較、OCRによる文字抽出ができます。
スクリーンショットの撮影・装飾、文字から画像やGIFの作成、ホワイトボード描画、ワードクラウドやファビコンの生成ができます。
動画をプレビューしながらSRT・VTT字幕を編集。時間調整、形式変換、字幕トラックの管理ができます。
ZIP・7Z・RAR・TARを開いて必要なファイルを展開。新しいアーカイブの作成やZIP・7Zのパスワード設定もできます。
Base64・Base32のエンコードとデコード、URL・HTML・Unicodeのエスケープ、JWTの内容確認ができます。
2進・10進・16進の数値を変換し、数値を英語で表記。テキストから2進数への変換もできます。
パーセントや分数を計算し、統計データを集計。成績、割引率、縦横比も計算できます。
オンライン時計、カウントダウン、ストップウォッチを使い、日付・年齢・タイムゾーンの差を計算できます。
IPアドレスやIPv6接続の確認、HTTPリクエストやHARファイルの調査、CIDRアドレス範囲の計算ができます。
長さ・重さ・温度・データ容量などの単位を換算できます。
HEX・RGB・HSLを変換し、画像から色を抽出。コントラストの確認や単色画面によるディスプレイ確認もできます。
リンクやWi-Fi接続用のQRコード、各種バーコードを生成・読み取りできます。
ハッシュ・UUID・パスワードの生成、正規表現のテスト、URLスラッグの作成、ファイル権限の確認ができます。
画面解像度やリフレッシュレートの確認、画面定規での測定、キーボードのテスト、プロンプターの利用ができます。
2048、マインスイーパー、数独、五目並べ、タンクバトル