这个 Token 计算器统计什么?
它按 o200k_base GPT 分词规则统计输入文本的 Token 数,同时显示单词、字符和空白字符数量。一个 Token 可能包含一个单词、单词的一部分、标点或空白字符。
按 GPT 分词规则统计,其他模型的结果可能不同。
空格、换行和制表符按字符计数。空白字符可能与相邻文本共用一个 Token,因此不能从 Token 总数中减去这些数量。
一个字符可能跨越多个 Token。单独的字节片段以十六进制显示,避免破坏原始文本。
使用这款免费的 Token 计数器与计算器,在将文本用于 AI 提示词之前了解其长度。查看 Token、单词和字符数量,检查空白字符,并探索文本如何分割为 Token。
它按 o200k_base GPT 分词规则统计输入文本的 Token 数,同时显示单词、字符和空白字符数量。一个 Token 可能包含一个单词、单词的一部分、标点或空白字符。
不一定。一个 Token 可能包含多个字符或单词的一部分,一个字符也可能占用多个 Token。表情符号和带组合重音的字母,即使看起来只有一个字符,也可能使用多个 Token。字符数与 Token 数没有固定换算比例。
这三种语言都支持,但把它们统称为中日韩文字(CJK),不代表每个字符有相同的 Token 数。常见的多个字符可能合成一个 Token,单个字或音节也可能拆成多个 Token。结果取决于实际文本和分词规则,不能只根据语言估算。
也支持拉丁字母、西里尔字母、阿拉伯文字、印度文字等多种文字,以及混合语言文本。单词可能被拆成更小的片段,因此英语的词数或字符数估算不适用于所有语言。同一句话翻译成不同语言,Token 数也可能不同。
在现代浏览器中,汉字、日文假名、韩文音节和拉丁字母通常各算一个字符;带组合重音的字母或组合表情通常也算一个。空白和标点也计入字符数。词数按各语言的词语边界识别,中日韩文本不会仅因没有空格就整段算作一个词。这两项统计都独立于 Token 数。
空格和其他空白字符都会参与 Token 统计。空格可能与后面的单词合并,也可能单独形成 Token。删除空格可能改变相邻文本的分割边界,因此一个空格不一定对应一个 Token。
不一定。不同模型可能使用不同的分词规则。本工具为纯文本提供 GPT 参考计数。完整的聊天请求还可能包含角色、消息格式和工具定义,因此总用量可能不同。
不会。文本和导入文件都在浏览器内统计,不会将其内容发送到计数服务。
没有固定的文本长度或文件大小限制。较大输入需要更多时间,实际处理能力取决于设备可用内存。工具统计完整文本,仅预览前 500 个 Token,预览范围不会影响总数。点击“清空”可停止当前统计。
相关工具: 字数统计工具
格式化、美化 Java、Python、JavaScript、JSON、HTML 等代码,统一缩进、空格和换行。
裁剪、合并或拆分录音,去除静音与噪声,调整音量、速度、音调或声道。
打开并编辑 CSV 或 Excel 表格、整理表格文本,并将 CSV 转为 Excel 或 SQL。
编写和预览 Markdown、渲染 Mermaid 流程图,并转换 Markdown、HTML 与表格。
对比文本、统计字数和词频、排序或替换文本行,还可查看 DOCX 文本。
查询中文词语的意思、近义词和反义词,或查阅多种语言的 IPA 音标。
在 MP3、WAV、FLAC 等格式间转换,播放普通或原始 PCM 音频,并查看或编辑元数据。
查看、比较和校验 JSON,测试 JSONPath,或将数据转换为 CSV、YAML、XML。
将音频转录为文字、将文字生成语音,或直接在浏览器中录音。
转换和压缩视频、裁剪或合并片段、调整画面尺寸、提取音频。
播放本地或在线视频、录制屏幕或摄像头,也可把摄像头用作在线镜子。
压缩或合并 PDF、拆分与重排页面、将页面转成图片,并查看或比较文档。
转换图片格式、调整或裁剪照片、压缩文件、比较图片,并用 OCR 提取文字。
截图并美化画面,将文字做成图片或 GIF,在白板上绘制,还可生成词云和网站图标。
结合视频预览编辑 SRT、VTT 字幕,校准时间、转换格式并管理视频字幕轨。
打开 ZIP、7Z、RAR 或 TAR,选取文件解压;也可创建压缩包,并为 ZIP、7Z 设置密码。
编码或解码 Base64、Base32,转义 URL、HTML 和 Unicode 文本,并查看 JWT 内容。
在二进制、十进制和十六进制之间换算,将数字写成英文,或把文本转为二进制。
计算百分比和分数,汇总统计数据,还可计算成绩、折扣和宽高比。
显示在线时钟、运行倒计时或秒表,并计算日期、年龄与时区差异。
查看 IP 与 IPv6 连接、检查 HTTP 请求或 HAR 文件,并计算 CIDR 地址范围。
换算长度、重量、温度、数据存储等单位。
转换 HEX、RGB、HSL 色值,从图片提取颜色、检查对比度,或用纯色画面测试显示器。
生成和识别二维码、条形码,包括网址和 Wi-Fi 网络的二维码。
生成哈希值、UUID 和密码,测试正则表达式、创建 URL 别名,并检查文件权限。
查看屏幕分辨率与刷新率、用屏幕尺测量、测试按键,或使用提词器。
2048、扫雷、数独、五子棋、坦克大战