Подсчёт по правилам токенизации GPT. У других моделей результаты могут отличаться.
Пробелы, переносы строк и табуляции считаются как символы. Пробельный знак может входить в один токен с соседним текстом, поэтому эти числа нельзя вычитать из общего количества токенов.
Один символ может занимать несколько токенов. Отдельные фрагменты байтов показаны в шестнадцатеричном виде, чтобы сохранить исходный текст.
Используйте этот бесплатный счётчик и калькулятор токенов, чтобы оценить объём текста перед отправкой в запросе к ИИ. Просматривайте количество токенов, слов и символов, проверяйте пробельные знаки и изучайте, как текст разбивается на токены.
Он считает токены введённого текста по правилам токенизации GPT o200k_base. Также он показывает количество слов, символов и пробельных знаков. Токен может содержать слово, часть слова, знак пунктуации или пробельные знаки.
Нет. Токен может содержать несколько символов или только часть слова, а один символ может занимать несколько токенов. Эмодзи и буквы с комбинируемыми знаками тоже могут занимать несколько токенов, даже если выглядят как один символ. Фиксированного соотношения символов и токенов нет.
Все три языка поддерживаются, но их объединение под названием CJK не означает одинакового количества токенов на символ. Частые последовательности символов могут образовывать один токен, а отдельный символ или слог может разбиваться на несколько. Количество зависит от самого текста и правил токенизации, а не только от языка.
Счётчик также поддерживает тексты на латинице, кириллице, арабском письме, индийских и других письменностях, включая тексты на нескольких языках. Слова могут разбиваться на более мелкие части, поэтому оценки по количеству английских слов или символов подходят не для всех языков. Переводы одного предложения могут содержать разное количество токенов.
В современных браузерах один иероглиф хань, знак японской каны, корейский слог или латинская буква обычно считается одним символом. Буква с комбинируемым знаком ударения или составной эмодзи обычно тоже считается одним символом. Пробельные знаки и пунктуация тоже учитываются. Границы слов определяются с учётом языка, поэтому фрагмент CJK не считается одним словом лишь из-за отсутствия пробелов. Оба подсчёта независимы от подсчёта токенов.
Пробелы и другие пробельные знаки учитываются при подсчёте токенов. Пробел может объединяться со следующим словом или образовывать отдельный токен. Удаление пробела может изменить границы соседних токенов, поэтому один пробел не всегда означает один токен.
Нет. Модели могут использовать разные правила токенизации. Этот инструмент даёт справочное количество токенов GPT для обычного текста. Полные запросы чата могут также содержать роли, оформление сообщений и определения инструментов, поэтому их суммарное использование токенов может отличаться.
Нет. Текст и импортированные файлы обрабатываются для подсчёта в браузере. Инструмент не отправляет их содержимое в сервис подсчёта.
Фиксированного ограничения на длину текста или размер файла нет. Большие тексты требуют больше времени, а возможность их обработки зависит от доступной памяти устройства. Инструмент считает весь текст, но показывает только первые 500 токенов; предварительный просмотр не уменьшает итоговое количество. Нажмите «Очистить», чтобы остановить текущий подсчёт.
Связанные инструменты: Счётчик слов
Форматируйте и улучшайте оформление Java, Python, JavaScript, JSON, HTML и других языков; выравнивайте отступы, пробелы и переносы строк.
Обрезайте, объединяйте и разделяйте записи, удаляйте тишину и шум, меняйте громкость, скорость, тон или каналы.
Открывайте и редактируйте таблицы CSV или Excel, форматируйте табличный текст и преобразуйте CSV в Excel или SQL.
Пишите и просматривайте Markdown, отображайте схемы Mermaid и преобразуйте Markdown, HTML и таблицы.
Сравнивайте тексты, подсчитывайте слова и частые термины, сортируйте или заменяйте строки, просматривайте текст DOCX.
Находите значения, синонимы и антонимы китайских слов или транскрипции МФА для разных языков.
Конвертируйте MP3, WAV, FLAC и другие форматы, воспроизводите аудио или необработанный PCM, просматривайте и меняйте метаданные.
Просматривайте, сравнивайте и проверяйте JSON, тестируйте JSONPath или преобразуйте данные в CSV, YAML и XML.
Преобразуйте аудио в текст, создавайте речь из текста или записывайте свой голос в браузере.
Конвертируйте и сжимайте видео, обрезайте или соединяйте клипы, меняйте размер кадров и извлекайте аудио.
Воспроизводите локальные или потоковые видео, записывайте экран или камеру и используйте камеру как онлайн-зеркало.
Сжимайте и объединяйте PDF, разделяйте и переставляйте страницы, сохраняйте их как изображения, просматривайте и сравнивайте документы.
Преобразуйте форматы изображений, изменяйте размер или кадрируйте фото, сжимайте, сравнивайте и распознавайте текст с OCR.
Делайте и оформляйте снимки экрана, превращайте текст в картинки или GIF, рисуйте на доске, создавайте облака слов и фавиконки.
Редактируйте субтитры SRT или VTT с предпросмотром видео, сдвигайте время, меняйте формат и управляйте дорожками субтитров.
Открывайте ZIP, 7Z, RAR и TAR, извлекайте нужные файлы и создавайте архивы; ZIP и 7Z можно защитить паролем.
Кодируйте и декодируйте Base64 или Base32, экранируйте URL, HTML и Unicode, просматривайте содержимое JWT.
Переводите значения между двоичной, десятичной и шестнадцатеричной системами, записывайте числа словами или текст в двоичном виде.
Рассчитывайте проценты и дроби, сводите статистику и определяйте оценки, скидки или соотношение сторон.
Отображайте онлайн-часы, запускайте таймер или секундомер и рассчитывайте даты, возраст и разницу часовых поясов.
Проверяйте IP и подключение IPv6, изучайте HTTP-запросы или HAR-файлы и рассчитывайте диапазоны адресов CIDR.
Преобразуйте единицы длины, веса, температуры, объёма данных и другие величины.
Преобразуйте значения HEX, RGB и HSL, извлекайте цвета из изображений, проверяйте контрастность или тестируйте экран заливками.
Создавайте и считывайте QR-коды и штрихкоды, включая QR-коды для ссылок и сетей Wi-Fi.
Создавайте хеши, UUID и пароли, проверяйте регулярные выражения, формируйте URL-ярлыки и права доступа к файлам.
Проверяйте разрешение и частоту экрана, измеряйте экранной линейкой, тестируйте клавиши или читайте с телесуфлёра.
2048, Сапёр, Судоку, Гомоку, Танковый бой