Що рахує цей калькулятор токенів?
Він рахує токени введеного тексту за правилами токенізації GPT o200k_base. Також показує кількість слів, символів і пробільних знаків. Токени можуть містити слово, частину слова, розділові чи пробільні знаки.
Підраховано за токенізацією GPT. Інші моделі можуть давати інші результати.
Файли підраховуються локально, по одному. Враховується весь вміст без завантаження в текстовий редактор. Виберіть готовий файл, щоб переглянути його перші 500 токенів.
Пробіли, переноси рядків і табуляції — це кількості символів. Пробільні знаки можуть ділити токен із сусіднім текстом, тому ці числа не можна віднімати від загальної кількості токенів.
Один символ може охоплювати кілька токенів. Окремі фрагменти байтів показуються як шістнадцяткові значення, щоб зберегти початковий текст.
Використовуйте цей безкоштовний лічильник і калькулятор токенів, щоб виміряти текст перед використанням у запиті до ШІ. Переглядайте кількість токенів, слів і символів, досліджуйте пробільні знаки та поділ тексту на токени.
Він рахує токени введеного тексту за правилами токенізації GPT o200k_base. Також показує кількість слів, символів і пробільних знаків. Токени можуть містити слово, частину слова, розділові чи пробільні знаки.
Ні. Токен може містити кілька символів або лише частину слова, а один символ — займати кілька токенів. Емодзі й літери з комбінувальними знаками також можуть використовувати кілька токенів, навіть якщо виглядають як один символ. Сталого співвідношення символів і токенів немає.
Усі три мови підтримуються, але об’єднання в CJK не означає однакової кількості токенів на символ. Поширені послідовності символів можуть утворювати один токен, тоді як один символ чи склад можуть розбиватися на кілька. Кількість залежить від самого тексту й правил токенізації, а не лише від мови.
Лічильник також підтримує латиницю, кирилицю, арабські, індійські та інші системи письма, зокрема змішані мови. Слова можуть ділитися на менші частини, тому оцінки за англійськими словами чи символами не підходять усім мовам. Переклади одного речення можуть мати різну кількість токенів.
У сучасних браузерах китайський ієрогліф, знак японської кани, корейський склад або латинська літера зазвичай рахуються як один символ. Літера з комбінувальним наголосом або складений емодзі зазвичай також рахуються як один. Пробільні й розділові знаки включаються. Межі слів залежать від мови, тому текст CJK не вважається одним словом лише через відсутність пробілів. Обидва підрахунки окремі від токенів.
Пробіли й інші пробільні символи враховуються в підрахунку токенів. Пробіл може поєднуватися з наступним словом або бути окремим токеном. Видалення пробілу може змінити сусідні межі токенів, тому один пробіл не завжди означає один токен.
Ні. Моделі можуть використовувати різні правила токенізації. Цей інструмент дає орієнтовний підрахунок GPT для звичайного тексту. Повні чат-запити можуть також містити ролі, оформлення повідомлень і визначення інструментів, тому загальне використання може відрізнятися.
Ні. Текст та імпортовані файли підраховуються в браузері. Інструмент не надсилає їхній вміст до сервісу підрахунку.
Фіксованого обмеження довжини тексту чи розміру файла немає. Великі дані потребують більше часу й залежать від доступної пам’яті пристрою. Режим файлів підраховує кожен файл повністю без вставлення в редактор і зберігає завершені результати в разі скасування. Перегляд токенів показує лише перші 500; звіти CSV містять повні підрахунки.
Пов’язані інструменти: Лічильник слів
Форматуйте й упорядковуйте Java, Python, JavaScript, JSON, HTML та інші; налаштовуйте відступи, пробіли й розриви рядків.
Обрізайте, об’єднуйте чи розділяйте записи, видаляйте тишу або шум і налаштовуйте гучність, швидкість, висоту тону чи канали.
Відкривайте й редагуйте аркуші CSV або Excel, форматуйте табличний текст і перетворюйте CSV в Excel чи SQL.
Пишіть і переглядайте Markdown, відображайте діаграми Mermaid та перетворюйте Markdown, HTML і таблиці між форматами.
Порівнюйте уривки, рахуйте слова й ключові слова, сортуйте чи замінюйте рядки та переглядайте текст DOCX.
Шукайте китайські значення, синоніми й антоніми або вимову IPA різними мовами.
Перетворюйте MP3, WAV, FLAC та інші формати, відтворюйте аудіо або необроблений PCM, переглядайте й редагуйте аудіометадані.
Переглядайте, порівнюйте й перевіряйте JSON, тестуйте вирази JSONPath або перетворюйте дані в CSV, YAML та XML.
Розпізнавайте аудіо в текст, генеруйте мовлення з тексту або записуйте свій голос у браузері.
Перетворюйте й стискайте відео, обрізайте чи об’єднуйте кліпи, змінюйте розміри кадру й видобувайте аудіо.
Відтворюйте локальне або потокове відео, записуйте екран чи камеру й використовуйте камеру як онлайн-дзеркало.
Стискайте чи об’єднуйте PDF, розділяйте й переставляйте сторінки, перетворюйте їх на зображення та переглядайте чи порівнюйте документи.
Перетворюйте формати зображень, змінюйте розмір чи обрізайте фото, стискайте файли, порівнюйте картинки й видобувайте текст за допомогою OCR.
Робіть і прикрашайте знімки екрана, перетворюйте текст на зображення чи GIF, малюйте на дошці та створюйте хмари слів або фавікони.
Редагуйте субтитри SRT або VTT з попереднім переглядом відео, зсувайте час, перетворюйте формати й керуйте доріжками субтитрів.
Відкривайте файли ZIP, 7Z, RAR або TAR, видобувайте вибраний вміст і створюйте нові архіви з необов’язковими паролями ZIP/7Z.
Кодуйте й декодуйте Base64 або Base32, екрануйте URL, HTML і текст Unicode та переглядайте вміст JWT.
Перетворюйте системи числення й значення між двійковою, десятковою та шістнадцятковою; перетворюйте числа на слова або текст на двійковий запис.
Обчислюйте відсотки й дроби, підсумовуйте статистику та розраховуйте оцінки, знижки або співвідношення сторін.
Показуйте онлайн-годинник, запускайте зворотний відлік чи секундомір і розраховуйте дати, вік або різницю часових поясів.
Перевіряйте свою IP-адресу й з’єднання IPv6, переглядайте HTTP-запити або файли HAR та обчислюйте діапазони адрес CIDR.
Перетворюйте одиниці довжини, ваги, температури, обсягу даних та інші.
Перетворюйте значення HEX, RGB і HSL, видобувайте кольори із зображення, перевіряйте контраст або тестуйте дисплей суцільними кольорами.
Генеруйте й скануйте QR-коди або штрихкоди, зокрема QR-коди для посилань і мереж Wi-Fi.
Генеруйте хеші, UUID і паролі, тестуйте регулярні вирази, створюйте URL-слаги й перевіряйте права доступу до файлів.
Перевіряйте роздільну здатність і частоту оновлення екрана, вимірюйте екранною лінійкою, тестуйте клавіші або читайте з телесуфлера.
2048, Сапер, Судоку, Гомоку, Танкова битва