Dihitung menggunakan tokenisasi GPT. Model lain mungkin memberikan hasil berbeda.
Spasi, baris baru, dan tab dihitung sebagai karakter. Karakter spasi putih dapat berbagi token dengan teks di sekitarnya, sehingga angka-angka ini tidak dapat dikurangkan dari jumlah total token.
Satu karakter dapat tersebar dalam lebih dari satu token. Potongan byte ditampilkan sebagai nilai heksadesimal agar teks asli tetap utuh.
Gunakan penghitung dan kalkulator token gratis ini untuk mengukur teks sebelum menggunakannya dalam prompt AI. Lihat jumlah token, kata, dan karakter, periksa karakter spasi putih, dan pelajari bagaimana teks dibagi menjadi token.
Alat ini menghitung token dalam teks yang Anda masukkan dengan aturan tokenisasi GPT o200k_base. Jumlah kata, karakter, dan karakter spasi putih juga ditampilkan. Token dapat berisi satu kata, sebagian kata, tanda baca, atau karakter spasi putih.
Tidak. Satu token dapat berisi beberapa karakter atau hanya sebagian kata, dan satu karakter dapat menggunakan beberapa token. Emoji dan huruf dengan tanda gabung juga dapat menggunakan beberapa token meskipun terlihat seperti satu karakter. Tidak ada rasio tetap antara karakter dan token.
Ketiganya didukung, tetapi pengelompokan sebagai CJK tidak berarti ketiganya memiliki jumlah token per karakter yang sama. Rangkaian karakter yang umum dapat membentuk satu token, sedangkan satu karakter atau suku kata dapat dipecah menjadi beberapa token. Jumlahnya bergantung pada teks yang sebenarnya dan aturan tokenisasi, bukan hanya bahasanya.
Penghitung ini juga mendukung teks dalam aksara Latin, Kiril, Arab, India, dan aksara lainnya, termasuk teks yang mencampur beberapa bahasa. Kata dapat dipecah menjadi bagian yang lebih kecil, sehingga perkiraan berdasarkan kata atau karakter bahasa Inggris tidak berlaku untuk semua bahasa. Terjemahan dari kalimat yang sama dapat memiliki jumlah token yang berbeda.
Di browser modern, satu karakter Han, kana Jepang, suku kata Korea, atau huruf Latin biasanya dihitung sebagai satu karakter. Huruf dengan aksen gabung atau emoji gabungan biasanya juga dihitung sebagai satu karakter. Karakter spasi putih dan tanda baca juga dihitung. Kata mengikuti batas yang sesuai dengan bahasa, sehingga bagian teks CJK tidak dianggap sebagai satu kata hanya karena tidak memiliki spasi. Kedua hitungan ini terpisah dari hitungan token.
Spasi dan karakter spasi putih lainnya disertakan dalam penghitungan token. Spasi dapat digabung dengan kata setelahnya atau menjadi token tersendiri. Menghapus spasi dapat mengubah batas token di sekitarnya, jadi satu spasi tidak selalu berarti satu token.
Tidak. Model dapat menggunakan aturan tokenisasi yang berbeda. Alat ini memberikan hitungan acuan GPT untuk teks biasa. Permintaan percakapan lengkap juga dapat memuat peran, format pesan, dan definisi alat, sehingga jumlah penggunaan totalnya dapat berbeda.
Tidak. Teks dan file yang diimpor dihitung di browser Anda. Alat ini tidak mengirimkan isinya ke layanan penghitungan.
Tidak ada batas tetap untuk panjang teks atau ukuran file. Masukan besar memerlukan waktu lebih lama dan bergantung pada memori yang tersedia di perangkat Anda. Alat ini menghitung seluruh teks dan hanya menampilkan 500 token pertama dalam pratinjau; pratinjau tidak mengurangi jumlah total. Gunakan “Bersihkan” untuk menghentikan penghitungan saat ini.
Alat terkait: Penghitung Kata
Format dan rapikan Java, Python, JavaScript, JSON, HTML, dan lainnya; atur indentasi, spasi, dan pemisah baris.
Pangkas, gabungkan, atau pisahkan rekaman, hilangkan keheningan atau derau, dan atur volume, kecepatan, nada, atau kanal.
Buka dan edit lembar CSV atau Excel, format teks tabel, serta konversi CSV ke Excel atau SQL.
Tulis dan pratinjau Markdown, render diagram Mermaid, serta konversi Markdown, HTML, dan tabel antarformat.
Bandingkan teks, hitung kata dan kata kunci, urutkan atau ganti baris, dan lihat teks DOCX.
Cari arti, sinonim, dan antonim kata bahasa Mandarin, atau transkripsi IPA dalam berbagai bahasa.
Konversi MP3, WAV, FLAC, dan format lain, putar audio atau PCM mentah, serta lihat atau edit metadata audio.
Lihat, bandingkan, dan validasi JSON; uji ekspresi JSONPath, atau konversi data ke CSV, YAML, dan XML.
Transkripsikan audio menjadi teks, hasilkan suara dari teks, atau rekam suara Anda di browser.
Konversi dan kompres video, pangkas atau gabungkan klip, ubah ukuran bingkai, dan ekstrak audio.
Putar video lokal atau streaming, rekam layar atau kamera, dan gunakan kamera sebagai cermin online.
Kompres atau gabungkan PDF, pisahkan dan susun ulang halaman, ubah halaman menjadi gambar, serta lihat atau bandingkan dokumen.
Konversi format gambar, ubah ukuran atau potong foto, kompres berkas, bandingkan gambar, dan ekstrak teks dengan OCR.
Ambil dan percantik tangkapan layar, ubah teks menjadi gambar atau GIF, menggambar di papan tulis, serta buat awan kata atau favicon.
Edit teks SRT atau VTT dengan pratinjau video, geser waktu, konversi format, dan kelola trek subtitel.
Buka berkas ZIP, 7Z, RAR, atau TAR, ekstrak isi yang dipilih, serta buat arsip baru dengan sandi ZIP/7Z opsional.
Enkode atau dekode Base64 dan Base32, lakukan escape pada URL, HTML, dan teks Unicode, serta periksa isi JWT.
Konversi basis angka dan nilai antara biner, desimal, dan heksadesimal; ubah angka menjadi kata atau teks menjadi biner.
Hitung persentase dan pecahan, rangkum statistik, serta hitung nilai, diskon, atau rasio aspek.
Tampilkan jam online, jalankan hitung mundur atau stopwatch, dan hitung tanggal, usia, atau perbedaan zona waktu.
Periksa IP dan koneksi IPv6 Anda, lihat permintaan HTTP atau berkas HAR, dan hitung rentang alamat CIDR.
Konversi panjang, berat, suhu, penyimpanan data, dan satuan lainnya.
Konversi nilai HEX, RGB, dan HSL, ambil warna dari gambar, periksa kontras, atau uji layar dengan warna polos.
Buat dan pindai kode QR atau barcode, termasuk kode QR untuk tautan dan jaringan Wi-Fi.
Buat hash, UUID, dan kata sandi, uji ekspresi reguler, buat slug URL, dan periksa izin berkas.
Periksa resolusi dan laju penyegaran layar, ukur dengan penggaris layar, uji tombol, atau baca teks melalui teleprompter.
2048, Minesweeper, Sudoku, Gomoku, Pertempuran Tank