Apakah yang dikira oleh kalkulator token ini?
Ia mengira token dalam teks yang anda masukkan menggunakan peraturan pentokenan GPT o200k_base. Ia turut memaparkan bilangan perkataan, aksara dan ruang putih. Token mungkin mengandungi perkataan, sebahagian perkataan, tanda baca atau ruang putih.
Adakah satu aksara sentiasa satu token?
Tidak. Token mungkin mengandungi beberapa aksara atau hanya sebahagian perkataan, dan satu aksara mungkin menggunakan beberapa token. Emoji dan huruf dengan tanda gabungan juga boleh menggunakan berbilang token walaupun kelihatan seperti satu aksara. Tiada nisbah aksara kepada token yang tetap.
Bagaimanakah teks Cina, Jepun dan Korea dikira?
Ketiga-tiganya disokong, tetapi pengelompokan sebagai CJK tidak memberikan bilangan token setiap aksara yang sama. Jujukan aksara lazim mungkin membentuk satu token, manakala satu aksara atau suku kata mungkin dipecahkan kepada beberapa token. Kiraan bergantung pada teks sebenar dan peraturan pentokenan, bukan bahasa semata-mata.
Bagaimana dengan bahasa lain dan teks bercampur?
Pengira juga menyokong teks dalam tulisan Latin, Cyrillic, Arab, India dan tulisan lain, termasuk teks bercampur bahasa. Perkataan mungkin dipecahkan kepada bahagian lebih kecil, jadi anggaran perkataan atau aksara bahasa Inggeris tidak terpakai pada setiap bahasa. Terjemahan ayat yang sama boleh mempunyai bilangan token berbeza.
Bagaimanakah aksara dan perkataan dikira?
Dalam pelayar moden, satu aksara Han, kana Jepun, suku kata Korea atau huruf Latin biasanya dikira sebagai satu aksara. Huruf dengan aksen gabungan atau emoji gabungan biasanya juga dikira satu. Ruang putih dan tanda baca disertakan. Perkataan mengikut sempadan peka bahasa, jadi petikan CJK tidak dianggap satu perkataan hanya kerana tiada ruang. Kedua-dua kiraan ini berasingan daripada token.
Adakah ruang dikira sebagai token?
Ruang dan ruang putih lain disertakan semasa mengira token. Satu ruang mungkin digabungkan dengan perkataan berikutnya atau muncul dalam token berasingan. Pembuangan ruang boleh mengubah sempadan token berdekatan, jadi satu ruang tidak semestinya satu token.
Adakah kiraan ini sepadan dengan setiap model AI?
Tidak. Model boleh menggunakan peraturan pentokenan berbeza. Alat ini memberikan kiraan rujukan GPT untuk teks biasa. Permintaan perbualan lengkap juga mungkin mengandungi peranan, pemformatan mesej dan takrif alat, jadi jumlah penggunaannya boleh berbeza.
Adakah teks saya dimuat naik?
Tidak. Teks dan fail yang diimport dikira dalam pelayar. Alat ini tidak menghantar kandungannya ke perkhidmatan pengiraan.
Adakah terdapat had teks atau saiz fail?
Tiada had panjang teks atau saiz fail tetap. Input besar mengambil lebih masa dan bergantung pada memori peranti yang tersedia. Mod fail mengira keseluruhan setiap fail tanpa meletakkannya dalam editor teks dan mengekalkan hasil siap apabila dibatalkan. Pratonton token hanya menunjukkan 500 token pertama; laporan CSV merangkumi kiraan penuh.