Ano ang binibilang ng kalkulador ng token?
Binibilang nito ang mga token ng inilagay na teksto gamit ang mga tuntunin ng GPT tokenization na o200k_base. Ipinapakita rin ang bilang ng salita, character at whitespace. Maaaring salita, bahagi ng salita, bantas o whitespace ang token.
Lagi bang isang token ang isang character?
Hindi. Maaaring maraming character o bahagi lamang ng salita ang isang token, at maaaring gumamit ng maraming token ang isang character. Maaari ring gumamit ng maraming token ang emoji at titik na may pinagsamang marka kahit mukhang iisang character. Walang nakapirming proporsiyon ng character sa token.
Paano binibilang ang tekstong Tsino, Hapones at Koreano?
Suportado ang tatlo, ngunit hindi nangangahulugan ang paggrupo sa CJK na pareho ang token count bawat character. Maaaring isang token ang karaniwang sunod-sunod na character, habang ilang token ang isang character o pantig. Nakadepende ang bilang sa aktuwal na teksto at tuntunin ng tokenization, hindi lamang sa wika.
Paano ang ibang wika at halong teksto?
Suportado rin ang tekstong Latin, Cyrillic, Arabic, Indic at iba pang sulat, pati magkahalong wika. Maaaring hatiin ang salita sa mas maliliit na piraso, kaya hindi naaangkop sa lahat ng wika ang mga tantiya ng salita o character ng Ingles. Maaaring magkaiba ang token count ng mga salin ng parehong pangungusap.
Paano binibilang ang mga character at salita?
Sa makabagong browser, karaniwang isang character ang Han character, Japanese kana, pantig ng Koreano o titik na Latin. Karaniwan ding isa ang titik na may combining accent o pinagsamang emoji. Kasama ang whitespace at bantas. Sinusunod ng mga salita ang hangganang angkop sa wika, kaya hindi itinuturing na isang salita ang talatang CJK dahil lamang walang espasyo. Hiwalay sa token ang dalawang bilang.
Binibilang bang token ang mga espasyo?
Kasama ang espasyo at ibang whitespace sa pagbilang ng token. Maaaring maisama ang espasyo sa kasunod na salita o maging hiwalay na token. Maaaring mabago ng pag-alis nito ang mga kalapit na hangganan, kaya hindi laging isang token ang isang espasyo.
Tutugma ba ang bilang sa bawat modelo ng AI?
Hindi. Maaaring magkaiba ang tuntunin ng tokenization ng mga modelo. Nagbibigay ang tool ng sangguniang bilang ng GPT para sa payak na teksto. Maaaring may mga role, format ng mensahe at depinisyon ng tool din ang buong chat request, kaya maaaring iba ang kabuuang paggamit.
Ina-upload ba ang aking teksto?
Hindi. Sa browser binibilang ang teksto at mga na-import na file. Hindi ipinadadala ng tool ang nilalaman sa serbisyo ng pagbilang.
May limitasyon ba sa teksto o laki ng file?
Walang nakapirming limitasyon sa haba ng teksto o laki ng file. Mas matagal ang malaking input at nakadepende sa memory ng device. Binibilang ng file mode ang bawat buong file nang hindi inilalagay sa editor at pinananatili ang mga natapos na resulta kapag kinansela. Unang 500 token lamang ang preview; buong bilang ang nasa ulat na CSV.