Pambilang ng Token

Binilang gamit ang GPT tokenization. Maaaring iba ang resulta sa ibang modelo.

0Mga token
0Mga salita
0Mga character
0Mga karakter na walang whitespace

Mga detalye ng whitespace

0Mga space
0Mga line break
0Mga tab
0Iba pang whitespace

Bilang ng character ang mga espasyo, line break at tab. Maaaring kasama sa token ng kalapit na teksto ang whitespace, kaya hindi maaaring ibawas ang mga bilang na ito sa kabuuang token.

Mga hangganan ng token

Makikita ang mga hangganan ng token pagkatapos mong maglagay ng teksto.

Maaaring umabot sa higit sa isang token ang isang character. Ipinapakita bilang mga halagang hexadecimal ang bawat fragment ng byte upang manatiling buo ang orihinal na teksto.

Mga ID ng token at byte

    Gamitin ang libreng pambilang at kalkulador ng token upang sukatin ang teksto bago gamitin sa prompt ng AI. Tingnan ang bilang ng token, salita at character, suriin ang whitespace, at tuklasin kung paano hinahati sa token ang teksto.

    Mga tanong sa pambilang ng token

    Ano ang binibilang ng kalkulador ng token?

    Binibilang nito ang mga token ng inilagay na teksto gamit ang mga tuntunin ng GPT tokenization na o200k_base. Ipinapakita rin ang bilang ng salita, character at whitespace. Maaaring salita, bahagi ng salita, bantas o whitespace ang token.

    Lagi bang isang token ang isang character?

    Hindi. Maaaring maraming character o bahagi lamang ng salita ang isang token, at maaaring gumamit ng maraming token ang isang character. Maaari ring gumamit ng maraming token ang emoji at titik na may pinagsamang marka kahit mukhang iisang character. Walang nakapirming proporsiyon ng character sa token.

    Paano binibilang ang tekstong Tsino, Hapones at Koreano?

    Suportado ang tatlo, ngunit hindi nangangahulugan ang paggrupo sa CJK na pareho ang token count bawat character. Maaaring isang token ang karaniwang sunod-sunod na character, habang ilang token ang isang character o pantig. Nakadepende ang bilang sa aktuwal na teksto at tuntunin ng tokenization, hindi lamang sa wika.

    Paano ang ibang wika at halong teksto?

    Suportado rin ang tekstong Latin, Cyrillic, Arabic, Indic at iba pang sulat, pati magkahalong wika. Maaaring hatiin ang salita sa mas maliliit na piraso, kaya hindi naaangkop sa lahat ng wika ang mga tantiya ng salita o character ng Ingles. Maaaring magkaiba ang token count ng mga salin ng parehong pangungusap.

    Paano binibilang ang mga character at salita?

    Sa makabagong browser, karaniwang isang character ang Han character, Japanese kana, pantig ng Koreano o titik na Latin. Karaniwan ding isa ang titik na may combining accent o pinagsamang emoji. Kasama ang whitespace at bantas. Sinusunod ng mga salita ang hangganang angkop sa wika, kaya hindi itinuturing na isang salita ang talatang CJK dahil lamang walang espasyo. Hiwalay sa token ang dalawang bilang.

    Binibilang bang token ang mga espasyo?

    Kasama ang espasyo at ibang whitespace sa pagbilang ng token. Maaaring maisama ang espasyo sa kasunod na salita o maging hiwalay na token. Maaaring mabago ng pag-alis nito ang mga kalapit na hangganan, kaya hindi laging isang token ang isang espasyo.

    Tutugma ba ang bilang sa bawat modelo ng AI?

    Hindi. Maaaring magkaiba ang tuntunin ng tokenization ng mga modelo. Nagbibigay ang tool ng sangguniang bilang ng GPT para sa payak na teksto. Maaaring may mga role, format ng mensahe at depinisyon ng tool din ang buong chat request, kaya maaaring iba ang kabuuang paggamit.

    Ina-upload ba ang aking teksto?

    Hindi. Sa browser binibilang ang teksto at mga na-import na file. Hindi ipinadadala ng tool ang nilalaman sa serbisyo ng pagbilang.

    May limitasyon ba sa teksto o laki ng file?

    Walang nakapirming limitasyon sa haba ng teksto o laki ng file. Mas matagal ang malaking input at nakadepende sa memory ng device. Binibilang ng file mode ang bawat buong file nang hindi inilalagay sa editor at pinananatili ang mga natapos na resulta kapag kinansela. Unang 500 token lamang ang preview; buong bilang ang nasa ulat na CSV.

    Mga kaugnay na tool: Pambilang ng Salita

    Mga Code Formatter

    I-format at pagandahin ang Java, Python, JavaScript, JSON, HTML, at iba pa; ayusin ang indentation, espasyo, at mga line break.

    Higit pang tool

    Pag-edit at mga Epekto sa Audio

    Mag-trim, magdugtong, o maghati ng mga recording, alisin ang katahimikan o ingay, at ayusin ang volume, bilis, pitch, o mga channel.

    Higit pang tool

    Mga Tool sa Spreadsheet

    Magbukas at mag-edit ng mga CSV o Excel sheet, i-format ang tekstong nasa table, at i-convert ang CSV sa Excel o SQL.

    Higit pang tool

    Mga Tool sa Markdown

    Sumulat at mag-preview ng Markdown, mag-render ng mga Mermaid diagram, at mag-convert sa iba't ibang format ng Markdown, HTML, at mga table.

    Higit pang tool

    Mga Tool sa Teksto

    Paghambingin ang mga sipi, bilangin ang mga salita at keyword, ayusin o palitan ang mga linya, at tingnan ang teksto ng DOCX.

    Higit pang tool

    Mga Diksyunaryo

    Hanapin ang mga kahulugan, kasingkahulugan, at kasalungat sa Tsino, o mga bigkas na IPA sa maraming wika.

    Pag-convert at Pagpapatugtog ng Audio

    Mag-convert sa pagitan ng MP3, WAV, FLAC, at iba pa, magpatugtog ng audio o raw PCM, at suriin o i-edit ang metadata ng audio.

    Mga Tool sa JSON at Data

    Suriin, paghambingin, at i-validate ang JSON; subukan ang mga JSONPath expression, o i-convert ang data sa CSV, YAML, at XML.

    Higit pang tool

    Mga Tool sa Pagsasalita

    I-transcribe ang audio sa teksto, bumuo ng pagsasalita mula sa teksto, o i-record ang iyong boses sa browser.

    Mga Tool sa Video

    Mag-convert at mag-compress ng video, mag-trim o magdugtong ng mga clip, baguhin ang sukat ng mga frame, at mag-extract ng audio.

    Higit pang tool

    Pag-play at Pag-record ng Video

    Mag-play ng lokal o streaming na video, i-record ang screen o camera, at gamitin ang camera bilang online na salamin.

    Mga Tool sa PDF

    Mag-compress o magsama ng mga PDF, maghati at mag-ayos muli ng mga pahina, gawing larawan ang mga pahina, at tingnan o paghambingin ang mga dokumento.

    Higit pang tool

    Mga Tool sa Larawan

    Mag-convert ng mga format ng larawan, baguhin ang sukat o i-crop ang mga litrato, mag-compress ng mga file, paghambingin ang mga larawan, at mag-extract ng teksto gamit ang OCR.

    Higit pang tool

    Paggawa ng Larawan

    Kumuha at pagandahin ang mga screenshot, gawing larawan o GIF ang teksto, gumuhit sa whiteboard, at gumawa ng mga word cloud o favicon.

    Higit pang tool

    Mga Tool sa Subtitle

    Mag-edit ng mga SRT o VTT caption na may video preview, iusog ang timing, mag-convert ng format, at pamahalaan ang mga subtitle track.

    Higit pang tool

    Mga Tool sa Archive

    Magbukas ng mga ZIP, 7Z, RAR, o TAR file, i-extract ang napiling nilalaman, at gumawa ng bagong archive na maaaring lagyan ng ZIP/7Z password.

    Mga Encoder | Decoder

    Mag-encode at mag-decode ng Base64 o Base32, mag-escape ng mga URL, HTML, at Unicode na teksto, at suriin ang nilalaman ng JWT.

    Higit pang tool

    Mga Tool sa Numero

    Mag-convert ng mga base at halaga ng numero sa pagitan ng binary, decimal, at hex; gawing mga salita ang numero o binary ang teksto.

    Mga Calculator

    Kalkulahin ang mga porsiyento at fraction, ibuod ang estadistika, at kalkulahin ang mga marka, diskuwento, o aspect ratio.

    Higit pang tool

    Mga Tool sa Oras

    Magpakita ng online na orasan, gumamit ng countdown o stopwatch, at kalkulahin ang mga petsa, edad, o pagkakaiba ng time zone.

    Higit pang tool

    Mga Tool sa Network

    Suriin ang iyong IP at koneksiyong IPv6, tingnan ang mga HTTP request o HAR file, at kalkulahin ang mga saklaw ng CIDR address.

    Pag-convert ng mga Yunit

    Mag-convert ng haba, timbang, temperatura, storage ng data, at iba pang yunit.

    Mga Tool sa Kulay

    Mag-convert ng mga halaga ng HEX, RGB, at HSL, kumuha ng mga kulay mula sa larawan, suriin ang contrast, o subukan ang display gamit ang mga solid na kulay.

    Mga QR Code at Barcode

    Gumawa at mag-scan ng mga QR code o barcode, kabilang ang mga QR code para sa mga link at Wi-Fi network.

    Mga Tool sa Development at Seguridad

    Gumawa ng mga hash, UUID, at password, subukan ang mga regular expression, gumawa ng mga URL slug, at suriin ang mga permission ng file.

    Higit pang tool

    Mga Utility Tool

    Suriin ang resolution at refresh rate ng screen, magsukat gamit ang screen ruler, subukan ang mga key, o magbasa mula sa teleprompter.

    Higit pang tool

    Mga Laro

    2048, Minesweeper, Sudoku, Gomoku, Labanan ng Tank

    Higit pang tool