Contor de tokenuri

Numărat folosind tokenizarea GPT. Alte modele pot da rezultate diferite.

0Tokenuri
0Cuvinte
0Caractere
0Caractere fără spații albe

Detalii despre spațiile albe

0Spații
0Întreruperi de rând
0Taburi
0Alte spații albe

Spațiile, întreruperile de rând și tabulatorii sunt numărători de caractere. Spațiile albe pot împărți un token cu textul din apropiere, deci aceste numere nu pot fi scăzute din totalul tokenurilor.

Limitele tokenurilor

Limitele tokenurilor vor apărea după ce introduci text.

Un caracter poate acoperi mai multe tokenuri. Fragmentele individuale de octeți sunt afișate ca valori hexazecimale pentru a păstra textul original intact.

ID-uri de tokenuri și octeți

    Folosește acest contor și calculator gratuit de tokenuri pentru a măsura textul înainte de a-l folosi într-un prompt AI. Vezi numărul de tokenuri, cuvinte și caractere, inspectează spațiile albe și explorează împărțirea textului în tokenuri.

    Întrebări despre contorul de tokenuri

    Ce numără acest calculator de tokenuri?

    Numără tokenurile din textul introdus folosind regulile GPT de tokenizare o200k_base. Arată și numărul de cuvinte, caractere și spații albe. Tokenurile pot conține un cuvânt, o parte dintr-un cuvânt, punctuație sau spații albe.

    Un caracter este întotdeauna un token?

    Nu. Un token poate conține mai multe caractere sau doar o parte dintr-un cuvânt, iar un caracter poate folosi mai multe tokenuri. Emoji și literele cu semne combinante pot folosi mai multe tokenuri chiar dacă par un singur caracter. Nu există un raport fix între caractere și tokenuri.

    Cum sunt numărate textele chinezești, japoneze și coreene?

    Toate trei sunt acceptate, dar gruparea lor drept CJK nu înseamnă același număr de tokenuri pe caracter. Secvențele frecvente de caractere pot forma un token, iar un singur caracter sau o silabă se poate împărți în mai multe. Numărul depinde de textul real și de regulile de tokenizare, nu doar de limbă.

    Cum sunt tratate alte limbi și textele mixte?

    Contorul acceptă și text în alfabete latine, chirilice, arabe, indiene și altele, inclusiv text în limbi amestecate. Cuvintele pot fi împărțite în fragmente mai mici, deci estimările pe baza cuvintelor sau caracterelor englezești nu se aplică fiecărei limbi. Traducerile aceleiași propoziții pot avea numere diferite de tokenuri.

    Cum sunt numărate caracterele și cuvintele?

    În browsere moderne, un caracter Han, un kana japonez, o silabă coreeană sau o literă latină contează de obicei ca un caracter. O literă cu accent combinant sau un emoji combinat contează de regulă tot ca unul. Sunt incluse spațiile și punctuația. Cuvintele urmează limite specifice limbii, deci un pasaj CJK nu este tratat ca un singur cuvânt doar pentru că nu are spații. Ambele numărători sunt separate de tokenuri.

    Spațiile se numără ca tokenuri?

    Spațiile și alte spații albe sunt incluse la numărarea tokenurilor. Un spațiu poate fi combinat cu următorul cuvânt sau poate apărea într-un token separat. Eliminarea lui poate schimba limitele tokenurilor din apropiere, deci un spațiu nu înseamnă întotdeauna un token.

    Se va potrivi această numărătoare cu orice model AI?

    Nu. Modelele pot folosi reguli de tokenizare diferite. Acest instrument oferă o numărătoare GPT de referință pentru text simplu. Cererile de chat complete pot conține roluri, formatarea mesajelor și definiții de instrumente, deci utilizarea totală poate diferi.

    Textul meu este încărcat pe un server?

    Nu. Textul și fișierele importate sunt numărate în browser. Instrumentul nu trimite conținutul lor unui serviciu de numărare.

    Există o limită pentru text sau fișier?

    Nu există o limită fixă pentru lungimea textului sau mărimea fișierului. Intrările mari necesită mai mult timp și depind de memoria disponibilă a dispozitivului. Modul fișier numără integral fiecare fișier fără a-l pune în editorul de text și păstrează rezultatele finalizate la anulare. Previzualizările arată doar primele 500 de tokenuri; rapoartele CSV includ numărătorile complete.

    Instrumente similare: Contor de cuvinte

    Formatare cod

    Formatează și aranjează cod Java, Python, JavaScript, JSON, HTML și altele; ajustează indentarea, spațierea și sfârșiturile de linie.

    Mai multe instrumente

    Editare și efecte audio

    Taie, unește sau împarte înregistrări, elimină liniștea sau zgomotul și reglează volumul, viteza, înălțimea sunetului ori canalele.

    Mai multe instrumente

    Instrumente pentru foi de calcul

    Deschide și editează foi CSV sau Excel, formatează text tabelar și convertește CSV în Excel sau SQL.

    Mai multe instrumente

    Instrumente Markdown

    Scrie și previzualizează Markdown, redă diagrame Mermaid și convertește între Markdown, HTML și tabele.

    Mai multe instrumente

    Instrumente pentru text

    Compară pasaje, numără cuvinte și cuvinte-cheie, sortează ori înlocuiește linii și vizualizează text DOCX.

    Mai multe instrumente

    Dicționare

    Caută sensuri, sinonime și antonime în chineză sau pronunții IPA în mai multe limbi.

    Conversie și redare audio

    Convertește între MP3, WAV, FLAC și alte formate, redă fișiere audio sau PCM brut și inspectează ori editează metadatele audio.

    Instrumente JSON și date

    Inspectează, compară și validează JSON; testează expresii JSONPath sau convertește date în CSV, YAML și XML.

    Mai multe instrumente

    Instrumente pentru vorbire

    Transcrie sunetul în text, generează vorbire din text sau înregistrează-ți vocea în browser.

    Instrumente video

    Convertește și comprimă videoclipuri, taie sau unește clipuri, redimensionează cadre și extrage sunetul.

    Mai multe instrumente

    Redare și înregistrare video

    Redă videoclipuri locale sau transmise în flux, înregistrează ecranul ori camera și folosește camera ca oglindă online.

    Instrumente PDF

    Comprimă sau combină PDF-uri, împarte și rearanjează pagini, convertește paginile în imagini și vizualizează ori compară documente.

    Mai multe instrumente

    Instrumente pentru imagini

    Convertește formate de imagine, redimensionează sau decupează fotografii, comprimă fișiere, compară imagini și extrage text prin OCR.

    Mai multe instrumente

    Creare imagini

    Realizează și înfrumusețează capturi de ecran, transformă textul în imagini sau GIF-uri, desenează pe o tablă albă și creează nori de cuvinte ori faviconuri.

    Mai multe instrumente

    Instrumente pentru subtitrări

    Editează subtitrări SRT sau VTT cu previzualizare video, decalează timpii, convertește formate și gestionează pistele de subtitrare.

    Mai multe instrumente

    Instrumente pentru arhive

    Deschide arhive ZIP, 7Z, RAR sau TAR, extrage conținutul selectat și creează arhive noi, opțional cu parolă ZIP/7Z.

    Codificatoare | Decodificatoare

    Codifică și decodifică Base64 sau Base32, escapează URL-uri, HTML și text Unicode și inspectează conținutul JWT.

    Mai multe instrumente

    Instrumente numerice

    Convertește baze numerice și valori între binar, zecimal și hexazecimal; transformă numerele în cuvinte sau textul în binar.

    Calculatoare

    Calculează procente și fracții, rezumă statistici și calculează note, reduceri sau rapoarte de aspect.

    Mai multe instrumente

    Instrumente pentru timp

    Afișează un ceas online, pornește o numărătoare inversă sau un cronometru și calculează date, vârste ori diferențe de fus orar.

    Mai multe instrumente

    Instrumente de rețea

    Verifică IP-ul și conexiunea IPv6, inspectează cereri HTTP sau fișiere HAR și calculează intervale de adrese CIDR.

    Conversii de unități

    Convertește lungimi, greutăți, temperaturi, unități de stocare și alte unități.

    Instrumente pentru culori

    Convertește valori HEX, RGB și HSL, extrage culori dintr-o imagine, verifică contrastul sau testează ecranul cu culori uniforme.

    Coduri QR și coduri de bare

    Generează și scanează coduri QR sau de bare, inclusiv coduri QR pentru linkuri și rețele Wi-Fi.

    Instrumente pentru dezvoltare și securitate

    Generează hash-uri, UUID-uri și parole, testează expresii regulate, creează slug-uri URL și verifică permisiunile fișierelor.

    Mai multe instrumente

    Instrumente utile

    Verifică rezoluția și rata de reîmprospătare a ecranului, măsoară cu rigla pe ecran, testează taste sau citește de pe un prompter.

    Mai multe instrumente

    Jocuri

    2048, Minesweeper, Sudoku, Gomoku, Bătălia tancurilor

    Mai multe instrumente