Vad räknar denna tokenkalkylator?
Den räknar token i texten du anger med GPT-tokeniseringsreglerna o200k_base. Den visar även antal ord, tecken och blanktecken. Token kan innehålla ett ord, en del av ett ord, skiljetecken eller blanktecken.
Räknat med GPT-tokenisering. Andra modeller kan ge andra resultat.
Filerna räknas lokalt, en i taget. Hela innehållet räknas utan att läsas in i textredigeraren. Välj en färdig fil för att förhandsvisa dess första 500 token.
Blanksteg, radbrytningar och tabbar räknas som tecken. Blanktecken kan dela token med närliggande text, så dessa antal kan inte dras av från det totala tokenantalet.
Ett tecken kan sträcka sig över flera token. Enskilda bytefragment visas som hexadecimala värden så att originaltexten bevaras.
Använd den kostnadsfria tokenräknaren och tokenkalkylatorn för att mäta text innan den används i en AI-prompt. Se antal token, ord och tecken, granska blanktecken och utforska hur text delas upp i token.
Den räknar token i texten du anger med GPT-tokeniseringsreglerna o200k_base. Den visar även antal ord, tecken och blanktecken. Token kan innehålla ett ord, en del av ett ord, skiljetecken eller blanktecken.
Nej. Ett token kan innehålla flera tecken eller bara en del av ett ord, och ett tecken kan använda flera token. Emojier och bokstäver med kombinerande tecken kan också använda flera token även om de ser ut som ett tecken. Det finns inget fast förhållande mellan tecken och token.
Alla tre stöds, men att gruppera dem som CJK ger dem inte ett gemensamt tokenantal per tecken. Vanliga teckenföljder kan bilda ett token medan ett enda tecken eller en stavelse kan delas i flera. Antalet beror på texten och tokeniseringsreglerna, inte bara språket.
Räknaren stöder även text med latinsk, kyrillisk, arabisk, indisk och annan skrift, inklusive blandade språk. Ord kan delas i mindre delar, så engelska ord- eller teckenestimat gäller inte alla språk. Översättningar av samma mening kan ha olika tokenantal.
I moderna webbläsare räknas ett han-tecken, japansk kana, en koreansk stavelse eller latinsk bokstav vanligtvis som ett tecken. En bokstav med kombinerande accent eller en sammansatt emoji räknas vanligen också som ett. Blanktecken och skiljetecken ingår. Ord följer språkanpassade gränser, så en CJK-text blir inte ett enda ord bara för att den saknar blanksteg. Båda antalen är separata från token.
Blanksteg och andra blanktecken ingår i tokenräkningen. Ett blanksteg kan kombineras med nästa ord eller finnas i ett eget token. Om det tas bort kan närliggande tokengränser ändras, så ett blanksteg betyder inte alltid ett token.
Nej. Modeller kan använda olika tokeniseringsregler. Verktyget ger ett GPT-referensantal för ren text. Fullständiga chattanrop kan även innehålla roller, meddelandeformatering och verktygsdefinitioner, så den totala användningen kan skilja sig.
Nej. Text och importerade filer räknas i webbläsaren. Verktyget skickar inte innehållet till någon räkningstjänst.
Det finns ingen fast gräns för textlängd eller filstorlek. Stora indata tar längre tid och beror på enhetens tillgängliga minne. Filläget räknar varje hel fil utan att lägga in den i textredigeraren och behåller färdiga resultat vid avbrott. Tokenförhandsvisningar visar bara de första 500 token. CSV-rapporter innehåller fullständiga antal.
Relaterade verktyg: Ordräknare
Formatera och snygga till Java, Python, JavaScript, JSON, HTML med mera. Justera indrag, mellanrum och radbrytningar.
Trimma, sammanfoga eller dela inspelningar, ta bort tystnad eller brus och justera volym, hastighet, tonhöjd eller kanaler.
Öppna och redigera CSV- eller Excel-blad, formatera tabelltext och konvertera CSV till Excel eller SQL.
Skriv och förhandsvisa Markdown, rendera Mermaid-diagram och konvertera Markdown, HTML och tabeller mellan format.
Jämför textavsnitt, räkna ord och nyckelord, sortera eller ersätt rader och visa DOCX-text.
Slå upp kinesiska betydelser, synonymer och antonymer eller hitta IPA-uttal på flera språk.
Konvertera mellan MP3, WAV, FLAC med flera, spela ljud eller rå PCM och granska eller redigera ljudmetadata.
Granska, jämför och validera JSON. Testa JSONPath-uttryck eller konvertera data till CSV, YAML och XML.
Transkribera ljud till text, generera tal från text eller spela in din röst i webbläsaren.
Konvertera och komprimera video, trimma eller sammanfoga klipp, ändra bildrutornas storlek och extrahera ljud.
Spela lokal eller strömmande video, spela in skärmen eller kameran och använd kameran som onlinespegel.
Komprimera eller slå ihop PDF:er, dela och ordna om sidor, konvertera sidor till bilder och visa eller jämför dokument.
Konvertera bildformat, ändra storlek på eller beskär foton, komprimera filer, jämför bilder och extrahera text med OCR.
Ta och snygga till skärmbilder, gör text till bilder eller GIF, rita på en whiteboard och skapa ordmoln eller faviconer.
Redigera SRT- eller VTT-undertexter med videoförhandsvisning, förskjut tider, konvertera format och hantera undertextspår.
Öppna ZIP-, 7Z-, RAR- eller TAR-filer, packa upp valt innehåll och skapa nya arkiv med valfria ZIP/7Z-lösenord.
Koda och avkoda Base64 eller Base32, escape-koda URL:er, HTML och Unicode-text och granska JWT-innehåll.
Omvandla talbaser och värden mellan binärt, decimalt och hexadecimalt. Gör tal till ord eller text till binärt.
Räkna ut procent och bråk, sammanfatta statistik och beräkna betyg, rabatter eller bildförhållanden.
Visa en onlineklocka, kör en nedräkning eller ett stoppur och beräkna datum, åldrar eller tidszonsskillnader.
Kontrollera ditt IP och din IPv6-anslutning, granska HTTP-förfrågningar eller HAR-filer och beräkna CIDR-adressintervall.
Omvandla längd, vikt, temperatur, datalagring och andra enheter.
Omvandla HEX-, RGB- och HSL-värden, extrahera färger ur en bild, kontrollera kontrast eller testa skärmen med enfärgade ytor.
Generera och skanna QR-koder eller streckkoder, inklusive QR-koder för länkar och Wi-Fi-nätverk.
Generera hashvärden, UUID och lösenord, testa reguljära uttryck, skapa URL-sluggar och kontrollera filbehörigheter.
Kontrollera skärmupplösning och uppdateringsfrekvens, mät med en skärmlinjal, testa tangenter eller läs från en teleprompter.
2048, Minröj, Sudoku, Gomoku, Stridsvagnsslag