Hva teller denne tokenkalkulatoren?
Den teller tokener i teksten du skriver inn, med GPT-tokeniseringsreglene o200k_base. Den viser også antall ord, tegn og blanktegn. Tokener kan inneholde et ord, en del av et ord, tegnsetting eller blanktegn.
Telles med GPT-tokenisering. Andre modeller kan gi andre resultater.
Filene telles lokalt, én om gangen. Hele innholdet telles uten å lastes inn i tekstredigeringsverktøyet. Velg en ferdig fil for å forhåndsvise de første 500 tokenene.
Mellomrom, linjeskift og tabulatorer er tegntellinger. Blanktegn kan dele et token med tekst i nærheten, så disse tallene kan ikke trekkes fra det totale tokenantallet.
Et tegn kan strekke seg over mer enn ett token. Enkelte bytefragmenter vises som heksadesimale verdier for å bevare originalteksten.
Bruk denne gratis tokentelleren og tokenkalkulatoren til å måle tekst før du bruker den i en AI-ledetekst. Se antall tokener, ord og tegn, undersøk blanktegn og utforsk hvordan teksten deles i tokener.
Den teller tokener i teksten du skriver inn, med GPT-tokeniseringsreglene o200k_base. Den viser også antall ord, tegn og blanktegn. Tokener kan inneholde et ord, en del av et ord, tegnsetting eller blanktegn.
Nei. Et token kan inneholde flere tegn eller bare en del av et ord, og ett tegn kan bruke flere tokener. Emoji og bokstaver med kombinerende tegn kan også bruke flere tokener selv om de ser ut som ett tegn. Det finnes ikke noe fast forhold mellom tegn og tokener.
Alle tre støttes, men det å gruppere dem som CJK gir dem ikke et felles antall tokener per tegn. Vanlige tegnsekvenser kan danne ett token, mens ett enkelt tegn eller en stavelse kan deles i flere. Antallet avhenger av den faktiske teksten og tokeniseringsreglene, ikke bare språket.
Telleren støtter også tekst med latinsk, kyrillisk, arabisk, indiske og andre skriftsystemer, inkludert blandet språk. Ord kan deles i mindre biter, så engelske ord- eller tegnestimater gjelder ikke alle språk. Oversettelser av samme setning kan ha ulikt antall tokener.
I moderne nettlesere teller et han-tegn, japansk kana, en koreansk stavelse eller en latinsk bokstav vanligvis som ett tegn. En bokstav med kombinerende aksent eller en sammensatt emoji teller vanligvis også som ett tegn. Blanktegn og tegnsetting er inkludert. Ord følger språktilpassede grenser, så en CJK-tekst regnes ikke som ett ord bare fordi den ikke har mellomrom. Begge tellingene er uavhengige av tokener.
Mellomrom og andre blanktegn er inkludert når tokener telles. Et mellomrom kan kombineres med neste ord eller vises som et eget token. Fjerning av et mellomrom kan endre tokengrensene rundt det, så ett mellomrom betyr ikke alltid ett token.
Nei. Modeller kan bruke ulike tokeniseringsregler. Verktøyet gir en GPT-referansetelling for ren tekst. Fullstendige chatforespørsler kan også inneholde roller, meldingsformatering og verktøydefinisjoner, så den totale bruken kan variere.
Nei. Tekst og importerte filer telles i nettleseren. Verktøyet sender ikke innholdet til en telletjeneste.
Det finnes ingen fast grense for tekstlengde eller filstørrelse. Store inndata tar lengre tid og avhenger av enhetens tilgjengelige minne. Filmodus teller hele hver fil uten å legge den inn i teksteditoren og beholder ferdige resultater ved avbryting. Tokenforhåndsvisninger viser bare de første 500 tokenene; CSV-rapporter inneholder fullstendige tellinger.
Relaterte verktøy: Ordteller
Formater og forskjønn Java, Python, JavaScript, JSON, HTML og mer. Juster innrykk, mellomrom og linjeskift.
Klipp, slå sammen eller del opptak, fjern stillhet eller støy og juster volum, hastighet, tonehøyde eller kanaler.
Åpne og rediger CSV- eller Excel-ark, formater tabelltekst og konverter CSV til Excel eller SQL.
Skriv og forhåndsvis Markdown, gjengi Mermaid-diagrammer og konverter Markdown, HTML og tabeller mellom formater.
Sammenlign avsnitt, tell ord og nøkkelord, sorter eller erstatt linjer og vis DOCX-tekst.
Slå opp kinesiske betydninger, synonymer og antonymer, eller finn IPA-uttale på flere språk.
Konverter mellom MP3, WAV, FLAC og mer, spill av lyd eller rå PCM og undersøk eller rediger lydmetadata.
Undersøk, sammenlign og valider JSON. Test JSONPath-uttrykk eller konverter data til CSV, YAML og XML.
Transkriber lyd til tekst, generer tale fra tekst eller ta opp stemmen din i nettleseren.
Konverter og komprimer video, klipp eller slå sammen klipp, endre bildestørrelse og trekk ut lyd.
Spill av lokal video eller videostrømmer, ta opp skjermen eller kameraet og bruk kameraet som et nettspeil.
Komprimer eller slå sammen PDF-er, del og omorganiser sider, konverter sider til bilder og vis eller sammenlign dokumenter.
Konverter bildeformater, endre størrelse eller beskjær bilder, komprimer filer, sammenlign bilder og trekk ut tekst med OCR.
Ta og forskjønn skjermbilder, gjør tekst om til bilder eller GIF-er, tegn på en tavle og lag ordskyer eller favorittikoner.
Rediger SRT- eller VTT-undertekster med videoforhåndsvisning, forskyv tider, konverter formater og administrer undertekstspor.
Åpne ZIP-, 7Z-, RAR- eller TAR-filer, pakk ut valgt innhold og opprett nye arkiver med valgfrie ZIP/7Z-passord.
Kod og dekod Base64 eller Base32, sett inn escape-tegn i URL-er, HTML og Unicode-tekst og undersøk JWT-innhold.
Konverter tallbaser og verdier mellom binært, desimalt og heksadesimalt. Gjør tall om til ord eller tekst til binært.
Regn ut prosenter og brøker, oppsummer statistikk og beregn karakterer, rabatter eller sideforhold.
Vis en nettklokke, start en nedtelling eller stoppeklokke og beregn datoer, aldre eller tidssoneforskjeller.
Kontroller IP-adressen og IPv6-tilkoblingen, undersøk HTTP-forespørsler eller HAR-filer og beregn CIDR-adresseområder.
Konverter lengde, vekt, temperatur, datalagring og andre enheter.
Konverter HEX-, RGB- og HSL-verdier, trekk ut farger fra et bilde, kontroller kontrast eller test skjermen med heldekkende farger.
Generer og skann QR-koder eller strekkoder, inkludert QR-koder for lenker og Wi-Fi-nettverk.
Generer hasher, UUID-er og passord, test regulære uttrykk, lag URL-slugger og kontroller filtillatelser.
Kontroller skjermoppløsning og oppdateringsfrekvens, mål med en skjermlinjal, test taster eller les fra en teleprompter.
2048, Minesveiper, Sudoku, Gomoku, Stridsvognkamp