Hvad tæller denne tokenberegner?
Den tæller tokens i den tekst, du indtaster, med GPT-tokeniseringsreglerne o200k_base. Den viser også antal ord, tegn og blanktegn. Tokens kan indeholde et ord, en del af et ord, tegnsætning eller blanktegn.
Tælles med GPT-tokenisering. Andre modeller kan give andre resultater.
Filerne tælles lokalt, én ad gangen. Hele indholdet tælles uden at blive indlæst i teksteditoren. Vælg en færdig fil for at forhåndsvise de første 500 tokens.
Mellemrum, linjeskift og tabulatorer er tegnoptællinger. Blanktegn kan dele et token med tekst i nærheden, så disse tal kan ikke trækkes fra det samlede tokenantal.
Et tegn kan strække sig over mere end ét token. Enkelte bytefragmenter vises som hexadecimale værdier for at bevare den oprindelige tekst.
Brug denne gratis tokentæller og tokenberegner til at måle tekst, før du bruger den i en AI-prompt. Se antal tokens, ord og tegn, undersøg blanktegn, og udforsk, hvordan teksten opdeles i tokens.
Den tæller tokens i den tekst, du indtaster, med GPT-tokeniseringsreglerne o200k_base. Den viser også antal ord, tegn og blanktegn. Tokens kan indeholde et ord, en del af et ord, tegnsætning eller blanktegn.
Nej. Et token kan indeholde flere tegn eller kun en del af et ord, og ét tegn kan bruge flere tokens. Emoji og bogstaver med kombinerende tegn kan også bruge flere tokens, selvom de ligner ét tegn. Der er ikke et fast forhold mellem tegn og tokens.
Alle tre understøttes, men gruppering som CJK giver dem ikke et fælles antal tokens pr. tegn. Almindelige tegnsekvenser kan danne ét token, mens ét enkelt tegn eller en stavelse kan opdeles i flere. Antallet afhænger af den faktiske tekst og tokeniseringsreglerne og ikke kun af sproget.
Tælleren understøtter også tekst med latinsk, kyrillisk, arabisk, indiske og andre skriftsystemer, herunder blandede sprog. Ord kan opdeles i mindre dele, så engelske ord- eller tegnestimater gælder ikke alle sprog. Oversættelser af samme sætning kan have forskellige antal tokens.
I moderne browsere tæller et han-tegn, japansk kana, en koreansk stavelse eller et latinsk bogstav normalt som ét tegn. Et bogstav med kombinerende accent eller en sammensat emoji tæller normalt også som ét. Blanktegn og tegnsætning medregnes. Ord følger sprogtilpassede grænser, så en CJK-tekst ikke regnes som ét ord, blot fordi den ikke har mellemrum. Begge optællinger er uafhængige af tokens.
Mellemrum og andre blanktegn medregnes ved optælling af tokens. Et mellemrum kan kombineres med det følgende ord eller vises som et separat token. Fjernelse af et mellemrum kan ændre tokengrænserne i nærheden, så ét mellemrum betyder ikke altid ét token.
Nej. Modeller kan bruge forskellige tokeniseringsregler. Værktøjet giver en GPT-referenceoptælling til ren tekst. Fuldstændige chatanmodninger kan også indeholde roller, meddelelsesformatering og værktøjsdefinitioner, så det samlede forbrug kan variere.
Nej. Tekst og importerede filer tælles i din browser. Værktøjet sender ikke indholdet til en optællingstjeneste.
Der er ingen fast grænse for tekstlængde eller filstørrelse. Store input tager længere tid og afhænger af enhedens tilgængelige hukommelse. Filtilstand tæller hver fuld fil uden at lægge den i teksteditoren og bevarer færdige resultater ved annullering. Tokenforhåndsvisninger viser kun de første 500 tokens; CSV-rapporter indeholder de fulde optællinger.
Relaterede værktøjer: Ordtæller
Formatér og forskøn Java, Python, JavaScript, JSON, HTML og mere. Justér indrykning, mellemrum og linjeskift.
Klip, sammenføj eller opdel optagelser, fjern stilhed eller støj, og justér lydstyrke, hastighed, tonehøjde eller kanaler.
Åbn og redigér CSV- eller Excel-ark, formatér tabeltekst, og konvertér CSV til Excel eller SQL.
Skriv og forhåndsvis Markdown, gengiv Mermaid-diagrammer, og konvertér Markdown, HTML og tabeller mellem formater.
Sammenlign passager, tæl ord og nøgleord, sortér eller erstat linjer, og vis DOCX-tekst.
Slå kinesiske betydninger, synonymer og antonymer op, eller find IPA-udtale på flere sprog.
Konvertér mellem MP3, WAV, FLAC og mere, afspil lyd eller rå PCM, og undersøg eller redigér lydmetadata.
Undersøg, sammenlign og validér JSON. Test JSONPath-udtryk, eller konvertér data til CSV, YAML og XML.
Transskribér lyd til tekst, generér tale fra tekst, eller optag din stemme i browseren.
Konvertér og komprimér video, klip eller sammenføj klip, tilpas billedstørrelse, og udtræk lyd.
Afspil lokal video eller videostreams, optag skærmen eller kameraet, og brug kameraet som et onlinespejl.
Komprimér eller sammenføj PDF'er, opdel og omarrangér sider, konvertér sider til billeder, og vis eller sammenlign dokumenter.
Konvertér billedformater, tilpas størrelse eller beskær fotos, komprimér filer, sammenlign billeder, og udtræk tekst med OCR.
Tag og forskøn skærmbilleder, omdan tekst til billeder eller GIF'er, tegn på en tavle, og opret ordskyer eller favicons.
Redigér SRT- eller VTT-undertekster med videoforhåndsvisning, forskyd tider, konvertér formater, og administrér undertekstspor.
Åbn ZIP-, 7Z-, RAR- eller TAR-filer, udpak valgt indhold, og opret nye arkiver med valgfrie ZIP/7Z-adgangskoder.
Kod og afkod Base64 eller Base32, indsæt escape-tegn i URL'er, HTML og Unicode-tekst, og undersøg JWT-indhold.
Konvertér talbaser og værdier mellem binært, decimalt og hexadecimalt. Omdan tal til ord eller tekst til binært.
Beregn procenter og brøker, opsummér statistik, og beregn karakterer, rabatter eller billedformater.
Vis et onlineur, start en nedtælling eller et stopur, og beregn datoer, aldre eller tidszoneforskelle.
Kontrollér IP-adressen og IPv6-forbindelsen, undersøg HTTP-anmodninger eller HAR-filer, og beregn CIDR-adresseintervaller.
Konvertér længde, vægt, temperatur, datalagring og andre enheder.
Konvertér HEX-, RGB- og HSL-værdier, udtræk farver fra et billede, kontrollér kontrast, eller test skærmen med ensfarvede flader.
Generér og scan QR-koder eller stregkoder, inklusive QR-koder til links og Wi-Fi-netværk.
Generér hashes, UUID'er og adgangskoder, test regulære udtryk, opret URL-slugs, og kontrollér filtilladelser.
Kontrollér skærmopløsning og opdateringsfrekvens, mål med en skærmlineal, test taster, eller læs fra en teleprompter.
2048, Minestryger, Sudoku, Gomoku, Kampvognskamp