Wat telt deze tokencalculator?
Dit hulpmiddel telt tokens in uw tekst volgens de GPT-tokenisatieregels o200k_base. Het toont ook aantallen woorden, tekens en witruimte. Tokens kunnen een woord, een deel van een woord, leestekens of witruimte bevatten.
Is één teken altijd één token?
Nee. Een token kan meerdere tekens of slechts een deel van een woord bevatten en één teken kan meerdere tokens gebruiken. Emoji en letters met gecombineerde tekens kunnen ook meerdere tokens gebruiken, ook als ze er als één teken uitzien. Er is geen vaste verhouding tussen tekens en tokens.
Hoe worden Chinese, Japanse en Koreaanse teksten geteld?
Alle drie worden ondersteund, maar de groepering als CJK betekent niet dat ze hetzelfde aantal tokens per teken hebben. Veelvoorkomende tekenreeksen kunnen één token vormen, terwijl één teken of lettergreep in meerdere tokens kan worden gesplitst. Het aantal hangt af van de tekst en tokenisatieregels, niet alleen van de taal.
Hoe zit het met andere talen en gemengde tekst?
De teller ondersteunt ook Latijns, Cyrillisch, Arabisch, Indische en andere schriftstelsels, inclusief gemengde talen. Woorden kunnen in kleinere delen worden gesplitst; schattingen op basis van Engelse woorden of tekens gelden daarom niet voor elke taal. Vertalingen van dezelfde zin kunnen verschillende aantallen tokens hebben.
Hoe worden tekens en woorden geteld?
In moderne browsers telt een Han-teken, Japanse kana, Koreaanse lettergreep of Latijnse letter meestal als één teken. Een letter met een gecombineerd accent of een samengestelde emoji telt doorgaans ook als één. Witruimte en leestekens tellen mee. Woorden volgen taalspecifieke grenzen; een CJK-tekst telt dus niet als één woord omdat er geen spaties zijn. Beide tellingen staan los van tokens.
Tellen spaties als tokens?
Spaties en andere witruimte tellen mee bij het tellen van tokens. Een spatie kan met het volgende woord worden gecombineerd of een apart token zijn. Een spatie verwijderen kan nabijgelegen tokengrenzen veranderen, dus één spatie is niet altijd één token.
Komt deze telling overeen met elk AI-model?
Nee. Modellen kunnen verschillende tokenisatieregels gebruiken. Dit hulpmiddel geeft een GPT-referentietelling voor gewone tekst. Volledige chatverzoeken kunnen ook rollen, berichtopmaak en hulpmiddeldefinities bevatten; het totale gebruik kan daarom afwijken.
Wordt mijn tekst geüpload?
Nee. Tekst en geïmporteerde bestanden worden in uw browser geteld. Het hulpmiddel verzendt de inhoud niet naar een teldienst.
Is er een limiet voor tekst of bestandsgrootte?
Er is geen vaste limiet voor tekstlengte of bestandsgrootte. Grote invoer kost meer tijd en hangt af van het beschikbare geheugen op uw apparaat. De bestandsmodus telt elk volledig bestand zonder dit in de teksteditor te zetten en bewaart voltooide resultaten bij annuleren. Tokenvoorbeelden tonen alleen de eerste 500 tokens; CSV-rapporten bevatten de volledige tellingen.