Was zählt dieser Token-Rechner?
Er zählt die Tokens im eingegebenen Text nach den GPT-Tokenisierungsregeln von o200k_base. Außerdem zeigt er die Anzahl der Wörter, Zeichen und Weißraumzeichen an. Ein Token kann ein Wort, einen Wortteil, Satzzeichen oder Weißraum enthalten.
Ist ein Zeichen immer ein Token?
Nein. Ein Token kann mehrere Zeichen oder nur einen Teil eines Wortes enthalten, und ein Zeichen kann mehrere Tokens belegen. Auch Emojis und Buchstaben mit kombinierenden Zeichen können mehrere Tokens benötigen, selbst wenn sie wie ein einzelnes Zeichen aussehen. Es gibt kein festes Verhältnis zwischen Zeichen und Tokens.
Wie werden chinesische, japanische und koreanische Texte gezählt?
Alle drei werden unterstützt. Die gemeinsame Bezeichnung CJK bedeutet jedoch nicht, dass sie dieselbe Token-Anzahl pro Zeichen haben. Häufige Zeichenfolgen können ein Token bilden, während ein einzelnes Zeichen oder eine Silbe in mehrere Tokens aufgeteilt werden kann. Die Anzahl hängt vom tatsächlichen Text und den Tokenisierungsregeln ab, nicht allein von der Sprache.
Wie ist es bei anderen Sprachen und gemischten Texten?
Der Zähler unterstützt auch Texte in lateinischen, kyrillischen, arabischen, indischen und anderen Schriften, einschließlich mehrsprachiger Texte. Wörter können in kleinere Teile aufgeteilt werden. Schätzungen anhand englischer Wörter oder Zeichen gelten daher nicht für jede Sprache. Übersetzungen desselben Satzes können unterschiedliche Token-Anzahlen haben.
Wie werden Zeichen und Wörter gezählt?
In modernen Browsern zählt ein Han-Schriftzeichen, ein japanisches Kana, eine koreanische Silbe oder ein lateinischer Buchstabe in der Regel als ein Zeichen. Auch ein Buchstabe mit einem kombinierenden Akzent oder ein zusammengesetztes Emoji zählt normalerweise als ein Zeichen. Weißraum und Satzzeichen werden mitgezählt. Wörter werden anhand sprachabhängiger Wortgrenzen gezählt. Ein CJK-Abschnitt gilt daher nicht allein deshalb als ein Wort, weil er keine Leerzeichen enthält. Beide Zählungen sind von der Token-Zählung unabhängig.
Zählen Leerzeichen als Tokens?
Leerzeichen und anderer Weißraum werden bei der Token-Zählung berücksichtigt. Ein Leerzeichen kann mit dem folgenden Wort verbunden werden oder ein eigenes Token bilden. Das Entfernen eines Leerzeichens kann benachbarte Token-Grenzen ändern. Ein Leerzeichen bedeutet daher nicht immer ein Token.
Stimmt diese Zählung für jedes KI-Modell?
Nein. Modelle können unterschiedliche Tokenisierungsregeln verwenden. Dieses Tool liefert eine GPT-Referenzzählung für reinen Text. Vollständige Chat-Anfragen können auch Rollen, Nachrichtenformatierung und Tool-Definitionen enthalten, sodass ihr Gesamtverbrauch abweichen kann.
Wird mein Text hochgeladen?
Nein. Text und importierte Dateien werden in Ihrem Browser gezählt. Das Tool sendet ihre Inhalte nicht an einen Zähldienst.
Gibt es eine Begrenzung für die Textlänge oder Dateigröße?
Es gibt keine feste Begrenzung für die Textlänge oder Dateigröße. Große Eingaben benötigen mehr Zeit und hängen vom verfügbaren Speicher Ihres Geräts ab. Das Tool zählt den gesamten Text und zeigt nur die ersten 500 Tokens in der Vorschau. Die Vorschau verringert die Gesamtzahl nicht. Mit „Leeren“ stoppen Sie die aktuelle Zählung.