Co liczy ten kalkulator tokenów?
Liczy tokeny we wpisanym tekście zgodnie z regułami tokenizacji GPT o200k_base. Pokazuje też liczbę słów, znaków i białych znaków. Token może zawierać słowo, część słowa, znak interpunkcyjny lub biały znak.
Liczenie według tokenizacji GPT. Inne modele mogą dawać inne wyniki.
Spacje, podziały wierszy i tabulatory są liczone jako znaki. Biały znak może należeć do tego samego tokenu co sąsiedni tekst, dlatego nie można odjąć tych liczb od łącznej liczby tokenów.
Jeden znak może obejmować więcej niż jeden token. Oddzielne fragmenty bajtów są wyświetlane szesnastkowo, aby zachować oryginalny tekst bez zmian.
Skorzystaj z bezpłatnego licznika i kalkulatora tokenów, aby zmierzyć tekst przed użyciem go w poleceniu dla AI. Sprawdź liczbę tokenów, słów i znaków, przeanalizuj białe znaki i zobacz, jak tekst jest dzielony na tokeny.
Liczy tokeny we wpisanym tekście zgodnie z regułami tokenizacji GPT o200k_base. Pokazuje też liczbę słów, znaków i białych znaków. Token może zawierać słowo, część słowa, znak interpunkcyjny lub biały znak.
Nie. Token może zawierać kilka znaków lub tylko część słowa, a jeden znak może wymagać kilku tokenów. Emoji i litery ze znakami łączącymi również mogą wymagać wielu tokenów, nawet jeśli wyglądają jak pojedynczy znak. Nie ma stałego stosunku liczby znaków do liczby tokenów.
Wszystkie trzy języki są obsługiwane, ale zaliczenie ich do grupy CJK nie oznacza wspólnej liczby tokenów na znak. Częste sekwencje znaków mogą tworzyć jeden token, a pojedynczy znak lub sylaba mogą być dzielone na kilka tokenów. Liczba zależy od konkretnego tekstu i reguł tokenizacji, a nie tylko od języka.
Licznik obsługuje też tekst zapisany alfabetem łacińskim, cyrylicą, pismem arabskim, pismami indyjskimi i innymi systemami pisma, w tym tekst łączący różne języki. Słowa mogą być dzielone na mniejsze części, więc szacunki oparte na liczbie angielskich słów lub znaków nie sprawdzają się w każdym języku. Tłumaczenia tego samego zdania mogą mieć różną liczbę tokenów.
W nowoczesnych przeglądarkach znak chiński, znak japońskiej kany, sylaba koreańska lub litera łacińska zwykle liczą się jako jeden znak. Litera z łączącym znakiem akcentu lub złożone emoji zwykle również liczą się jako jeden znak. Białe znaki i znaki interpunkcyjne także są uwzględniane. Słowa są wyznaczane zgodnie z granicami właściwymi dla danego języka, więc fragment tekstu CJK nie jest traktowany jako jedno słowo tylko dlatego, że nie ma spacji. Liczba znaków i liczba słów są obliczane niezależnie od tokenów.
Spacje i inne białe znaki są uwzględniane przy liczeniu tokenów. Spacja może zostać połączona z następującym po niej słowem albo utworzyć osobny token. Usunięcie spacji może zmienić granice sąsiednich tokenów, dlatego jedna spacja nie zawsze oznacza jeden token.
Nie. Modele mogą stosować różne reguły tokenizacji. Narzędzie podaje referencyjną liczbę tokenów GPT dla zwykłego tekstu. Pełne żądania czatu mogą zawierać także role, formatowanie wiadomości i definicje narzędzi, więc ich łączne zużycie może być inne.
Nie. Tekst i zaimportowane pliki są liczone w Twojej przeglądarce. Narzędzie nie przesyła ich zawartości do usługi zliczającej.
Nie ma stałego limitu długości tekstu ani rozmiaru pliku. Przetwarzanie dużych danych wejściowych trwa dłużej i zależy od dostępnej pamięci urządzenia. Narzędzie liczy cały tekst i wyświetla podgląd tylko pierwszych 500 tokenów; ograniczenie podglądu nie zmniejsza łącznej liczby. Użyj przycisku Wyczyść, aby zatrzymać bieżące zliczanie.
Powiązane narzędzia: Licznik słów
Formatuj i porządkuj kod m.in. w językach i formatach Java, Python, JavaScript, JSON oraz HTML; dostosowuj wcięcia, odstępy i podziały wierszy.
Przycinaj, łącz lub dziel nagrania, usuwaj ciszę lub szum i reguluj głośność, prędkość, wysokość dźwięku lub kanały.
Otwieraj i edytuj arkusze CSV lub Excel, formatuj tekst tabelaryczny i konwertuj CSV do Excel lub SQL.
Pisz i przeglądaj Markdown, renderuj diagramy Mermaid oraz konwertuj Markdown, HTML i tabele między formatami.
Porównuj fragmenty tekstu, licz słowa i słowa kluczowe, sortuj lub zastępuj wiersze i przeglądaj tekst z plików DOCX.
Sprawdź znaczenia, synonimy i antonimy chińskich słów lub znajdź transkrypcje IPA w wielu językach.
Konwertuj między MP3, WAV, FLAC i innymi formatami, odtwarzaj dźwięk lub surowe dane PCM oraz sprawdzaj i edytuj metadane audio.
Przeglądaj, porównuj i sprawdzaj poprawność JSON; testuj wyrażenia JSONPath lub konwertuj dane do CSV, YAML i XML.
Transkrybuj nagrania na tekst, generuj mowę z tekstu lub nagrywaj swój głos w przeglądarce.
Konwertuj i kompresuj filmy, przycinaj lub łącz klipy, zmieniaj wymiary klatek i wyodrębniaj dźwięk.
Odtwarzaj filmy lokalne lub strumieniowe, nagrywaj ekran lub obraz z kamery i używaj kamery jako lustra online.
Kompresuj lub łącz pliki PDF, dziel i zmieniaj kolejność stron, konwertuj strony na obrazy oraz przeglądaj i porównuj dokumenty.
Konwertuj formaty obrazów, zmieniaj rozmiar lub kadruj zdjęcia, kompresuj pliki, porównuj obrazy i wyodrębniaj tekst za pomocą OCR.
Przechwytuj i upiększaj zrzuty ekranu, zamieniaj tekst na obrazy lub GIF-y, rysuj na tablicy i twórz chmury słów lub ikony favicon.
Edytuj napisy SRT lub VTT z podglądem filmu, przesuwaj ich czas, konwertuj formaty i zarządzaj ścieżkami napisów.
Otwieraj pliki ZIP, 7Z, RAR lub TAR, rozpakowuj wybraną zawartość i twórz nowe archiwa, opcjonalnie zabezpieczając ZIP/7Z hasłem.
Koduj i dekoduj Base64 lub Base32, zamieniaj znaki specjalne adresów URL, HTML i tekstu Unicode na sekwencje ucieczki oraz sprawdzaj zawartość JWT.
Konwertuj liczby i ich zapis między systemami dwójkowym, dziesiętnym i szesnastkowym; zamieniaj liczby na słowa lub tekst na zapis binarny.
Obliczaj procenty i ułamki, podsumowuj dane statystyczne oraz wyliczaj oceny, rabaty lub proporcje obrazu.
Wyświetlaj zegar online, uruchamiaj odliczanie lub stoper i obliczaj daty, wiek lub różnice między strefami czasowymi.
Sprawdzaj swój adres IP i połączenie IPv6, analizuj żądania HTTP lub pliki HAR i obliczaj zakresy adresów CIDR.
Przeliczaj jednostki długości, masy, temperatury, pojemności pamięci i inne.
Konwertuj wartości HEX, RGB i HSL, wyodrębniaj kolory z obrazu, sprawdzaj kontrast lub testuj ekran za pomocą jednolitych kolorów.
Generuj i skanuj kody QR lub kody kreskowe, w tym kody QR do linków i sieci Wi-Fi.
Generuj skróty, UUID i hasła, testuj wyrażenia regularne, twórz uproszczone identyfikatory adresów URL i sprawdzaj uprawnienia plików.
Sprawdzaj rozdzielczość ekranu i częstotliwość odświeżania, mierz linijką ekranową, testuj klawisze lub czytaj z promptera.
2048, Saper, Sudoku, Gomoku, Bitwa czołgów