Ką skaičiuoja ši žetonų skaičiuoklė?
Jis skaičiuoja įvesto teksto žetonus pagal GPT o200k_base skaidymo taisykles. Taip pat rodo žodžių, ženklų ir tarpinių ženklų skaičių. Žetone gali būti žodis, jo dalis, skyrybos ženklas ar tarpas.
Skaičiuojama pagal GPT skaidymą į žetonus. Kiti modeliai gali pateikti kitokius rezultatus.
Failai skaičiuojami vietoje po vieną. Skaičiuojamas visas turinys neįkeliant jo į teksto rengyklę. Pasirinkite užbaigtą failą pirmiesiems 500 žetonų peržiūrėti.
Tarpai, eilučių lūžiai ir tabuliacijos skaičiuojami kaip ženklai. Tarpinis ženklas gali būti tame pačiame žetone kaip gretimas tekstas, todėl šių skaičių negalima atimti iš bendro žetonų skaičiaus.
Vienas ženklas gali apimti kelis žetonus. Atskiri baitų fragmentai rodomi šešioliktainėmis reikšmėmis, kad originalus tekstas liktų nepakeistas.
Naudokite šią nemokamą žetonų skaičiuoklę tekstui įvertinti prieš naudodami jį DI užklausoje. Matykite žetonų, žodžių ir ženklų skaičių, tikrinkite tarpus ir tyrinėkite, kaip tekstas skaidomas į žetonus.
Jis skaičiuoja įvesto teksto žetonus pagal GPT o200k_base skaidymo taisykles. Taip pat rodo žodžių, ženklų ir tarpinių ženklų skaičių. Žetone gali būti žodis, jo dalis, skyrybos ženklas ar tarpas.
Ne. Žetone gali būti keli ženklai arba tik žodžio dalis, o vienam ženklui gali reikėti kelių žetonų. Jaustukai ir raidės su jungiamaisiais ženklais taip pat gali naudoti kelis žetonus, nors atrodo kaip vienas ženklas. Pastovaus ženklų ir žetonų santykio nėra.
Palaikomos visos trys kalbos, tačiau jų grupavimas kaip CJK nereiškia vienodo žetonų skaičiaus vienam ženklui. Dažnos ženklų sekos gali sudaryti vieną žetoną, o vienas ženklas ar skiemuo gali būti išskaidytas į kelis. Skaičius priklauso nuo paties teksto ir skaidymo taisyklių, ne vien nuo kalbos.
Skaičiuoklė taip pat palaiko lotynų, kirilicos, arabų, indų ir kitų rašto sistemų tekstą, įskaitant kelių kalbų mišinį. Žodžiai gali būti skaidomi smulkiau, todėl angliškų žodžių ar ženklų įverčiai netinka kiekvienai kalbai. To paties sakinio vertimai gali turėti skirtingą žetonų skaičių.
Šiuolaikinėse naršyklėse Han ženklas, japoniškos kanos ženklas, korėjietiškas skiemuo ar lotyniška raidė paprastai skaičiuojami kaip vienas ženklas. Raidė su jungiamuoju diakritiniu ženklu ar sudėtinis jaustukas paprastai irgi laikomi vienu. Tarpai ir skyryba įtraukiami. Žodžiai skiriami pagal kalbai būdingas ribas, todėl CJK ištrauka nelaikoma vienu žodžiu vien dėl tarpų nebuvimo. Abu skaičiai nepriklauso nuo žetonų skaičiaus.
Tarpai ir kiti tarpiniai ženklai įtraukiami skaičiuojant žetonus. Tarpas gali būti sujungtas su kitu žodžiu arba sudaryti atskirą žetoną. Pašalinus tarpą gali pasikeisti gretimų žetonų ribos, todėl vienas tarpas ne visada yra vienas žetonas.
Ne. Modeliai gali naudoti skirtingas skaidymo į žetonus taisykles. Šis įrankis pateikia grynojo teksto GPT orientacinį skaičių. Visose pokalbių užklausose dar gali būti vaidmenų, pranešimų formatavimo ir įrankių apibrėžimų, todėl bendras naudojimas gali skirtis.
Ne. Tekstas ir importuoti failai skaičiuojami naršyklėje. Įrankis nesiunčia jų turinio skaičiavimo paslaugai.
Fiksuoto teksto ilgio ar failo dydžio apribojimo nėra. Didelėms įvestims reikia daugiau laiko ir pakankamai laisvos įrenginio atminties. Failų režimas suskaičiuoja kiekvieną visą failą neperkeldamas jo į teksto rengyklę, o atšaukus išsaugo baigtus rezultatus. Žetonų peržiūroje rodomi tik pirmieji 500 žetonų; CSV ataskaitose pateikiami visi skaičiai.
Susiję įrankiai: Žodžių skaičiuoklis
Formatuokite ir tvarkykite Java, Python, JavaScript, JSON, HTML ir kitą kodą; koreguokite įtraukas, tarpus ir eilučių lūžius.
Kirpkite, sujunkite ar skaidykite įrašus, šalinkite tylą ar triukšmą ir koreguokite garsumą, greitį, garso aukštį arba kanalus.
Atverkite ir redaguokite CSV ar Excel lapus, formatuokite lentelių tekstą ir konvertuokite CSV į Excel arba SQL.
Rašykite ir peržiūrėkite Markdown, atvaizduokite Mermaid diagramas ir konvertuokite Markdown, HTML bei lenteles tarp formatų.
Lyginkite ištraukas, skaičiuokite žodžius bei raktažodžius, rikiuokite ar keiskite eilutes ir peržiūrėkite DOCX tekstą.
Ieškokite kinų kalbos reikšmių, sinonimų ir antonimų arba raskite IPA tarimus įvairiomis kalbomis.
Konvertuokite tarp MP3, WAV, FLAC ir kitų formatų, atkurkite garsą ar neapdorotą PCM ir tikrinkite arba redaguokite garso metaduomenis.
Tyrinėkite, palyginkite ir tikrinkite JSON; bandykite JSONPath reiškinius arba konvertuokite duomenis į CSV, YAML ir XML.
Transkribuokite garsą į tekstą, generuokite kalbą iš teksto arba įrašykite savo balsą naršyklėje.
Konvertuokite ir glaudinkite vaizdo įrašus, kirpkite ar sujunkite ištraukas, keiskite kadrų dydį ir išgaukite garsą.
Atkurkite vietinį ar srautinį vaizdo įrašą, įrašykite ekraną arba kamerą ir naudokite kamerą kaip internetinį veidrodį.
Glaudinkite ar sujunkite PDF, skaidykite ir perrikiuokite puslapius, konvertuokite puslapius į vaizdus ir peržiūrėkite arba palyginkite dokumentus.
Konvertuokite vaizdų formatus, keiskite nuotraukų dydį ar apkirpkite jas, glaudinkite failus, lyginkite vaizdus ir išgaukite tekstą naudodami OCR.
Fiksuokite ir apipavidalinkite ekrano kopijas, paverskite tekstą vaizdais ar GIF, pieškite lentoje ir kurkite žodžių debesis ar svetainių piktogramas.
Redaguokite SRT ar VTT subtitrus su vaizdo peržiūra, keiskite laikus, konvertuokite formatus ir tvarkykite subtitrų takelius.
Atverkite ZIP, 7Z, RAR ar TAR failus, išgaukite pasirinktą turinį ir kurkite naujus archyvus su pasirenkamais ZIP/7Z slaptažodžiais.
Koduokite ir dekoduokite Base64 ar Base32, ekranuokite URL, HTML bei Unicode tekstą ir tikrinkite JWT turinį.
Konvertuokite skaičių sistemas ir reikšmes tarp dvejetainės, dešimtainės bei šešioliktainės; paverskite skaičius žodžiais arba tekstą dvejetainiu kodu.
Skaičiuokite procentus ir trupmenas, apibendrinkite statistiką ir apskaičiuokite pažymius, nuolaidas ar kraštinių santykius.
Rodykite internetinį laikrodį, paleiskite atgalinį skaičiavimą ar chronometrą ir skaičiuokite datas, amžių arba laiko juostų skirtumus.
Patikrinkite savo IP ir IPv6 ryšį, tyrinėkite HTTP užklausas ar HAR failus ir skaičiuokite CIDR adresų intervalus.
Konvertuokite ilgio, svorio, temperatūros, duomenų saugyklos ir kitus vienetus.
Konvertuokite HEX, RGB ir HSL reikšmes, išgaukite spalvas iš vaizdo, tikrinkite kontrastą arba bandykite ekraną vientisomis spalvomis.
Generuokite ir nuskaitykite QR ar brūkšninius kodus, įskaitant nuorodų ir Wi-Fi tinklų QR kodus.
Generuokite maišos reikšmes, UUID ir slaptažodžius, bandykite reguliariąsias išraiškas, kurkite URL adresų trumpinius ir tikrinkite failų leidimus.
Tikrinkite ekrano raišką ir atnaujinimo dažnį, matuokite ekrano liniuote, bandykite klavišus arba skaitykite iš suflerio.
2048, Išminuotojas, Sudoku, Gomoku, Tankų mūšis