Mitä tämä tokenlaskuri laskee?
Se laskee syötetyn tekstin tokenit GPT:n o200k_base-tokenisointisäännöillä. Se näyttää myös sanojen, merkkien ja tyhjemerkkien määrät. Token voi sisältää sanan, sanan osan, välimerkin tai tyhjemerkin.
Laskenta käyttää GPT-tokenisointia. Muut mallit voivat antaa eri tuloksia.
Tiedostot lasketaan paikallisesti yksi kerrallaan. Koko sisältö lasketaan lataamatta sitä tekstieditoriin. Valitse valmis tiedosto esikatsellaksesi sen ensimmäiset 500 tokenia.
Välilyönnit, rivinvaihdot ja sarkaimet ovat merkkimääriä. Tyhjemerkki voi kuulua samaan tokeniin läheisen tekstin kanssa, joten näitä määriä ei voi vähentää tokenien kokonaismäärästä.
Yksi merkki voi jakautua useaan tokeniin. Yksittäiset tavukatkelmat näytetään heksadesimaaliarvoina alkuperäisen tekstin säilyttämiseksi.
Mittaa teksti tällä ilmaisella tokenlaskurilla ennen sen käyttöä tekoälykehotteessa. Katso tokenien, sanojen ja merkkien määrät, tutki tyhjemerkkejä ja selvitä, miten teksti jakautuu tokeneiksi.
Se laskee syötetyn tekstin tokenit GPT:n o200k_base-tokenisointisäännöillä. Se näyttää myös sanojen, merkkien ja tyhjemerkkien määrät. Token voi sisältää sanan, sanan osan, välimerkin tai tyhjemerkin.
Ei. Token voi sisältää useita merkkejä tai vain osan sanasta, ja yksi merkki voi käyttää useita tokeneita. Myös emojit ja yhdistelmätarkkeita sisältävät kirjaimet voivat käyttää useita tokeneita, vaikka ne näyttävät yhdeltä merkiltä. Merkkien ja tokenien välillä ei ole kiinteää suhdetta.
Kaikkia kolmea tuetaan, mutta CJK-ryhmittely ei tarkoita yhteistä tokenmäärää merkkiä kohden. Tavalliset merkkijonot voivat muodostaa yhden tokenin, kun taas yksittäinen merkki tai tavu voi jakautua useaan. Määrä riippuu todellisesta tekstistä ja tokenisointisäännöistä, ei pelkästään kielestä.
Laskuri tukee myös latinalaista, kyrillistä, arabialaista, intialaista ja muuta kirjoitusta sekä monikielistä tekstiä. Sanat voivat jakautua pienempiin osiin, joten englannin sana- tai merkkiarviot eivät päde kaikkiin kieliin. Saman virkkeen käännöksissä voi olla eri määrä tokeneita.
Nykyselaimissa han-merkki, japanilainen kana-merkki, korealainen tavu tai latinalainen kirjain lasketaan yleensä yhdeksi merkiksi. Myös yhdistelmätarkkeen sisältävä kirjain tai yhdistelmäemoji lasketaan tavallisesti yhdeksi. Välilyönnit ja välimerkit sisältyvät määrään. Sanat rajataan kielitietoisesti, joten CJK-tekstiä ei pidetä yhtenä sanana vain välilyöntien puuttumisen vuoksi. Molemmat määrät ovat erillisiä tokenmäärästä.
Välilyönnit ja muut tyhjemerkit sisältyvät tokenlaskentaan. Välilyönti voi yhdistyä seuraavaan sanaan tai olla erillinen token. Välilyönnin poistaminen voi muuttaa läheisiä tokenrajoja, joten yksi välilyönti ei aina tarkoita yhtä tokenia.
Ei. Mallit voivat käyttää erilaisia tokenisointisääntöjä. Työkalu antaa GPT-viitemäärän pelkälle tekstille. Kokonaiset keskustelupyynnöt voivat sisältää myös rooleja, viestien muotoilua ja työkalumäärityksiä, joten niiden kokonaiskäyttö voi poiketa tästä.
Ei. Teksti ja tuodut tiedostot lasketaan selaimessa. Työkalu ei lähetä niiden sisältöä laskentapalveluun.
Tekstin pituudelle tai tiedostokoolle ei ole kiinteää rajaa. Suuret syötteet vievät enemmän aikaa ja riippuvat laitteen vapaasta muistista. Tiedostotila laskee jokaisen tiedoston kokonaan siirtämättä sitä tekstieditoriin ja säilyttää valmiit tulokset peruutettaessa. Tokenesikatselu näyttää vain ensimmäiset 500 tokenia; CSV-raportit sisältävät täydelliset määrät.
Aiheeseen liittyvät työkalut: Sanalaskuri
Muotoile ja siisti Javaa, Pythonia, JavaScriptiä, JSONia, HTML:ää ja muita. Säädä sisennystä, välejä ja rivinvaihtoja.
Rajaa, yhdistä tai jaa tallenteita, poista hiljaisuutta tai kohinaa ja säädä voimakkuutta, nopeutta, sävelkorkeutta tai kanavia.
Avaa ja muokkaa CSV- tai Excel-taulukoita, muotoile taulukkotekstiä ja muunna CSV Exceliksi tai SQL:ksi.
Kirjoita ja esikatsele Markdownia, renderöi Mermaid-kaavioita ja muunna Markdownia, HTML:ää ja taulukoita muotojen välillä.
Vertaa tekstejä, laske sanoja ja avainsanoja, lajittele tai korvaa rivejä ja tarkastele DOCX-tekstiä.
Hae kiinan merkityksiä, synonyymejä ja vastakohtia tai etsi IPA-ääntämyksiä useilla kielillä.
Muunna MP3:n, WAVin, FLACin ja muiden muotojen välillä, toista ääntä tai raakaa PCM:ää ja tarkista tai muokkaa äänen metatietoja.
Tarkastele, vertaa ja validoi JSONia, testaa JSONPath-lausekkeita tai muunna data CSV-, YAML- ja XML-muotoon.
Litteroi ääni tekstiksi, luo puhetta tekstistä tai tallenna äänesi selaimessa.
Muunna ja pakkaa videoita, rajaa tai yhdistä leikkeitä, muuta kuvakokoa ja poimi ääni.
Toista paikallista tai suoratoistovideota, tallenna näyttöä tai kameraa ja käytä kameraa verkkopeilinä.
Pakkaa tai yhdistä PDF:t, jaa ja järjestä sivut uudelleen, muunna sivut kuviksi ja tarkastele tai vertaa asiakirjoja.
Muunna kuvamuotoja, muuta kuvien kokoa tai rajaa niitä, pakkaa tiedostoja, vertaa kuvia ja poimi teksti OCR:llä.
Ota ja viimeistele kuvakaappauksia, muunna teksti kuviksi tai GIFeiksi, piirrä valkotaululle ja luo sanapilviä tai favicon-kuvakkeita.
Muokkaa SRT- tai VTT-tekstityksiä videon esikatselulla, siirrä ajoitusta, muunna muotoja ja hallitse tekstitysraitoja.
Avaa ZIP-, 7Z-, RAR- tai TAR-tiedostot, pura valittu sisältö ja luo uusia arkistoja valinnaisilla ZIP-/7Z-salasanoilla.
Koodaa ja pura Base64 tai Base32, lisää URL-, HTML- ja Unicode-tekstin pakomerkit ja tarkista JWT:n sisältö.
Muunna lukujärjestelmiä ja arvoja binäärin, desimaalin ja heksadesimaalin välillä. Muunna luvut sanoiksi tai teksti binääriksi.
Laske prosentit ja murtoluvut, kokoa tilastoja ja laske arvosanat, alennukset tai kuvasuhteet.
Näytä verkkokello, käytä ajastinta tai sekuntikelloa ja laske päivämääriä, ikiä tai aikavyöhyke-eroja.
Tarkista IP-osoitteesi ja IPv6-yhteytesi, tutki HTTP-pyyntöjä tai HAR-tiedostoja ja laske CIDR-osoitealueita.
Muunna pituuden, painon, lämpötilan, tallennustilan ja muiden suureiden yksiköitä.
Muunna HEX-, RGB- ja HSL-arvoja, poimi kuvan värejä, tarkista kontrasti tai testaa näyttöäsi tasaisilla väreillä.
Luo ja lue QR- tai viivakoodeja, myös QR-koodeja linkeille ja Wi-Fi-verkoille.
Luo tiivisteitä, UUID-tunnisteita ja salasanoja, testaa säännöllisiä lausekkeita, luo URL-tunnuksia ja tarkista tiedosto-oikeudet.
Tarkista näytön tarkkuus ja virkistystaajuus, mittaa näyttöviivaimella, testaa näppäimiä tai lue teleprompterista.
2048, Miinaharava, Sudoku, Gomoku, Panssarivaunutaistelu