Bu token hesaplayıcı neyi sayar?
Girdiğiniz metindeki tokenları GPT'nin o200k_base tokenleştirme kurallarına göre sayar. Sözcük, karakter ve boşluk karakteri sayılarını da gösterir. Tokenlar bir sözcük, sözcüğün bir parçası, noktalama işareti veya boşluk karakteri içerebilir.
Bir karakter her zaman bir token mı eder?
Hayır. Bir token birkaç karakteri veya bir sözcüğün yalnızca bir bölümünü içerebilir; tek bir karakter de birden fazla token kullanabilir. Emojiler ve birleştirici işaret taşıyan harfler de tek bir karakter gibi görünseler bile birden fazla token kullanabilir. Karakter sayısı ile token sayısı arasında sabit bir oran yoktur.
Çince, Japonca ve Korece metinler nasıl sayılır?
Üçü de desteklenir, ancak CJK adı altında gruplandırılmaları karakter başına aynı sayıda token kullandıkları anlamına gelmez. Sık kullanılan karakter dizileri tek bir token oluşturabilirken tek bir karakter veya hece birden fazla tokena bölünebilir. Sayı yalnızca dile değil, gerçek metne ve tokenleştirme kurallarına bağlıdır.
Diğer diller ve birden fazla dil içeren metinler nasıl sayılır?
Sayaç; Latin, Kiril, Arap, Hint ve diğer yazı sistemleriyle yazılmış metinleri ve birden fazla dil içeren metinleri de destekler. Sözcükler daha küçük parçalara bölünebildiği için İngilizce sözcük veya karakter sayısına dayalı tahminler her dil için geçerli değildir. Aynı cümlenin çevirileri farklı token sayılarına sahip olabilir.
Karakterler ve sözcükler nasıl sayılır?
Modern tarayıcılarda bir Çince karakter, Japonca kana, Korece hece veya Latin harfi genellikle bir karakter sayılır. Birleştirici aksan işareti taşıyan bir harf veya birleşik emoji de genellikle tek karakter sayılır. Boşluk karakterleri ve noktalama işaretleri de sayıma dahildir. Sözcük sınırları dile uygun biçimde belirlenir; bu nedenle bir CJK metni sırf boşluk içermediği için tek sözcük sayılmaz. Karakter ve sözcük sayıları tokenlardan ayrı hesaplanır.
Boşluklar token olarak sayılır mı?
Boşluklar ve diğer boşluk karakterleri token sayımına dahil edilir. Bir boşluk, ardından gelen sözcükle birleştirilebilir veya ayrı bir token olabilir. Bir boşluğu kaldırmak yakındaki token sınırlarını değiştirebilir; bu yüzden bir boşluk her zaman bir token anlamına gelmez.
Bu sayı tüm AI modelleriyle eşleşir mi?
Hayır. Modeller farklı tokenleştirme kuralları kullanabilir. Bu araç, düz metin için GPT'ye göre bir referans sayı sunar. Tam sohbet istekleri roller, mesaj biçimlendirmesi ve araç tanımları da içerebildiğinden toplam kullanım farklı olabilir.
Metnim yükleniyor mu?
Hayır. Metin ve içe aktarılan dosyalar tarayıcınızda sayılır. Araç, içeriklerini bir sayım hizmetine göndermez.
Metin uzunluğu veya dosya boyutu sınırı var mı?
Sabit bir metin uzunluğu veya dosya boyutu sınırı yoktur. Büyük girdiler daha uzun sürer ve cihazınızın kullanılabilir belleğine bağlıdır. Araç metnin tamamını sayar, önizlemede ise yalnızca ilk 500 tokenı gösterir; bu sınırlama toplamı azaltmaz. Geçerli sayımı durdurmak için Temizle düğmesini kullanın.