یہ ٹوکن کیلکولیٹر کیا گنتا ہے؟
یہ آپ کے متن کے ٹوکن o200k_base GPT tokenization قواعد سے گنتا ہے۔ الفاظ، حروف اور خالی جگہوں کا شمار بھی دکھاتا ہے۔ ٹوکن لفظ، اس کا حصہ، رموز یا فاصلے ہو سکتے ہیں۔
GPT tokenization سے شمار ہوا۔ دوسرے ماڈل کے نتائج مختلف ہو سکتے ہیں۔
فائلیں مقامی طور پر ایک ایک کر کے گنی جاتی ہیں۔ متن کے ایڈیٹر میں لوڈ کیے بغیر پورا مواد گنا جاتا ہے۔ پہلے 500 ٹوکن کا پیش منظر دیکھنے کے لیے مکمل فائل منتخب کریں۔
فاصلے، نئی سطریں اور ٹیب حروف کی گنتیاں ہیں۔ خالی جگہ قریبی متن کے ساتھ ایک ٹوکن بانٹ سکتی ہے، اس لیے یہ تعدادیں کل ٹوکن سے منفی نہیں ہو سکتیں۔
ایک حرف کئی ٹوکن پر پھیل سکتا ہے۔ اصل متن سالم رکھنے کے لیے الگ بائٹ ٹکڑے ہیکس قدروں میں دکھتے ہیں۔
AI پرامپٹ میں استعمال سے پہلے متن ناپنے کے لیے مفت ٹوکن کاؤنٹر اور کیلکولیٹر لیں۔ ٹوکن، الفاظ اور حروف گنیں، خالی جگہیں دیکھیں اور متن کے ٹوکن بننے کا طریقہ سمجھیں۔
یہ آپ کے متن کے ٹوکن o200k_base GPT tokenization قواعد سے گنتا ہے۔ الفاظ، حروف اور خالی جگہوں کا شمار بھی دکھاتا ہے۔ ٹوکن لفظ، اس کا حصہ، رموز یا فاصلے ہو سکتے ہیں۔
نہیں۔ ٹوکن میں کئی حروف یا لفظ کا صرف حصہ ہو سکتا ہے اور ایک حرف کئی ٹوکن لے سکتا ہے۔ ایموجی اور ترکیبی نشان والے حروف بھی ایک حرف نظر آنے کے باوجود کئی ٹوکن لے سکتے ہیں۔ حرف اور ٹوکن کا مقررہ تناسب نہیں۔
تینوں معاونت یافتہ ہیں مگر CJK گروپ کا مطلب ایک جیسا فی حرف ٹوکن شمار نہیں۔ عام حرفی سلسلے ایک ٹوکن اور ایک حرف یا ہجا کئی ٹوکن ہو سکتا ہے۔ شمار اصل متن اور tokenization کے قواعد پر منحصر ہے، صرف زبان پر نہیں۔
کاؤنٹر لاطینی، سیریلک، عربی، انڈک اور دوسرے رسم الخط میں لکھے متن کی بھی معاونت کرتا ہے، جس میں مختلف زبانوں کا ملا جلا متن بھی شامل ہے۔ الفاظ چھوٹے ٹکڑوں میں بٹ سکتے ہیں، اس لیے انگریزی الفاظ یا حروف پر مبنی اندازے ہر زبان پر لاگو نہیں ہوتے۔ ایک ہی جملے کے ترجموں میں ٹوکن کی تعداد مختلف ہو سکتی ہے۔
جدید براؤزر میں ہان حرف، جاپانی کانا، کوریائی ہجا یا لاطینی حرف عموماً ایک حرف گنا جاتا ہے۔ ترکیبی accent والا حرف یا ملا ہوا ایموجی بھی عموماً ایک گنا جاتا ہے۔ فاصلے اور رموز شامل ہیں۔ الفاظ زبان کے مطابق حدوں سے بنتے ہیں، اس لیے بغیر فاصلے کا CJK متن صرف ایک لفظ نہیں مانا جاتا۔ دونوں شمار ٹوکن سے الگ ہیں۔
ٹوکن گنتے وقت فاصلے اور دوسری خالی جگہیں شامل ہیں۔ فاصلہ اگلے لفظ سے مل یا الگ ٹوکن ہو سکتا ہے۔ فاصلہ ہٹانے سے قریبی ٹوکن حدیں بدل سکتی ہیں، اس لیے ایک فاصلہ ہمیشہ ایک ٹوکن نہیں۔
نہیں۔ ماڈل مختلف tokenization قواعد لے سکتے ہیں۔ یہ ٹول سادہ متن کا GPT حوالہ شمار دیتا ہے۔ مکمل چیٹ درخواست میں کردار، پیغام فارمیٹنگ اور ٹول تعریفیں بھی ہو سکتی ہیں، اس لیے کل استعمال مختلف ہو سکتا ہے۔
نہیں۔ متن اور درآمد فائلیں براؤزر میں گنی جاتی ہیں۔ ٹول ان کا مواد شمار کرنے کی خدمت کو نہیں بھیجتا۔
متن کی لمبائی یا فائل سائز کی مقررہ حد نہیں۔ بڑا ان پٹ وقت اور دستیاب میموری پر منحصر ہے۔ فائل موڈ ہر پوری فائل ایڈیٹر میں ڈالے بغیر گنتا اور منسوخی پر مکمل نتائج رکھتا ہے۔ پیش منظر صرف پہلے 500 ٹوکن؛ CSV رپورٹ مکمل شمار رکھتی ہے۔
متعلقہ ٹولز: الفاظ گننے کا ٹول
Java، Python، JavaScript، JSON، HTML اور دیگر کوڈ فارمیٹ کر کے خوش ترتیب بنائیں؛ انڈینٹ، خالی جگہیں اور سطر کے وقفے بدلیں۔
ریکارڈنگز تراشیں، جوڑیں یا تقسیم کریں، خاموشی یا شور ہٹائیں، اور آواز کی سطح، رفتار، پچ یا چینلز بدلیں۔
CSV یا Excel شیٹس کھولیں اور بدلیں، جدولی متن فارمیٹ کریں، اور CSV کو Excel یا SQL میں تبدیل کریں۔
Markdown لکھیں اور پیش نظارہ دیکھیں، Mermaid خاکے رینڈر کریں، اور Markdown، HTML اور جدولوں کو مختلف فارمیٹس میں تبدیل کریں۔
متنی حصوں کا موازنہ کریں، الفاظ اور کلیدی الفاظ گنیں، سطریں ترتیب دیں یا بدلیں، اور DOCX متن دیکھیں۔
چینی معانی، مترادفات اور متضادات تلاش کریں، یا مختلف زبانوں کا IPA تلفظ دیکھیں۔
MP3، WAV، FLAC اور دیگر فارمیٹس تبدیل کریں، آڈیو یا خام PCM چلائیں، اور آڈیو میٹا ڈیٹا دیکھیں یا بدلیں۔
JSON دیکھیں، موازنہ اور توثیق کریں؛ JSONPath اظہار آزمائیں، یا ڈیٹا CSV، YAML اور XML میں تبدیل کریں۔
آڈیو کو متن میں لکھیں، متن سے آواز بنائیں، یا براؤزر میں اپنی آواز ریکارڈ کریں۔
ویڈیو تبدیل اور کمپریس کریں، کلپس تراشیں یا جوڑیں، فریموں کا سائز بدلیں، اور آڈیو نکالیں۔
مقامی یا اسٹریم ہونے والی ویڈیو چلائیں، اسکرین یا کیمرا ریکارڈ کریں، اور کیمرے کو آن لائن آئینے کے طور پر استعمال کریں۔
PDF کمپریس یا یکجا کریں، صفحات تقسیم اور دوبارہ ترتیب دیں، صفحات کو تصاویر میں بدلیں، اور دستاویزات دیکھیں یا موازنہ کریں۔
تصویری فارمیٹس تبدیل کریں، تصاویر کا سائز بدلیں یا کاٹیں، فائلیں کمپریس کریں، تصاویر کا موازنہ کریں، اور OCR سے متن نکالیں۔
اسکرین شاٹس لیں اور خوب صورت بنائیں، متن کو تصاویر یا GIF میں بدلیں، وائٹ بورڈ پر ڈرائنگ کریں، اور لفظوں کے بادل یا فیویکون بنائیں۔
ویڈیو پیش نظارے کے ساتھ SRT یا VTT کیپشن بدلیں، وقت آگے پیچھے کریں، فارمیٹس تبدیل کریں، اور سب ٹائٹل ٹریک سنبھالیں۔
ZIP، 7Z، RAR یا TAR فائلیں کھولیں، منتخب مواد نکالیں، اور اختیاری ZIP/7Z پاس ورڈ کے ساتھ نئے آرکائیوز بنائیں۔
Base64 یا Base32 ان کوڈ اور ڈی کوڈ کریں، URL، HTML اور Unicode متن ایسکیپ کریں، اور JWT کا مواد دیکھیں۔
بائنری، اعشاری اور ہیکسا ڈیسیمل کی اساسیں اور قدریں تبدیل کریں؛ اعداد کو الفاظ یا متن کو بائنری میں بدلیں۔
فیصد اور کسریں معلوم کریں، شماریات کا خلاصہ نکالیں، اور گریڈ، رعایت یا ابعاد کا تناسب حساب کریں۔
آن لائن گھڑی دکھائیں، الٹی گنتی یا اسٹاپ واچ چلائیں، اور تاریخ، عمر یا ٹائم زون کے فرق حساب کریں۔
اپنا IP اور IPv6 کنکشن جانچیں، HTTP درخواستیں یا HAR فائلیں دیکھیں، اور CIDR پتوں کی حدود حساب کریں۔
لمبائی، وزن، درجہ حرارت، ڈیٹا ذخیرے اور دوسری اکائیاں تبدیل کریں۔
HEX، RGB اور HSL قدریں تبدیل کریں، تصویر سے رنگ نکالیں، تضاد جانچیں، یا یک رنگی اسکرین سے ڈسپلے جانچیں۔
QR کوڈ یا بارکوڈ بنائیں اور اسکین کریں، جن میں لنکس اور Wi-Fi نیٹ ورک کے QR کوڈ شامل ہیں۔
ہیش، UUID اور پاس ورڈ بنائیں، ریگولر ایکسپریشن آزمائیں، URL سلگ بنائیں اور فائل کی اجازتیں جانچیں۔
اسکرین کی ریزولیوشن اور ریفریش ریٹ جانچیں، اسکرین کے پیمانے سے ناپیں، کیز آزمائیں، یا ٹیلی پرامپٹر سے پڑھیں۔
2048، بارودی سرنگوں کی تلاش، سوڈوکو، گوموکو، ٹینک کی جنگ