ما الذي تحسبه حاسبة التوكنات هذه؟
تحسب التوكنات في النص الذي تدخله باستخدام قواعد تقسيم GPT من نوع o200k_base. وتعرض أيضًا عدد الكلمات والمحارف والمحارف البيضاء. قد يحتوي التوكن على كلمة أو جزء من كلمة أو علامة ترقيم أو محرف أبيض.
يُحسب العدد وفق تقسيم GPT إلى توكنات. قد تختلف النتائج في النماذج الأخرى.
المسافات وفواصل الأسطر وعلامات الجدولة هي أعداد محارف. قد يشترك المحرف الأبيض مع النص المجاور في توكن واحد، لذلك لا يمكن طرح هذه الأعداد من إجمالي التوكنات.
قد يمتد المحرف الواحد عبر أكثر من توكن. تُعرض أجزاء البايتات المنفصلة بقيم ست عشرية للحفاظ على النص الأصلي دون تغيير.
استخدم عداد وحاسبة التوكنات المجاني لقياس النص قبل استخدامه في طلب للذكاء الاصطناعي. اعرض عدد التوكنات والكلمات والمحارف، وتحقّق من المحارف البيضاء، واستكشف كيفية تقسيم النص إلى توكنات.
تحسب التوكنات في النص الذي تدخله باستخدام قواعد تقسيم GPT من نوع o200k_base. وتعرض أيضًا عدد الكلمات والمحارف والمحارف البيضاء. قد يحتوي التوكن على كلمة أو جزء من كلمة أو علامة ترقيم أو محرف أبيض.
لا. قد يحتوي التوكن على عدة محارف أو جزء من كلمة فقط، وقد يحتاج المحرف الواحد إلى عدة توكنات. وقد تتطلب الرموز التعبيرية والحروف ذات العلامات المركّبة عدة توكنات أيضًا، حتى لو بدت كمحرف واحد. لا توجد نسبة ثابتة بين عدد المحارف وعدد التوكنات.
اللغات الثلاث مدعومة، لكن جمعها تحت مسمى CJK لا يعني أن لها عددًا موحدًا من التوكنات لكل محرف. قد تشكّل تسلسلات المحارف الشائعة توكنًا واحدًا، بينما قد يُقسّم المحرف أو المقطع الواحد إلى عدة توكنات. يعتمد العدد على النص الفعلي وقواعد تقسيمه إلى توكنات، وليس على اللغة وحدها.
يدعم العداد أيضًا النصوص المكتوبة بالأبجديات اللاتينية والسيريلية والعربية والكتابات الهندية وغيرها، بما فيها النصوص متعددة اللغات. قد تُقسّم الكلمات إلى أجزاء أصغر، لذا لا تنطبق التقديرات المبنية على عدد الكلمات أو المحارف الإنجليزية على كل لغة. وقد تختلف أعداد التوكنات بين ترجمات الجملة نفسها.
في المتصفحات الحديثة، يُحسب المحرف الصيني أو محرف الكانا الياباني أو المقطع الكوري أو الحرف اللاتيني عادةً كمحرف واحد. ويُحسب الحرف الذي يحمل علامة نبر مركّبة أو الرمز التعبيري المركّب عادةً كمحرف واحد أيضًا. وتُدرج المحارف البيضاء وعلامات الترقيم أيضًا في العدّ. تُحدّد حدود الكلمات بما يناسب اللغة، فلا يُعامل مقطع نصي بلغة من لغات CJK على أنه كلمة واحدة لمجرد خلوه من المسافات. ويُحسب عدد المحارف وعدد الكلمات بشكل منفصل عن التوكنات.
تُدرج المسافات والمحارف البيضاء الأخرى عند حساب التوكنات. قد تُدمج المسافة مع الكلمة التي تليها أو تشكّل توكنًا مستقلًا. وقد يغيّر حذف مسافة حدود التوكنات المجاورة، لذا لا تعني المسافة الواحدة دائمًا توكنًا واحدًا.
لا. قد تستخدم النماذج قواعد مختلفة لتقسيم النص إلى توكنات. توفر هذه الأداة عددًا مرجعيًا وفق GPT للنص العادي. وقد تتضمن طلبات المحادثة الكاملة أدوارًا وتنسيق رسائل وتعريفات أدوات، لذا قد يختلف إجمالي الاستخدام.
لا. يُحسب النص والملفات المستوردة في متصفحك. لا ترسل الأداة محتواها إلى خدمة حساب.
لا يوجد حد ثابت لطول النص أو حجم الملف. تستغرق المدخلات الكبيرة وقتًا أطول، وتعتمد معالجتها على الذاكرة المتاحة في جهازك. تحسب الأداة النص كاملًا وتعرض أول 500 توكن فقط في المعاينة؛ ولا يؤدي ذلك إلى تقليل العدد الإجمالي. استخدم «مسح» لإيقاف الحساب الجاري.
أدوات ذات صلة: عداد الكلمات
نسّق شفرة Java وPython وJavaScript وJSON وHTML وغيرها وحسّن مظهرها؛ واضبط المسافات البادئة والتباعد وفواصل الأسطر.
اقتطع التسجيلات أو ادمجها أو قسّمها، وأزل الصمت أو الضجيج، واضبط مستوى الصوت أو السرعة أو طبقة الصوت أو القنوات.
افتح جداول CSV أو Excel وحرّرها، ونسّق النصوص الجدولية، وحوّل CSV إلى Excel أو SQL.
اكتب Markdown وعاينه، واعرض مخططات Mermaid، وحوّل Markdown وHTML والجداول بين الصيغ.
قارن المقاطع النصية، واحسب الكلمات والكلمات المفتاحية، ورتّب الأسطر أو استبدلها، واعرض نص DOCX.
ابحث عن معاني الكلمات الصينية ومرادفاتها وأضدادها، أو عن نطق الكلمات بالأبجدية الصوتية الدولية IPA بلغات متعددة.
حوّل بين MP3 وWAV وFLAC وغيرها، وشغّل الصوت أو PCM الخام، وافحص البيانات الوصفية للصوت أو حرّرها.
افحص JSON وقارنه وتحقق من صحته؛ واختبر تعبيرات JSONPath، أو حوّل البيانات إلى CSV وYAML وXML.
فرّغ الصوت إلى نص، أو ولّد كلامًا من نص، أو سجّل صوتك في المتصفح.
حوّل الفيديو واضغطه، واقتطع المقاطع أو ادمجها، وغيّر أبعاد الإطارات، واستخرج الصوت.
شغّل فيديو محليًا أو متدفقًا، وسجّل شاشتك أو كاميرتك، واستخدم كاميرتك مرآةً عبر الإنترنت.
اضغط ملفات PDF أو ادمجها، وقسّم الصفحات وأعد ترتيبها، وحوّل الصفحات إلى صور، واعرض المستندات أو قارنها.
حوّل صيغ الصور، وغيّر أحجامها أو اقتصها، واضغط الملفات، وقارن الصور، واستخرج النص باستخدام OCR.
التقط لقطات شاشة وحسّن مظهرها، وحوّل النص إلى صور أو ملفات GIF، وارسم على سبورة بيضاء، وأنشئ سحب كلمات أو أيقونات مواقع.
حرّر الترجمة النصية بصيغة SRT أو VTT مع معاينة الفيديو، وعدّل التوقيت، وحوّل الصيغ، وأدر مسارات الترجمة النصية.
افتح ملفات ZIP أو 7Z أو RAR أو TAR، واستخرج محتويات محددة، وأنشئ أرشيفات جديدة مع كلمات مرور اختيارية لـ ZIP/7Z.
رمّز البيانات باستخدام Base64 أو Base32 وفك ترميزها، وطبّق الإفلات على عناوين URL وHTML ونصوص Unicode، وافحص محتويات JWT.
حوّل قواعد الأعداد والقيم بين النظام الثنائي والعشري والسداسي عشري؛ وحوّل الأعداد إلى كلمات أو النص إلى تمثيل ثنائي.
احسب النسب المئوية والكسور، ولخّص الإحصاءات، واحسب الدرجات أو الخصومات أو نسب الأبعاد.
اعرض ساعة عبر الإنترنت، وشغّل عدًا تنازليًا أو ساعة إيقاف، واحسب التواريخ أو الأعمار أو فروق المناطق الزمنية.
تحقق من عنوان IP واتصالك عبر IPv6، وافحص طلبات HTTP أو ملفات HAR، واحسب نطاقات عناوين CIDR.
حوّل وحدات الطول والوزن ودرجة الحرارة وتخزين البيانات وغيرها.
حوّل قيم HEX وRGB وHSL، واستخرج الألوان من صورة، وتحقق من التباين، أو اختبر شاشتك بألوان موحّدة.
ولّد رموز QR أو الرموز الشريطية وامسحها، بما في ذلك رموز QR للروابط وشبكات Wi-Fi.
ولّد قيم التجزئة ومعرّفات UUID وكلمات المرور، واختبر التعبيرات النمطية، وأنشئ مقاطع أسماء لعناوين URL، وتحقق من أذونات الملفات.
تحقق من دقة الشاشة ومعدل تحديثها، وقِس باستخدام مسطرة الشاشة، واختبر المفاتيح، أو اقرأ من ملقّن نصوص.
2048، كاسحة الألغام، سودوكو، غوموكو، معركة الدبابات