این محاسبه‌گر توکن چه چیزی می‌شمارد؟
توکن‌های متن ورودی را با قواعد توکن‌سازی GPT به نام o200k_base می‌شمارد. تعداد واژه‌ها، نویسه‌ها و فاصله‌های سفید را هم نشان می‌دهد. توکن ممکن است شامل یک واژه، بخشی از واژه، نشانه‌گذاری یا فاصلهٔ سفید باشد.
با توکن‌سازی GPT شمرده شده است. مدل‌های دیگر ممکن است نتیجهٔ متفاوت بدهند.
فایل‌ها به‌صورت محلی و یکییکی شمارش می‌شوند. کل محتوا بدون بارگذاری در ویرایشگر متن شمارش می‌شود. فایل تکمیلشدهای انتخاب کنید تا 500 توکن نخست آن را پیش‌نمایش کنید.
فاصله، شکست سطر و تب به‌صورت نویسه شمرده می‌شوند. فاصلهٔ سفید ممکن است با متن مجاور در یک توکن باشد؛ بنابراین این اعداد را نمی‌توان از کل توکن‌ها کم کرد.
یک نویسه ممکن است چند توکن را دربر بگیرد. قطعه‌های جداگانهٔ بایت به‌صورت مقادیر شانزده‌شانزدهی نمایش داده می‌شوند تا متن اصلی دست‌نخورده بماند.
با این شمارنده و محاسبه‌گر رایگان توکن، متن را پیش از استفاده در پرامپت هوش مصنوعی اندازه‌گیری کنید. تعداد توکن، واژه و نویسه را ببینید، فاصله‌های سفید را بررسی کنید و شیوهٔ تقسیم متن به توکن را بشناسید.
توکن‌های متن ورودی را با قواعد توکن‌سازی GPT به نام o200k_base می‌شمارد. تعداد واژه‌ها، نویسه‌ها و فاصله‌های سفید را هم نشان می‌دهد. توکن ممکن است شامل یک واژه، بخشی از واژه، نشانه‌گذاری یا فاصلهٔ سفید باشد.
خیر. یک توکن ممکن است چند نویسه یا تنها بخشی از یک واژه را داشته باشد و یک نویسه نیز ممکن است از چند توکن استفاده کند. ایموجی و حروف دارای نشانه‌های ترکیبی نیز حتی وقتی مانند یک نویسه دیده می‌شوند، ممکن است چند توکن بخواهند. نسبت ثابتی میان نویسه و توکن وجود ندارد.
هر سه زبان پشتیبانی می‌شوند، اما گروه‌بندی آن‌ها به‌عنوان CJK به معنای تعداد توکن یکسان به ازای هر نویسه نیست. دنباله‌های رایج نویسه ممکن است یک توکن بسازند، در حالی که یک نویسه یا هجا ممکن است به چند توکن تقسیم شود. شمارش به متن واقعی و قواعد توکن‌سازی وابسته است، نه فقط زبان.
شمارنده از متن با خط لاتین، سیریلیک، عربی، هندی و دیگر خط‌ها، از جمله متن چندزبانه پشتیبانی می‌کند. واژه‌ها ممکن است به قطعه‌های کوچک‌تر تقسیم شوند، بنابراین تخمین واژه یا نویسهٔ انگلیسی برای همهٔ زبان‌ها مناسب نیست. ترجمه‌های یک جمله ممکن است تعداد توکن متفاوتی داشته باشند.
در مرورگرهای جدید، نویسهٔ هان، کانای ژاپنی، هجای کره‌ای یا حرف لاتین معمولاً یک نویسه شمرده می‌شود. حرف دارای اعراب ترکیبی یا ایموجی ترکیبی نیز معمولاً یک نویسه است. فاصله‌های سفید و نشانه‌گذاری حساب می‌شوند. واژه‌ها بر اساس مرزهای آگاه از زبان شمرده می‌شوند، بنابراین متن چینی، ژاپنی یا کره‌ای فقط به‌دلیل نداشتن فاصله یک واژه حساب نمی‌شود. هر دو شمارش از توکن جدا هستند.
فاصله‌ها و دیگر فاصله‌های سفید در شمارش توکن حساب می‌شوند. یک فاصله ممکن است با واژهٔ بعدی ترکیب شود یا در توکنی جدا باشد. حذف فاصله می‌تواند مرزهای توکن اطراف را تغییر دهد؛ بنابراین یک فاصله همیشه یک توکن نیست.
خیر. مدل‌ها ممکن است از قواعد متفاوت توکن‌سازی استفاده کنند. این ابزار برای متن ساده یک شمارش مرجع GPT می‌دهد. درخواست کامل گفت‌وگو ممکن است نقش‌ها، قالب‌بندی پیام و تعریف ابزار را هم داشته باشد؛ بنابراین مصرف کل آن می‌تواند متفاوت باشد.
خیر. متن و فایل‌های واردشده در مرورگر شما شمرده می‌شوند. ابزار محتوای آن‌ها را به سرویس شمارش نمی‌فرستد.
محدودیت ثابتی برای طول متن یا اندازهٔ فایل وجود ندارد. ورودی بزرگ زمان بیشتری می‌برد و به حافظهٔ در دسترس دستگاه وابسته است. حالت فایل، هر فایل را کامل و بدون گذاشتن آن در ویرایشگر متن می‌شمارد و هنگام لغو، نتایج تکمیل‌شده را نگه می‌دارد. پیش‌نمایش توکن فقط 500 توکن اول را نشان می‌دهد؛ گزارش CSV شمارش کامل را دارد.
ابزارهای مرتبط: واژه‌شمار
Java، Python، JavaScript، JSON، HTML و موارد دیگر را قالب‌بندی و آراسته کنید؛ تورفتگی، فاصله‌گذاری و شکست خط‌ها را تنظیم کنید.
ضبط‌ها را برش دهید، به هم بپیوندید یا تقسیم کنید، سکوت یا نویز را حذف کنید و بلندی، سرعت، زیر و بمی یا کانال‌ها را تنظیم کنید.
برگه‌های CSV یا Excel را باز و ویرایش کنید، متن جدولی را قالب‌بندی کنید و CSV را به Excel یا SQL تبدیل کنید.
Markdown بنویسید و پیش‌نمایش کنید، نمودار Mermaid را نمایش دهید و Markdown، HTML و جدول‌ها را بین قالب‌ها تبدیل کنید.
متن‌ها را مقایسه کنید، واژه‌ها و کلیدواژه‌ها را بشمارید، خطوط را مرتب یا جایگزین کنید و متن DOCX را ببینید.
معنی، مترادف و متضاد چینی را جست‌وجو کنید یا تلفظ IPA را در چندین زبان بیابید.
بین MP3، WAV، FLAC و قالب‌های دیگر تبدیل کنید، صدا یا PCM خام پخش کنید و فرادادهٔ صدا را بررسی یا ویرایش کنید.
JSON را بررسی، مقایسه و اعتبارسنجی کنید؛ عبارت‌های JSONPath را بیازمایید یا داده را به CSV، YAML و XML تبدیل کنید.
صدا را به متن تبدیل کنید، از متن گفتار بسازید یا صدای خود را در مرورگر ضبط کنید.
ویدیو را تبدیل و فشرده کنید، کلیپ‌ها را برش دهید یا به هم بپیوندید، اندازهٔ فریم را تغییر دهید و صدا را استخراج کنید.
ویدیوی محلی یا جریانی پخش کنید، از صفحه یا دوربین ضبط کنید و از دوربین به‌عنوان آینهٔ آنلاین استفاده کنید.
PDFها را فشرده یا ادغام کنید، صفحه‌ها را تقسیم و مرتب کنید، آن‌ها را به تصویر تبدیل کنید و سندها را ببینید یا مقایسه کنید.
قالب تصاویر را تبدیل کنید، اندازه یا قاب عکس را تغییر دهید، فایل‌ها را فشرده کنید، تصاویر را مقایسه کنید و متن را با OCR استخراج کنید.
اسکرین‌شات بگیرید و زیباترش کنید، متن را به تصویر یا GIF تبدیل کنید، روی تخته‌سفید بکشید و ابرواژه یا فاویکن بسازید.
زیرنویس‌های SRT یا VTT را با پیش‌نمایش ویدیو ویرایش کنید، زمان‌بندی را جابه‌جا کنید، قالب‌ها را تبدیل کنید و ترک‌های زیرنویس را مدیریت کنید.
فایل‌های ZIP، 7Z، RAR یا TAR را باز کنید، محتوای انتخاب‌شده را استخراج کنید و آرشیو جدید با گذرواژهٔ اختیاری ZIP/7Z بسازید.
Base64 یا Base32 را کدگذاری و رمزگشایی کنید، URL، HTML و متن Unicode را گریزدهی کنید و محتوای JWT را بررسی کنید.
مبنا و مقدار اعداد را بین دودویی، ده‌دهی و مبنای شانزده تبدیل کنید؛ اعداد را به حروف یا متن را به دودویی تبدیل کنید.
درصد و کسر را حساب کنید، آمار را خلاصه کنید و نمره، تخفیف یا نسبت تصویر را محاسبه کنید.
ساعت آنلاین نمایش دهید، شمارش معکوس یا کرنومتر راه بیندازید و تاریخ، سن یا اختلاف منطقهٔ زمانی را محاسبه کنید.
IP و اتصال IPv6 را بررسی کنید، درخواست‌های HTTP یا فایل‌های HAR را بررسی کنید و بازه‌های آدرس CIDR را محاسبه کنید.
طول، وزن، دما، ظرفیت ذخیره‌سازی داده و واحدهای دیگر را تبدیل کنید.
مقادیر HEX، RGB و HSL را تبدیل کنید، رنگ‌ها را از تصویر استخراج کنید، کنتراست را بررسی کنید یا نمایشگر را با رنگ‌های یکدست بیازمایید.
کدهای QR یا بارکد را تولید و اسکن کنید، از جمله کدهای QR برای پیوندها و شبکه‌های Wi-Fi.
هش، UUID و گذرواژه تولید کنید، عبارت‌های منظم را بیازمایید، نامک URL بسازید و مجوزهای فایل را بررسی کنید.
وضوح و نرخ نوسازی صفحه را بررسی کنید، با خط‌کش صفحه اندازه بگیرید، کلیدها را بیازمایید یا از تله‌پرامپتر بخوانید.
2048، مین‌روب، سودوکو، گوموکو، نبرد تانک‌ها