टोकन काउंटर

गिनती GPT के टोकनीकरण से की जाती है। दूसरे मॉडल में परिणाम अलग हो सकते हैं।

0टोकन
0शब्द
0वर्ण
0व्हाइटस्पेस के बिना वर्ण

व्हाइटस्पेस का विवरण

0स्पेस
0नई पंक्तियाँ
0टैब
0अन्य व्हाइटस्पेस

स्पेस, नई पंक्तियों और टैब की संख्या वर्णों के रूप में गिनी जाती है। व्हाइटस्पेस और पास का टेक्स्ट एक ही टोकन में हो सकते हैं, इसलिए इन संख्याओं को कुल टोकन से घटाया नहीं जा सकता।

टोकन की सीमाएँ

टेक्स्ट दर्ज करने पर टोकन की सीमाएँ दिखाई देंगी।

एक वर्ण एक से अधिक टोकन में बँट सकता है। मूल टेक्स्ट को बरकरार रखने के लिए अलग-अलग बाइट अंश हेक्साडेसिमल मानों के रूप में दिखाए जाते हैं।

टोकन ID और बाइट

    AI प्रॉम्प्ट में इस्तेमाल करने से पहले टेक्स्ट का आकार जानने के लिए इस मुफ़्त टोकन काउंटर और कैलकुलेटर का इस्तेमाल करें। टोकन, शब्द और वर्ण गिनें, व्हाइटस्पेस का विवरण देखें और समझें कि टेक्स्ट टोकन में कैसे बँटता है।

    टोकन काउंटर से जुड़े सवाल

    यह टोकन कैलकुलेटर क्या गिनता है?

    यह आपके दर्ज किए गए टेक्स्ट के टोकन GPT के o200k_base टोकनीकरण नियमों से गिनता है। यह शब्दों, वर्णों और व्हाइटस्पेस की संख्या भी दिखाता है। एक टोकन में पूरा शब्द, शब्द का हिस्सा, विराम चिह्न या व्हाइटस्पेस हो सकता है।

    क्या एक वर्ण हमेशा एक टोकन के बराबर होता है?

    नहीं। एक टोकन में कई वर्ण या किसी शब्द का केवल एक हिस्सा हो सकता है, और एक वर्ण में कई टोकन लग सकते हैं। इमोजी और संयोजक चिह्न वाले अक्षर भी एक ही वर्ण जैसे दिखने पर कई टोकन इस्तेमाल कर सकते हैं। वर्णों और टोकन की संख्या के बीच कोई तय अनुपात नहीं है।

    चीनी, जापानी और कोरियाई टेक्स्ट की गिनती कैसे होती है?

    तीनों भाषाएँ समर्थित हैं, लेकिन उन्हें CJK के रूप में एक साथ रखने का मतलब यह नहीं है कि हर वर्ण के लिए टोकन की संख्या समान होगी। आम वर्ण-समूह एक टोकन बन सकते हैं, जबकि एक वर्ण या एक उच्चारण-खंड कई टोकन में बँट सकता है। गिनती केवल भाषा पर नहीं, बल्कि असली टेक्स्ट और टोकनीकरण के नियमों पर निर्भर करती है।

    दूसरी भाषाओं और कई भाषाओं के मिले-जुले टेक्स्ट का क्या?

    यह काउंटर लैटिन, सिरिलिक, अरबी, भारतीय और अन्य लिपियों के टेक्स्ट को भी गिनता है, जिसमें कई भाषाओं का मिला-जुला टेक्स्ट भी शामिल है। शब्द छोटे हिस्सों में बँट सकते हैं, इसलिए अंग्रेज़ी के शब्दों या वर्णों पर आधारित अनुमान हर भाषा पर लागू नहीं होते। एक ही वाक्य के अलग-अलग अनुवादों में टोकन की संख्या अलग हो सकती है।

    वर्णों और शब्दों की गिनती कैसे होती है?

    आधुनिक ब्राउज़र में एक चीनी वर्ण, जापानी काना, कोरियाई उच्चारण-खंड या लैटिन अक्षर आम तौर पर एक वर्ण गिना जाता है। संयोजक उच्चारण-चिह्न वाला अक्षर या कई हिस्सों से बना इमोजी भी आम तौर पर एक वर्ण गिना जाता है। व्हाइटस्पेस और विराम चिह्न भी शामिल होते हैं। शब्दों की सीमाएँ भाषा के अनुसार तय होती हैं, इसलिए CJK के किसी अंश को केवल स्पेस न होने के कारण एक शब्द नहीं माना जाता। वर्णों और शब्दों की गिनती, दोनों टोकन की गिनती से अलग हैं।

    क्या स्पेस भी टोकन में गिने जाते हैं?

    टोकन गिनते समय स्पेस और अन्य व्हाइटस्पेस शामिल होते हैं। कोई स्पेस अगले शब्द के साथ जुड़ सकता है या अलग टोकन हो सकता है। स्पेस हटाने से आसपास के टोकन की सीमाएँ बदल सकती हैं, इसलिए एक स्पेस हमेशा एक टोकन नहीं होता।

    क्या यह गिनती हर AI मॉडल से मेल खाएगी?

    नहीं। अलग-अलग मॉडल टोकनीकरण के अलग नियम इस्तेमाल कर सकते हैं। यह टूल सादे टेक्स्ट के लिए GPT के अनुसार संदर्भ गिनती देता है। पूरी चैट रिक्वेस्ट में भूमिकाएँ, संदेश का फ़ॉर्मैट और टूल की परिभाषाएँ भी हो सकती हैं, इसलिए कुल उपयोग अलग हो सकता है।

    क्या मेरा टेक्स्ट अपलोड होता है?

    नहीं। टेक्स्ट और इम्पोर्ट की गई फ़ाइलों की गिनती आपके ब्राउज़र में होती है। टूल उनकी सामग्री किसी गिनती सेवा को नहीं भेजता।

    क्या टेक्स्ट की लंबाई या फ़ाइल के आकार की कोई सीमा है?

    टेक्स्ट की लंबाई या फ़ाइल के आकार की कोई तय सीमा नहीं है। बड़े इनपुट में ज़्यादा समय लगता है और उनका प्रसंस्करण आपके डिवाइस की उपलब्ध मेमोरी पर निर्भर करता है। टूल पूरे टेक्स्ट की गिनती करता है और केवल पहले 500 टोकन का प्रीव्यू दिखाता है; प्रीव्यू की सीमा से कुल गिनती कम नहीं होती। मौजूदा गिनती रोकने के लिए 'साफ़ करें' का इस्तेमाल करें।

    संबंधित टूल: शब्द काउंटर

    कोड फ़ॉर्मैटर

    Java, Python, JavaScript, JSON, HTML और अन्य को फ़ॉर्मैट और सुंदर करें; इंडेंटेशन, स्पेस और पंक्ति विराम समायोजित करें।

    और टूल

    ऑडियो संपादन और प्रभाव

    रिकॉर्डिंग ट्रिम करें, जोड़ें या बाँटें, मौन या शोर हटाएँ और वॉल्यूम, गति, पिच या चैनल समायोजित करें।

    और टूल

    स्प्रेडशीट के टूल

    CSV या Excel शीट खोलें और संपादित करें, तालिका वाला टेक्स्ट फ़ॉर्मैट करें और CSV को Excel या SQL में बदलें।

    और टूल

    Markdown के टूल

    Markdown लिखें और उसका पूर्वावलोकन करें, Mermaid आरेख दिखाएँ और Markdown, HTML व तालिकाओं को अलग-अलग फ़ॉर्मैट में बदलें।

    और टूल

    टेक्स्ट के टूल

    अंशों की तुलना करें, शब्द और कीवर्ड गिनें, पंक्तियाँ क्रम में लगाएँ या बदलें और DOCX टेक्स्ट देखें।

    और टूल

    शब्दकोश

    चीनी शब्दों के अर्थ, पर्यायवाची और विलोम शब्द देखें, या कई भाषाओं के IPA उच्चारण खोजें।

    ऑडियो रूपांतरण और प्लेबैक

    MP3, WAV, FLAC और अन्य फ़ॉर्मैट में बदलें, ऑडियो या रॉ PCM चलाएँ और ऑडियो मेटाडेटा जाँचें या संपादित करें।

    JSON और डेटा के टूल

    JSON जाँचें, तुलना करें और उसकी वैधता जाँचें; JSONPath व्यंजक जाँचें या डेटा को CSV, YAML और XML में बदलें।

    और टूल

    बोली के टूल

    ऑडियो को टेक्स्ट में लिखें, टेक्स्ट से बोली बनाएँ या ब्राउज़र में अपनी आवाज़ रिकॉर्ड करें।

    वीडियो के टूल

    वीडियो बदलें और संपीड़ित करें, क्लिप ट्रिम करें या जोड़ें, फ़्रेम का आकार बदलें और ऑडियो निकालें।

    और टूल

    वीडियो प्लेबैक और रिकॉर्डिंग

    स्थानीय या स्ट्रीमिंग वीडियो चलाएँ, अपनी स्क्रीन या कैमरा रिकॉर्ड करें और कैमरे को ऑनलाइन आईने की तरह इस्तेमाल करें।

    PDF के टूल

    PDF संपीड़ित करें या मिलाएँ, पृष्ठ बाँटें और क्रम बदलें, पृष्ठों को चित्र में बदलें और दस्तावेज़ देखें या तुलना करें।

    और टूल

    चित्रों के टूल

    चित्र फ़ॉर्मैट बदलें, फ़ोटो का आकार बदलें या क्रॉप करें, फ़ाइलें संपीड़ित करें, चित्रों की तुलना करें और OCR से टेक्स्ट निकालें।

    और टूल

    चित्र बनाना

    स्क्रीनशॉट कैप्चर करके सुंदर करें, टेक्स्ट से चित्र या GIF बनाएँ, व्हाइटबोर्ड पर बनाएँ और वर्ड क्लाउड या फ़ेविकॉन बनाएँ।

    और टूल

    सबटाइटल के टूल

    वीडियो पूर्वावलोकन के साथ SRT या VTT सबटाइटल संपादित करें, समय बदलें, फ़ॉर्मैट बदलें और सबटाइटल ट्रैक सँभालें।

    और टूल

    आर्काइव के टूल

    ZIP, 7Z, RAR या TAR फ़ाइलें खोलें, चुनी हुई सामग्री निकालें और वैकल्पिक ZIP/7Z पासवर्ड के साथ नए आर्काइव बनाएँ।

    एन्कोडर | डिकोडर

    Base64 या Base32 एन्कोड और डिकोड करें, URL, HTML और Unicode टेक्स्ट एस्केप करें और JWT की सामग्री जाँचें।

    और टूल

    संख्याओं के टूल

    संख्याओं के आधार और मान को बाइनरी, दशमलव और हेक्स में बदलें; संख्याओं को शब्दों में या टेक्स्ट को बाइनरी में बदलें।

    कैलकुलेटर

    प्रतिशत और भिन्न निकालें, आँकड़ों का सार बनाएँ और ग्रेड, छूट या आस्पेक्ट रेशियो की गणना करें।

    और टूल

    समय के टूल

    ऑनलाइन घड़ी दिखाएँ, काउंटडाउन या स्टॉपवॉच चलाएँ और तारीख, उम्र या समय क्षेत्रों के अंतर की गणना करें।

    और टूल

    नेटवर्क के टूल

    अपना IP और IPv6 कनेक्शन जाँचें, HTTP अनुरोध या HAR फ़ाइलें जाँचें और CIDR पते की सीमाएँ निकालें।

    इकाई रूपांतरण

    लंबाई, वज़न, तापमान, डेटा भंडारण और अन्य इकाइयाँ बदलें।

    रंगों के टूल

    HEX, RGB और HSL मान बदलें, चित्र से रंग निकालें, कंट्रास्ट जाँचें या ठोस रंगों से अपना डिस्प्ले जाँचें।

    QR कोड और बारकोड

    लिंक और Wi-Fi नेटवर्क के QR कोड समेत QR कोड या बारकोड बनाएँ और स्कैन करें।

    डेवलपर और सुरक्षा के टूल

    हैश, UUIDs और पासवर्ड बनाएँ, रेगुलर एक्सप्रेशन जाँचें, URL स्लग बनाएँ और फ़ाइल अनुमतियाँ जाँचें।

    और टूल

    उपयोगी टूल

    स्क्रीन रिज़ॉल्यूशन और रीफ़्रेश दर जाँचें, स्क्रीन रूलर से मापें, कुंजियाँ जाँचें या टेलीप्रॉम्प्टर से पढ़ें।

    और टूल

    खेल

    2048, माइनस्वीपर, सुडोकू, गोमोकू, टैंक बैटल

    और टूल