यह टोकन कैलकुलेटर क्या गिनता है?
यह आपके दर्ज किए गए टेक्स्ट के टोकन GPT के o200k_base टोकनीकरण नियमों से गिनता है। यह शब्दों, वर्णों और व्हाइटस्पेस की संख्या भी दिखाता है। एक टोकन में पूरा शब्द, शब्द का हिस्सा, विराम चिह्न या व्हाइटस्पेस हो सकता है।
क्या एक वर्ण हमेशा एक टोकन के बराबर होता है?
नहीं। एक टोकन में कई वर्ण या किसी शब्द का केवल एक हिस्सा हो सकता है, और एक वर्ण में कई टोकन लग सकते हैं। इमोजी और संयोजक चिह्न वाले अक्षर भी एक ही वर्ण जैसे दिखने पर कई टोकन इस्तेमाल कर सकते हैं। वर्णों और टोकन की संख्या के बीच कोई तय अनुपात नहीं है।
चीनी, जापानी और कोरियाई टेक्स्ट की गिनती कैसे होती है?
तीनों भाषाएँ समर्थित हैं, लेकिन उन्हें CJK के रूप में एक साथ रखने का मतलब यह नहीं है कि हर वर्ण के लिए टोकन की संख्या समान होगी। आम वर्ण-समूह एक टोकन बन सकते हैं, जबकि एक वर्ण या एक उच्चारण-खंड कई टोकन में बँट सकता है। गिनती केवल भाषा पर नहीं, बल्कि असली टेक्स्ट और टोकनीकरण के नियमों पर निर्भर करती है।
दूसरी भाषाओं और कई भाषाओं के मिले-जुले टेक्स्ट का क्या?
यह काउंटर लैटिन, सिरिलिक, अरबी, भारतीय और अन्य लिपियों के टेक्स्ट को भी गिनता है, जिसमें कई भाषाओं का मिला-जुला टेक्स्ट भी शामिल है। शब्द छोटे हिस्सों में बँट सकते हैं, इसलिए अंग्रेज़ी के शब्दों या वर्णों पर आधारित अनुमान हर भाषा पर लागू नहीं होते। एक ही वाक्य के अलग-अलग अनुवादों में टोकन की संख्या अलग हो सकती है।
वर्णों और शब्दों की गिनती कैसे होती है?
आधुनिक ब्राउज़र में एक चीनी वर्ण, जापानी काना, कोरियाई उच्चारण-खंड या लैटिन अक्षर आम तौर पर एक वर्ण गिना जाता है। संयोजक उच्चारण-चिह्न वाला अक्षर या कई हिस्सों से बना इमोजी भी आम तौर पर एक वर्ण गिना जाता है। व्हाइटस्पेस और विराम चिह्न भी शामिल होते हैं। शब्दों की सीमाएँ भाषा के अनुसार तय होती हैं, इसलिए CJK के किसी अंश को केवल स्पेस न होने के कारण एक शब्द नहीं माना जाता। वर्णों और शब्दों की गिनती, दोनों टोकन की गिनती से अलग हैं।
क्या स्पेस भी टोकन में गिने जाते हैं?
टोकन गिनते समय स्पेस और अन्य व्हाइटस्पेस शामिल होते हैं। कोई स्पेस अगले शब्द के साथ जुड़ सकता है या अलग टोकन हो सकता है। स्पेस हटाने से आसपास के टोकन की सीमाएँ बदल सकती हैं, इसलिए एक स्पेस हमेशा एक टोकन नहीं होता।
क्या यह गिनती हर AI मॉडल से मेल खाएगी?
नहीं। अलग-अलग मॉडल टोकनीकरण के अलग नियम इस्तेमाल कर सकते हैं। यह टूल सादे टेक्स्ट के लिए GPT के अनुसार संदर्भ गिनती देता है। पूरी चैट रिक्वेस्ट में भूमिकाएँ, संदेश का फ़ॉर्मैट और टूल की परिभाषाएँ भी हो सकती हैं, इसलिए कुल उपयोग अलग हो सकता है।
क्या मेरा टेक्स्ट अपलोड होता है?
नहीं। टेक्स्ट और इम्पोर्ट की गई फ़ाइलों की गिनती आपके ब्राउज़र में होती है। टूल उनकी सामग्री किसी गिनती सेवा को नहीं भेजता।
क्या टेक्स्ट की लंबाई या फ़ाइल के आकार की कोई सीमा है?
टेक्स्ट की लंबाई या फ़ाइल के आकार की कोई तय सीमा नहीं है। बड़े इनपुट में ज़्यादा समय लगता है और उनका प्रसंस्करण आपके डिवाइस की उपलब्ध मेमोरी पर निर्भर करता है। टूल पूरे टेक्स्ट की गिनती करता है और केवल पहले 500 टोकन का प्रीव्यू दिखाता है; प्रीव्यू की सीमा से कुल गिनती कम नहीं होती। मौजूदा गिनती रोकने के लिए 'साफ़ करें' का इस्तेमाल करें।