ตัวคำนวณโทเคนนี้นับอะไร?
นับโทเคนในข้อความที่คุณป้อนโดยใช้กฎแบ่งโทเคน GPT แบบ o200k_base พร้อมแสดงจำนวนคำ อักขระ และช่องว่าง โทเคนอาจประกอบด้วยคำ ส่วนของคำ เครื่องหมายวรรคตอน หรือช่องว่าง
นับด้วยการแบ่งโทเคนของ GPT โมเดลอื่นอาจให้ผลต่างกัน
นับไฟล์ในเครื่องทีละไฟล์ โดยนับเนื้อหาทั้งหมดโดยไม่โหลดลงในตัวแก้ไขข้อความ เลือกไฟล์ที่เสร็จแล้วเพื่อดูตัวอย่าง 500 โทเคนแรก
ช่องว่าง การขึ้นบรรทัดใหม่ และแท็บนับเป็นอักขระ ช่องว่างอาจอยู่ในโทเคนเดียวกับข้อความข้างเคียง จึงนำจำนวนเหล่านี้ไปลบจากจำนวนโทเคนรวมไม่ได้
หนึ่งอักขระอาจครอบคลุมหลายโทเคน เศษไบต์แต่ละส่วนแสดงเป็นค่าเลขฐานสิบหกเพื่อคงข้อความต้นฉบับไว้
ใช้ตัวนับและคำนวณโทเคนฟรีนี้เพื่อวัดข้อความก่อนใช้ในพรอมป์ต์ AI ดูจำนวนโทเคน คำ และอักขระ ตรวจช่องว่าง และสำรวจวิธีแบ่งข้อความเป็นโทเคน
นับโทเคนในข้อความที่คุณป้อนโดยใช้กฎแบ่งโทเคน GPT แบบ o200k_base พร้อมแสดงจำนวนคำ อักขระ และช่องว่าง โทเคนอาจประกอบด้วยคำ ส่วนของคำ เครื่องหมายวรรคตอน หรือช่องว่าง
ไม่ หนึ่งโทเคนอาจมีหลายอักขระหรือเพียงบางส่วนของคำ และหนึ่งอักขระอาจใช้หลายโทเคน อีโมจิและตัวอักษรที่มีเครื่องหมายประกอบก็อาจใช้หลายโทเคน แม้ดูเป็นอักขระเดียว ไม่มีอัตราส่วนอักขระต่อโทเคนตายตัว
รองรับทั้งสามภาษา แต่การจัดเป็นกลุ่ม CJK ไม่ได้หมายความว่ามีจำนวนโทเคนต่ออักขระเท่ากัน ลำดับอักขระที่พบบ่อยอาจรวมเป็นโทเคนเดียว แต่อักขระหรือพยางค์เดียวก็อาจแบ่งเป็นหลายโทเคน จำนวนขึ้นอยู่กับข้อความจริงและกฎการแบ่งโทเคน ไม่ใช่ภาษาเพียงอย่างเดียว
ตัวนับรองรับข้อความอักษรละติน ซีริลลิก อาหรับ กลุ่มอักษรอินเดีย และอื่น ๆ รวมถึงข้อความหลายภาษาผสม คำอาจแบ่งเป็นส่วนเล็ก ๆ การประมาณจากคำหรืออักขระภาษาอังกฤษจึงใช้ไม่ได้กับทุกภาษา คำแปลประโยคเดียวกันอาจมีจำนวนโทเคนต่างกัน
ในเบราว์เซอร์สมัยใหม่ อักษรฮั่น คานะญี่ปุ่น พยางค์เกาหลี หรือตัวอักษรละตินมักนับเป็นหนึ่งอักขระ ตัวอักษรที่มีเครื่องหมายเสียงประกอบหรืออีโมจิรวมมักนับเป็นหนึ่งเช่นกัน รวมช่องว่างและเครื่องหมายวรรคตอน การนับคำใช้ขอบเขตตามภาษา ข้อความ CJK จึงไม่ถูกนับเป็นคำเดียวเพียงเพราะไม่มีช่องว่าง จำนวนทั้งสองแยกจากโทเคน
ช่องว่างและอักขระเว้นว่างอื่นรวมในการนับโทเคน ช่องว่างอาจรวมกับคำถัดไปหรือแยกเป็นโทเคนเอง การลบช่องว่างอาจเปลี่ยนขอบเขตโทเคนข้างเคียง ดังนั้นหนึ่งช่องว่างไม่เท่ากับหนึ่งโทเคนเสมอไป
ไม่ โมเดลอาจใช้กฎแบ่งโทเคนต่างกัน เครื่องมือนี้ให้จำนวนอ้างอิง GPT สำหรับข้อความธรรมดา คำขอแชตเต็มอาจรวมบทบาท รูปแบบข้อความ และนิยามเครื่องมือ จึงมีการใช้โทเคนรวมต่างกันได้
ไม่ ข้อความและไฟล์ที่นำเข้าจะนับในเบราว์เซอร์ เครื่องมือไม่ส่งเนื้อหาไปยังบริการนับ
ไม่มีขีดจำกัดความยาวข้อความหรือขนาดไฟล์ตายตัว ข้อมูลขนาดใหญ่ใช้เวลามากขึ้นและขึ้นอยู่กับหน่วยความจำที่อุปกรณ์มี โหมดไฟล์นับแต่ละไฟล์ทั้งหมดโดยไม่ใส่ในตัวแก้ไขข้อความ และคงผลลัพธ์ที่เสร็จแล้วเมื่อยกเลิก ตัวอย่างโทเคนแสดงเฉพาะ 500 โทเคนแรก รายงาน CSV รวมจำนวนทั้งหมด
เครื่องมือที่เกี่ยวข้อง: นับคำ
จัดรูปแบบโค้ด Java, Python, JavaScript, JSON, HTML และอื่น ๆ ให้อ่านง่าย พร้อมปรับการเยื้อง ระยะห่าง และการขึ้นบรรทัด
ตัด รวม หรือแบ่งเสียงบันทึก ลบช่วงเงียบหรือเสียงรบกวน และปรับความดัง ความเร็ว ระดับเสียงสูงต่ำ หรือช่องสัญญาณ
เปิดและแก้ไขตาราง CSV หรือ Excel จัดรูปแบบข้อความตาราง และแปลง CSV เป็น Excel หรือ SQL
เขียนและแสดงตัวอย่าง Markdown สร้างแผนภาพ Mermaid และแปลงระหว่าง Markdown, HTML และตาราง
เปรียบเทียบข้อความ นับคำและคำสำคัญ เรียงลำดับหรือแทนที่บรรทัด และเปิดดูข้อความ DOCX
ค้นหาความหมาย คำพ้องความหมาย และคำตรงข้ามในภาษาจีน หรือค้นหาการออกเสียง IPA ในหลายภาษา
แปลง MP3, WAV, FLAC และรูปแบบอื่น ๆ เล่นเสียงหรือ PCM ดิบ และตรวจดูหรือแก้ไขข้อมูลกำกับเสียง
ตรวจดู เปรียบเทียบ และตรวจสอบ JSON ทดสอบนิพจน์ JSONPath หรือแปลงข้อมูลเป็น CSV, YAML และ XML
ถอดเสียงเป็นข้อความ แปลงข้อความเป็นเสียงพูด หรือบันทึกเสียงของคุณในเบราว์เซอร์
แปลงและบีบอัดวิดีโอ ตัดหรือรวมคลิป ปรับขนาดภาพ และแยกเสียงออกจากวิดีโอ
เล่นวิดีโอในเครื่องหรือสตรีม บันทึกหน้าจอหรือกล้อง และใช้กล้องเป็นกระจกออนไลน์
บีบอัดหรือรวม PDF แยกและจัดเรียงหน้า แปลงหน้าเป็นภาพ และเปิดดูหรือเปรียบเทียบเอกสาร
แปลงรูปแบบภาพ ปรับขนาดหรือครอบตัดรูป บีบอัดไฟล์ เปรียบเทียบภาพ และดึงข้อความด้วย OCR
จับภาพและตกแต่งภาพหน้าจอ แปลงข้อความเป็นภาพหรือ GIF วาดบนกระดานไวท์บอร์ด และสร้างกลุ่มคำหรือ Favicon
แก้ไขคำบรรยาย SRT หรือ VTT พร้อมตัวอย่างวิดีโอ เลื่อนเวลา แปลงรูปแบบ และจัดการแทร็กคำบรรยาย
เปิดไฟล์ ZIP, 7Z, RAR หรือ TAR แตกเนื้อหาที่เลือก และสร้างไฟล์เก็บถาวรใหม่ พร้อมตัวเลือกตั้งรหัสผ่าน ZIP/7Z
เข้ารหัสและถอดรหัส Base64 หรือ Base32 เอสเคป URL, HTML และข้อความ Unicode และตรวจดูเนื้อหา JWT
แปลงระบบเลขฐานและค่าระหว่างฐานสอง ฐานสิบ และฐานสิบหก แปลงตัวเลขเป็นคำอ่านหรือข้อความเป็นฐานสอง
คำนวณเปอร์เซ็นต์และเศษส่วน สรุปสถิติ และคำนวณเกรด ส่วนลด หรืออัตราส่วนภาพ
แสดงนาฬิกาออนไลน์ ใช้นาฬิกานับถอยหลังหรือนาฬิกาจับเวลา และคำนวณวันที่ อายุ หรือความต่างเขตเวลา
ตรวจสอบ IP และการเชื่อมต่อ IPv6 ตรวจดูคำขอ HTTP หรือไฟล์ HAR และคำนวณช่วงที่อยู่ CIDR
แปลงหน่วยความยาว น้ำหนัก อุณหภูมิ พื้นที่จัดเก็บข้อมูล และหน่วยอื่น ๆ
แปลงค่าสี HEX, RGB และ HSL ดึงสีจากภาพ ตรวจสอบความเปรียบต่าง หรือทดสอบหน้าจอด้วยสีพื้น
สร้างและสแกนคิวอาร์โค้ดหรือบาร์โค้ด รวมถึงคิวอาร์โค้ดสำหรับลิงก์และเครือข่าย Wi-Fi
สร้างค่าแฮช UUID และรหัสผ่าน ทดสอบนิพจน์ทั่วไป สร้าง URL slug และตรวจสอบสิทธิ์ไฟล์
ตรวจสอบความละเอียดและอัตรารีเฟรชหน้าจอ วัดด้วยไม้บรรทัดบนหน้าจอ ทดสอบปุ่ม หรืออ่านบทด้วยจอเลื่อนบทพูด
2048, กู้ระเบิด, ซูโดกุ, โกโมกุ, รถถังประจัญบาน