מה סופר מחשבון הטוקנים הזה?
הכלי סופר את הטוקנים בטקסט שהזנתם לפי כללי החלוקה של GPT מסוג o200k_base. הוא מציג גם ספירת מילים, תווים ותווי רווח. טוקנים עשויים להכיל מילה, חלק ממילה, סימן פיסוק או תו רווח.
הספירה מבוססת על חלוקת הטוקנים של GPT. מודלים אחרים עשויים להחזיר תוצאות שונות.
הקבצים נספרים מקומית, אחד בכל פעם. התוכן המלא נספר ללא טעינה לעורך הטקסט. אפשר לבחור קובץ שהושלם כדי להציג את 500 הטוקנים הראשונים שלו.
רווחים, מעברי שורה וטאבים נספרים כתווים. תו רווח עשוי לחלוק טוקן עם טקסט סמוך, ולכן אי אפשר להפחית מספרים אלה מסך הטוקנים.
תו עשוי להתפרס על כמה טוקנים. חלקי בתים בודדים מוצגים כערכים הקסדצימליים כדי לשמור על הטקסט המקורי.
השתמשו במונה ובמחשבון הטוקנים החינמי הזה למדידת טקסט לפני שימוש בו בהנחיה ל-AI. צפו במספרי הטוקנים, המילים והתווים, בדקו תווי רווח וגלו כיצד הטקסט מתחלק לטוקנים.
הכלי סופר את הטוקנים בטקסט שהזנתם לפי כללי החלוקה של GPT מסוג o200k_base. הוא מציג גם ספירת מילים, תווים ותווי רווח. טוקנים עשויים להכיל מילה, חלק ממילה, סימן פיסוק או תו רווח.
לא. טוקן עשוי להכיל כמה תווים או רק חלק ממילה, ותו אחד עשוי להשתמש בכמה טוקנים. גם אימוג'י ואותיות עם סימנים משלבים עשויים להשתמש בכמה טוקנים אף שהם נראים כתו יחיד. אין יחס קבוע בין תווים לטוקנים.
כל שלוש השפות נתמכות, אך קיבוצן כ-CJK אינו אומר שיש להן אותו מספר טוקנים לכל תו. רצפי תווים נפוצים עשויים ליצור טוקן אחד, ואילו תו או הברה יחידים עשויים להתחלק לכמה טוקנים. הספירה תלויה בטקסט עצמו ובכללי החלוקה לטוקנים, ולא רק בשפה.
המונה תומך גם בטקסט בכתב לטיני, קירילי, ערבי, בכתבים הודיים ובמערכות כתב אחרות, כולל טקסט רב-לשוני. מילים עשויות להתחלק לחלקים קטנים יותר, ולכן אומדנים לפי מילים או תווים באנגלית אינם מתאימים לכל שפה. תרגומים של אותו משפט יכולים להכיל מספרי טוקנים שונים.
בדפדפנים מודרניים, סימן האן, קאנה יפנית, הברה קוריאנית או אות לטינית נספרים בדרך כלל כתו אחד. גם אות עם סימן משלב או אימוג'י מורכב נספרים בדרך כלל כאחד. רווחים וסימני פיסוק נכללים בספירה. מילים נספרות לפי גבולות המותאמים לשפה, כך שקטע בסינית, יפנית או קוריאנית אינו נחשב למילה אחת רק משום שאין בו רווחים. שתי הספירות נפרדות מספירת הטוקנים.
רווחים ותווי רווח אחרים נכללים בספירת הטוקנים. רווח עשוי להשתלב עם המילה הבאה או להופיע בטוקן נפרד. הסרת רווח יכולה לשנות גבולות טוקנים סמוכים, ולכן רווח אחד אינו תמיד טוקן אחד.
לא. מודלים עשויים להשתמש בכללי חלוקה לטוקנים שונים. הכלי מספק ספירת ייחוס של GPT לטקסט פשוט. בקשות צ'אט שלמות עשויות לכלול גם תפקידים, עיצוב הודעות והגדרות כלים, ולכן השימוש הכולל עשוי להיות שונה.
לא. הטקסט והקבצים שיובאו נספרים בדפדפן. הכלי אינו שולח את תוכנם לשירות ספירה.
אין מגבלה קבועה על אורך הטקסט או גודל הקובץ. קלט גדול דורש יותר זמן ותלוי בזיכרון הזמין במכשיר. מצב קבצים סופר כל קובץ במלואו בלי להכניסו לעורך הטקסט, ושומר תוצאות שהושלמו בעת ביטול. תצוגות הטוקנים מציגות רק את 500 הטוקנים הראשונים; דוחות CSV כוללים את הספירות המלאות.
כלים קשורים: מונה מילים
עצבו וסדרו קוד Java, Python, JavaScript, JSON, HTML ועוד; התאימו הזחה, ריווח ומעברי שורה.
חתכו, חברו או פצלו הקלטות, הסירו שקט או רעש והתאימו עוצמה, מהירות, גובה צליל או ערוצים.
פתחו וערכו גיליונות CSV או Excel, עצבו טקסט טבלאי והמירו CSV ל-Excel או ל-SQL.
כתבו Markdown וצפו בתצוגה מקדימה, רנדרו תרשימי Mermaid והמירו Markdown, HTML וטבלאות בין פורמטים.
השוו קטעים, ספרו מילים ומילות מפתח, מיינו או החליפו שורות וצפו בטקסט DOCX.
חפשו משמעויות, מילים נרדפות והפכים בסינית, או מצאו הגיות IPA בשפות שונות.
המירו בין MP3, WAV, FLAC ועוד, נגנו שמע או PCM גולמי ובדקו או ערכו מטא-נתונים של שמע.
בדקו, השוו ואמתו JSON; בדקו ביטויי JSONPath או המירו נתונים ל-CSV, YAML ו-XML.
תמללו שמע לטקסט, צרו דיבור מטקסט או הקליטו את הקול שלכם בדפדפן.
המירו ודחסו וידאו, חתכו או חברו קטעים, שנו גודל פריימים וחלצו שמע.
נגנו וידאו מקומי או מוזרם, הקליטו את המסך או המצלמה והשתמשו במצלמה כמראה מקוונת.
דחסו או מזגו PDF, פצלו וסדרו מחדש עמודים, המירו עמודים לתמונות וצפו במסמכים או השוו ביניהם.
המירו פורמטי תמונה, שנו גודל או חתכו תמונות, דחסו קבצים, השוו תמונות וחלצו טקסט באמצעות OCR.
לכדו ועצבו צילומי מסך, הפכו טקסט לתמונות או ל-GIF, ציירו על לוח וצרו ענני מילים או סמלי אתר.
ערכו כתוביות SRT או VTT עם תצוגת וידאו מקדימה, הזיזו תזמון, המירו פורמטים ונהלו רצועות כתוביות.
פתחו קובצי ZIP, 7Z, RAR או TAR, חלצו תוכן נבחר וצרו ארכיונים חדשים עם סיסמאות ZIP/7Z לפי בחירה.
קודדו ופענחו Base64 או Base32, בצעו הימלטות לטקסט URL, HTML ו-Unicode ובדקו תוכן JWT.
המירו בסיסי מספרים וערכים בין בינארי, עשרוני והקסדצימלי; הפכו מספרים למילים או טקסט לבינארי.
חשבו אחוזים ושברים, סכמו נתונים סטטיסטיים וחשבו ציונים, הנחות או יחסי ממדים.
הציגו שעון מקוון, הפעילו ספירה לאחור או שעון עצר וחשבו תאריכים, גילאים או הפרשי אזורי זמן.
בדקו את חיבור ה-IP וה-IPv6 שלכם, בדקו בקשות HTTP או קובצי HAR וחשבו טווחי כתובות CIDR.
המירו יחידות אורך, משקל, טמפרטורה, אחסון נתונים ויחידות נוספות.
המירו ערכי HEX, RGB ו-HSL, חלצו צבעים מתמונה, בדקו ניגודיות או בדקו את המסך עם צבעים אחידים.
צרו וסרקו קודי QR או ברקודים, כולל קודי QR לקישורים ולרשתות Wi-Fi.
צרו גיבובים, UUID וסיסמאות, בדקו ביטויים רגולריים, צרו סלאגים לכתובות URL ובדקו הרשאות קבצים.
בדקו רזולוציה וקצב רענון של המסך, מדדו בסרגל מסך, בדקו מקשים או קראו מטלפרומפטר.
2048, שולה מוקשים, סודוקו, גומוקו, קרב טנקים