Τι μετρά αυτή η αριθμομηχανή token;
Μετρά τα token του κειμένου που εισάγετε με τους κανόνες διαχωρισμού GPT o200k_base. Εμφανίζει επίσης πλήθος λέξεων, χαρακτήρων και λευκών διαστημάτων. Τα token μπορεί να περιέχουν λέξη, μέρος λέξης, στίξη ή λευκά διαστήματα.
Είναι ένας χαρακτήρας πάντα ένα token;
Όχι. Ένα token μπορεί να περιέχει αρκετούς χαρακτήρες ή μόνο μέρος μιας λέξης και ένας χαρακτήρας μπορεί να χρησιμοποιεί πολλά token. Τα emoji και τα γράμματα με συνδυαστικά διακριτικά μπορεί επίσης να χρησιμοποιούν πολλά token, ακόμη και αν φαίνονται ως ένας χαρακτήρας. Δεν υπάρχει σταθερή αναλογία χαρακτήρων προς token.
Πώς μετρώνται τα κινεζικά, ιαπωνικά και κορεατικά κείμενα;
Υποστηρίζονται και οι τρεις γλώσσες, αλλά η ομαδοποίησή τους ως CJK δεν σημαίνει κοινό πλήθος token ανά χαρακτήρα. Συνηθισμένες ακολουθίες χαρακτήρων μπορεί να αποτελούν ένα token, ενώ ένας χαρακτήρας ή συλλαβή μπορεί να χωρίζεται σε πολλά. Η μέτρηση εξαρτάται από το πραγματικό κείμενο και τους κανόνες διαχωρισμού σε token, όχι μόνο από τη γλώσσα.
Τι ισχύει για άλλες γλώσσες και μεικτά κείμενα;
Ο μετρητής υποστηρίζει επίσης κείμενα σε λατινική, κυριλλική, αραβική, ινδικές και άλλες γραφές, συμπεριλαμβανομένων μεικτών γλωσσών. Οι λέξεις μπορεί να χωρίζονται σε μικρότερα μέρη, επομένως οι εκτιμήσεις βάσει αγγλικών λέξεων ή χαρακτήρων δεν ισχύουν για κάθε γλώσσα. Μεταφράσεις της ίδιας πρότασης μπορεί να έχουν διαφορετικό πλήθος token.
Πώς μετρώνται οι χαρακτήρες και οι λέξεις;
Στους σύγχρονους περιηγητές, ένας χαρακτήρας Han, ιαπωνικό kana, κορεατική συλλαβή ή λατινικό γράμμα συνήθως μετρά ως ένας χαρακτήρας. Ένα γράμμα με συνδυαστικό τόνο ή ένα σύνθετο emoji συνήθως μετρά επίσης ως ένα. Περιλαμβάνονται λευκά διαστήματα και στίξη. Οι λέξεις ακολουθούν όρια ανάλογα με τη γλώσσα, επομένως ένα απόσπασμα CJK δεν θεωρείται μία λέξη απλώς επειδή δεν έχει κενά. Και οι δύο μετρήσεις είναι ανεξάρτητες από τα token.
Μετρούν τα κενά ως token;
Τα κενά και τα άλλα λευκά διαστήματα περιλαμβάνονται στη μέτρηση token. Ένα κενό μπορεί να συνδυάζεται με την επόμενη λέξη ή να αποτελεί ξεχωριστό token. Η αφαίρεση κενού μπορεί να αλλάξει τα κοντινά όρια token, οπότε ένα κενό δεν σημαίνει πάντα ένα token.
Θα συμφωνεί η μέτρηση με κάθε μοντέλο AI;
Όχι. Τα μοντέλα μπορεί να χρησιμοποιούν διαφορετικούς κανόνες διαχωρισμού σε token. Το εργαλείο παρέχει μέτρηση αναφοράς GPT για απλό κείμενο. Τα πλήρη αιτήματα συνομιλίας μπορεί επίσης να περιέχουν ρόλους, μορφοποίηση μηνυμάτων και ορισμούς εργαλείων, οπότε η συνολική χρήση τους μπορεί να διαφέρει.
Μεταφορτώνεται το κείμενό μου;
Όχι. Το κείμενο και τα εισαγόμενα αρχεία μετρώνται στον περιηγητή σας. Το εργαλείο δεν στέλνει το περιεχόμενό τους σε υπηρεσία μέτρησης.
Υπάρχει όριο κειμένου ή μεγέθους αρχείου;
Δεν υπάρχει σταθερό όριο μήκους κειμένου ή μεγέθους αρχείου. Οι μεγάλες είσοδοι χρειάζονται περισσότερο χρόνο και εξαρτώνται από τη διαθέσιμη μνήμη της συσκευής σας. Η λειτουργία αρχείων μετρά κάθε πλήρες αρχείο χωρίς να το βάζει στον επεξεργαστή κειμένου και διατηρεί τα ολοκληρωμένα αποτελέσματα σε ακύρωση. Οι προεπισκοπήσεις εμφανίζουν μόνο τα πρώτα 500 token· οι αναφορές CSV περιλαμβάνουν τις πλήρεις μετρήσεις.