Máy tính token này đếm những gì?
Công cụ đếm token trong văn bản bạn nhập theo quy tắc tách token o200k_base của GPT. Công cụ cũng hiển thị số từ, ký tự và ký tự trắng. Token có thể chứa một từ, một phần của từ, dấu câu hoặc ký tự trắng.
Đếm theo cách tách token của GPT. Các mô hình khác có thể cho kết quả khác.
Dấu cách, dấu xuống dòng và tab được đếm theo số ký tự. Ký tự trắng có thể nằm chung token với văn bản liền kề, vì vậy không thể lấy tổng số token trừ đi các số này.
Một ký tự có thể trải trên nhiều token. Các mảnh byte riêng lẻ được hiển thị dưới dạng giá trị thập lục phân để giữ nguyên văn bản gốc.
Dùng bộ đếm và máy tính token miễn phí này để đo độ dài văn bản trước khi đưa vào câu lệnh cho AI. Xem số token, từ và ký tự, kiểm tra ký tự trắng, đồng thời khám phá cách văn bản được chia thành token.
Công cụ đếm token trong văn bản bạn nhập theo quy tắc tách token o200k_base của GPT. Công cụ cũng hiển thị số từ, ký tự và ký tự trắng. Token có thể chứa một từ, một phần của từ, dấu câu hoặc ký tự trắng.
Không. Một token có thể chứa nhiều ký tự hoặc chỉ một phần của từ, và một ký tự có thể dùng nhiều token. Emoji và chữ cái có dấu kết hợp cũng có thể dùng nhiều token dù trông như một ký tự duy nhất. Không có tỷ lệ cố định giữa số ký tự và số token.
Cả ba đều được hỗ trợ, nhưng việc gọi chung là CJK không có nghĩa là chúng có cùng số token trên mỗi ký tự. Một chuỗi ký tự thường gặp có thể tạo thành một token, trong khi một ký tự hoặc âm tiết có thể bị tách thành nhiều token. Số đếm phụ thuộc vào văn bản thực tế và quy tắc tách token, chứ không chỉ ngôn ngữ.
Bộ đếm cũng hỗ trợ văn bản dùng chữ Latin, Cyrillic, Ả Rập, các hệ chữ Ấn Độ và nhiều hệ chữ khác, kể cả văn bản trộn nhiều ngôn ngữ. Từ có thể được tách thành những phần nhỏ hơn, nên cách ước tính từ số từ hoặc số ký tự tiếng Anh không áp dụng cho mọi ngôn ngữ. Các bản dịch của cùng một câu có thể có số token khác nhau.
Trong các trình duyệt hiện đại, một chữ Hán, ký tự kana tiếng Nhật, âm tiết tiếng Hàn hoặc chữ cái Latin thường được tính là một ký tự. Chữ cái có dấu kết hợp hoặc emoji được ghép từ nhiều thành phần thường cũng được tính là một ký tự. Ký tự trắng và dấu câu cũng được tính. Từ được xác định theo ranh giới phù hợp với từng ngôn ngữ, nên một đoạn văn bản CJK không bị coi là một từ chỉ vì không có dấu cách. Số ký tự và số từ đều được tính riêng với số token.
Dấu cách và các ký tự trắng khác được tính khi đếm token. Một dấu cách có thể được gộp với từ phía sau hoặc tạo thành một token riêng. Việc bỏ dấu cách có thể thay đổi ranh giới token liền kề, vì vậy một dấu cách không phải lúc nào cũng tương ứng với một token.
Không. Các mô hình có thể sử dụng quy tắc tách token khác nhau. Công cụ này cung cấp số đếm tham khảo theo GPT cho văn bản thuần. Yêu cầu trò chuyện đầy đủ còn có thể chứa vai trò, định dạng tin nhắn và định nghĩa công cụ, nên tổng mức sử dụng có thể khác.
Không. Văn bản và tệp được nhập đều được đếm trong trình duyệt của bạn. Công cụ không gửi nội dung đến dịch vụ đếm.
Không có giới hạn cố định về độ dài văn bản hoặc kích thước tệp. Nội dung đầu vào lớn cần nhiều thời gian hơn và phụ thuộc vào bộ nhớ còn khả dụng trên thiết bị của bạn. Công cụ đếm toàn bộ văn bản và chỉ xem trước 500 token đầu tiên; giới hạn xem trước không làm giảm tổng số. Dùng nút Xóa để dừng lần đếm hiện tại.
Công cụ liên quan: Công cụ đếm từ
Định dạng và làm đẹp Java, Python, JavaScript, JSON, HTML cùng các ngôn ngữ khác; điều chỉnh thụt lề, khoảng cách và ngắt dòng.
Cắt, nối hoặc chia bản ghi âm, loại bỏ khoảng lặng hoặc nhiễu và điều chỉnh âm lượng, tốc độ, cao độ hoặc kênh.
Mở và chỉnh sửa bảng CSV hoặc Excel, định dạng văn bản dạng bảng và chuyển CSV sang Excel hoặc SQL.
Viết và xem trước Markdown, hiển thị sơ đồ Mermaid và chuyển đổi Markdown, HTML cùng bảng giữa các định dạng.
So sánh các đoạn văn, đếm từ và từ khóa, sắp xếp hoặc thay thế các dòng, xem văn bản DOCX.
Tra nghĩa, từ đồng nghĩa và trái nghĩa trong tiếng Trung, hoặc tìm phiên âm IPA của nhiều ngôn ngữ.
Chuyển đổi giữa MP3, WAV, FLAC và các định dạng khác, phát âm thanh hoặc PCM thô, kiểm tra hoặc chỉnh sửa siêu dữ liệu âm thanh.
Kiểm tra, so sánh và xác thực JSON; thử biểu thức JSONPath hoặc chuyển đổi dữ liệu sang CSV, YAML và XML.
Chuyển âm thanh thành văn bản, tạo giọng nói từ văn bản hoặc ghi âm giọng nói trong trình duyệt.
Chuyển đổi và nén video, cắt hoặc nối các đoạn, thay đổi kích thước khung hình và trích xuất âm thanh.
Phát video trên thiết bị hoặc video trực tuyến, ghi màn hình hoặc camera và dùng camera làm gương trực tuyến.
Nén hoặc gộp PDF, tách và sắp xếp lại các trang, chuyển trang thành ảnh, xem hoặc so sánh tài liệu.
Chuyển đổi định dạng ảnh, thay đổi kích thước hoặc cắt ảnh, nén tệp, so sánh ảnh và trích xuất văn bản bằng OCR.
Chụp và làm đẹp ảnh chụp màn hình, chuyển văn bản thành ảnh hoặc GIF, vẽ trên bảng trắng và tạo đám mây từ hoặc favicon.
Chỉnh sửa phụ đề SRT hoặc VTT với bản xem trước video, dịch chuyển thời gian, chuyển đổi định dạng và quản lý các luồng phụ đề.
Mở tệp ZIP, 7Z, RAR hoặc TAR, giải nén nội dung đã chọn và tạo tệp nén mới với tùy chọn đặt mật khẩu cho ZIP/7Z.
Mã hóa và giải mã Base64 hoặc Base32, thêm ký tự thoát cho URL, HTML và văn bản Unicode, kiểm tra nội dung JWT.
Chuyển đổi cơ số và giá trị giữa nhị phân, thập phân và thập lục phân; chuyển số thành chữ tiếng Anh hoặc văn bản thành nhị phân.
Tính phần trăm và phân số, tổng hợp thống kê, tính điểm, mức giảm giá hoặc tỷ lệ khung hình.
Hiển thị đồng hồ trực tuyến, chạy bộ đếm ngược hoặc đồng hồ bấm giờ, tính ngày, tuổi hoặc chênh lệch múi giờ.
Kiểm tra IP và kết nối IPv6, kiểm tra yêu cầu HTTP hoặc tệp HAR và tính dải địa chỉ CIDR.
Chuyển đổi đơn vị chiều dài, khối lượng, nhiệt độ, dung lượng lưu trữ dữ liệu và các đơn vị khác.
Chuyển đổi giá trị HEX, RGB và HSL, trích xuất màu từ ảnh, kiểm tra độ tương phản hoặc thử màn hình bằng các màu đồng nhất.
Tạo và quét mã QR hoặc mã vạch, bao gồm mã QR cho liên kết và mạng Wi-Fi.
Tạo giá trị băm, UUID và mật khẩu, thử biểu thức chính quy, tạo slug URL và kiểm tra quyền truy cập tệp.
Kiểm tra độ phân giải và tần số làm mới màn hình, đo bằng thước trên màn hình, thử phím hoặc đọc từ máy nhắc chữ.
2048, Dò mìn, Sudoku, Cờ caro, Đại chiến xe tăng