Конвертер токенов в слова

Распространённое правило для английского: один токен — это примерно 0,75 слова, или около 4 символов. Значит, 1000 токенов — это около 750 слов. Это оценка: реальные токенизаторы делят текст на подслова, поэтому точное число зависит от модели и формулировки.

Разделите число слов на 0,75 (это то же, что умножить примерно на 1,33). Например, 750 слов — это около 1000 токенов. Переключите инструмент в режим «Слова в токены», чтобы сделать это автоматически, вместе с приблизительным числом символов.

Языковые модели используют токенизаторы на основе подслов (например, BPE), поэтому частые слова могут быть одним токеном, а редкие слова, код, числа, эмодзи или текст не на английском — несколькими. Соотношение около 0,75 слова на токен — это удобное среднее для планирования, а не точный счёт для конкретной модели.

Нет. И преобразование, и оценка по вставленному тексту выполняются полностью в вашем браузере. Ничего из того, что вы вводите или вставляете, не загружается на сервер.