English: ~4 characters = 1 token
1000 characters ≈ 250 tokens
Russian: ~2.5 characters = 1 token
1000 characters ≈ 400 tokens (60% more expensive!)
Chinese: ~1.5 characters = 1 token
1000 characters ≈ 650 tokens (160% more expensive!)
Кажется, в прошлой версии китайский был чуть больше английского, а русский сильно больше, а теперь наоборот. Я нашел такие данные
Наверное, можно объединить фр-исп, нем-рус
| Язык |
Среднее количество токенов на 1000 символов (оценка) |
Комментарии |
| Английский |
~150–250 |
Английский язык имеет более короткие слова в среднем, чем русский. Количество токенов обычно меньше, чем в русском при одном и том же объёме символов. |
| Французский |
~170–270 |
Французский язык имеет свои особенности в структуре слов, что может влиять на количество токенов, но в целом схоже с английским и испанским. |
| Испанский |
~180–280 |
Испанский язык имеет слова средней длины, схожие с английским по своей структуре. |
| Немецкий |
~200–300 |
Немецкий язык известен своими длинными составными словами, что может увеличить количество токенов по сравнению с английским. |
| Русский |
~200–350 |
Русский язык является флективным, слова могут быть длинными. Количество токенов может сильно варьироваться в зависимости от текста. |
| Китайский |
~400–600 |
Китайский язык использует иероглифы, где каждый иероглиф может представлять одно слово или понятие. Количество токенов может быть высоким из-за сложности токенизации. |
Кажется, в прошлой версии китайский был чуть больше английского, а русский сильно больше, а теперь наоборот. Я нашел такие данные
Наверное, можно объединить фр-исп, нем-рус