crates.io · crates:tokenizers

tokenizers активен

Fastest implementation of the most used tokenizers in AI.

Последняя стабильная версия	0.23.2
Опубликована	2026-09-03 08:49:28 UTC
Установка	`cargo add tokenizers`
Минимальная версия Rust (rust-version)	не указаны
Лицензия	Apache-2.0
Уведомления о безопасности для последней версии	неизвестны
Последняя проверка	2026-10-09 15:20:24 UTC
Источники	api.osv.dev, crates.io

Поддержка

Активность	активен
Последняя стабильная версия	2026-09-03 08:49:28 UTC · 36 дней назад
Стабильных версий за последние 12 месяцев	3
Опубликовано версий	42

Эвристика, основанная только на датах публикации; не отражает скорость реакции на issues и проблемы безопасности.

История версий

Версия	Опубликована
`0.23.2`	2026-09-03 08:49:28 UTC
`0.23.1`	2026-04-27 14:39:17 UTC
`0.22.2`	2025-12-02 12:53:51 UTC
`0.22.1`	2025-09-19 09:46:10 UTC
`0.22.0`	2025-08-29 10:22:26 UTC
`0.21.4`	2025-07-28 13:19:38 UTC
`0.21.2`	2025-06-24 10:21:08 UTC
`0.21.1`	2025-03-13 10:45:44 UTC
`0.21.0`	2024-11-27 13:06:48 UTC
`0.20.4`	2024-11-26 17:03:22 UTC
`0.20.3`	2024-11-05 17:20:12 UTC
`0.20.2`	2024-11-04 17:17:03 UTC
`0.20.1`	2024-10-10 09:46:24 UTC
`0.20.0`	2024-08-08 16:45:14 UTC
`0.19.1`	2024-04-17 21:17:09 UTC
`0.19.0`	2024-04-17 08:52:21 UTC
`0.15.2`	2024-02-12 02:11:46 UTC
`0.15.1`	2024-01-22 15:01:56 UTC
`0.15.0`	2023-11-14 18:51:49 UTC
`0.14.1`	2023-10-06 11:11:43 UTC

Показаны 20 самых новых из 38 версий. JSON

Передайте эти данные своему ИИ-агенту

Vigia — бесплатный MCP-сервер: ваш агент для программирования проверяет версии, несовместимые изменения и уязвимости до того, как напишет код. Без регистрации и API-ключа.

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Добавить в Cursor Добавить в VS Code ★ Звезда на GitHub

Любой другой MCP-клиент

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

Навык для агентов (SKILL.md): подсказывает агенту, когда использовать Vigia · GitHub Action для pull request

Часто задаваемые вопросы

Какая последняя версия tokenizers?

Последняя стабильная версия tokenizers — 0.23.2, опубликована 2026-09-03. Проверено Vigia 2026-10-09.

Как установить последнюю версию tokenizers?

Выполните cargo add tokenizers. Последняя стабильная версия — 0.23.2 (проверено 2026-10-09).

Устарел ли tokenizers?

Нет. В реестре tokenizers не помечен как устаревший.

Какая версия Rust нужна для tokenizers?

tokenizers 0.23.2 не указывает требований к версии Rust.

Есть ли у tokenizers 0.23.2 известные уязвимости?

По данным, которые проверяет Vigia, известных уведомлений о безопасности для tokenizers 0.23.2 нет.

Поддерживается ли tokenizers?

За последние 12 месяцев tokenizers выпустил 3 стабильных версий; последнюю — 36 дней назад. Активность: активен.

Зафиксированные изменения

С тех пор как Vigia отслеживает этот пакет, изменений пока не зафиксировано.

Связанные пакеты

Бейджи для README

Покажите последнюю версию, статус поддержки и признак устаревания этого пакета. Скопируйте Markdown:

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

Для агентов

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}