crates.io · crates:tokenizers

tokenizers активний

Fastest implementation of the most used tokenizers in AI.

Остання стабільна версія	0.23.2
Опубліковано	2026-09-03 08:49:28 UTC
Встановлення	`cargo add tokenizers`
Мінімальна версія Rust (rust-version)	не вказано
Ліцензія	Apache-2.0
Попередження безпеки для останньої версії	невідомі
Остання перевірка	2026-10-09 15:20:24 UTC
Джерела	api.osv.dev, crates.io

Підтримка

Активність	активний
Остання стабільна версія	2026-09-03 08:49:28 UTC · 36 днів тому
Стабільних версій за останні 12 місяців	3
Опубліковано версій	42

Евристика, що ґрунтується лише на датах публікації; не відображає швидкість реакції на issues та проблеми безпеки.

Історія версій

Версія	Опубліковано
`0.23.2`	2026-09-03 08:49:28 UTC
`0.23.1`	2026-04-27 14:39:17 UTC
`0.22.2`	2025-12-02 12:53:51 UTC
`0.22.1`	2025-09-19 09:46:10 UTC
`0.22.0`	2025-08-29 10:22:26 UTC
`0.21.4`	2025-07-28 13:19:38 UTC
`0.21.2`	2025-06-24 10:21:08 UTC
`0.21.1`	2025-03-13 10:45:44 UTC
`0.21.0`	2024-11-27 13:06:48 UTC
`0.20.4`	2024-11-26 17:03:22 UTC
`0.20.3`	2024-11-05 17:20:12 UTC
`0.20.2`	2024-11-04 17:17:03 UTC
`0.20.1`	2024-10-10 09:46:24 UTC
`0.20.0`	2024-08-08 16:45:14 UTC
`0.19.1`	2024-04-17 21:17:09 UTC
`0.19.0`	2024-04-17 08:52:21 UTC
`0.15.2`	2024-02-12 02:11:46 UTC
`0.15.1`	2024-01-22 15:01:56 UTC
`0.15.0`	2023-11-14 18:51:49 UTC
`0.14.1`	2023-10-06 11:11:43 UTC

Показано 20 найновіших із 38 версій. JSON

Передайте ці дані своєму ШІ-агенту

Vigia — безкоштовний MCP-сервер: ваш агент для програмування перевіряє версії, несумісні зміни та вразливості, перш ніж писати код. Без реєстрації та API-ключа.

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Додати в Cursor Додати в VS Code ★ Зірка на GitHub

Будь-який інший MCP-клієнт

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

Навичка для агентів (SKILL.md): підказує агенту, коли використовувати Vigia · GitHub Action для pull request

Поширені запитання

Яка остання версія tokenizers?

Остання стабільна версія tokenizers — 0.23.2, опублікована 2026-09-03. Перевірено Vigia 2026-10-09.

Як встановити останню версію tokenizers?

Виконайте cargo add tokenizers. Остання стабільна версія — 0.23.2 (перевірено 2026-10-09).

Чи застарів tokenizers?

Ні. У реєстрі tokenizers не позначено як застарілий.

Яка версія Rust потрібна для tokenizers?

tokenizers 0.23.2 не вказує вимог до версії Rust.

Чи має tokenizers 0.23.2 відомі вразливості?

За даними, які перевіряє Vigia, відомих попереджень безпеки для tokenizers 0.23.2 немає.

Чи підтримується tokenizers?

За останні 12 місяців tokenizers випустив 3 стабільних версій; останню — 36 днів тому. Активність: активний.

Зафіксовані зміни

Відколи Vigia відстежує цей пакет, змін ще не зафіксовано.

Пов’язані пакети

Бейджі для README

Покажіть останню версію, стан підтримки та ознаку застарівання цього пакета. Скопіюйте Markdown:

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

Для агентів

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}