Vigia

crates.io · crates:tokenizers

tokenizers 活跃

Fastest implementation of the most used tokenizers in AI.

最新稳定版本0.23.2
发布时间2026-09-03 08:49:28 UTC
安装cargo add tokenizers
最低 Rust 版本 (rust-version)未声明
许可证Apache-2.0
最新版本的安全公告暂无已知
最近核实2026-10-09 15:20:24 UTC
来源api.osv.dev, crates.io

维护情况

活跃度活跃
最近的稳定版本2026-09-03 08:49:28 UTC · 36 天前
过去 12 个月的稳定版本数3
已发布版本数42

仅根据发布时间估算，不反映对 issue 或安全问题的响应速度。

版本历史

版本发布时间
0.23.22026-09-03 08:49:28 UTC
0.23.12026-04-27 14:39:17 UTC
0.22.22025-12-02 12:53:51 UTC
0.22.12025-09-19 09:46:10 UTC
0.22.02025-08-29 10:22:26 UTC
0.21.42025-07-28 13:19:38 UTC
0.21.22025-06-24 10:21:08 UTC
0.21.12025-03-13 10:45:44 UTC
0.21.02024-11-27 13:06:48 UTC
0.20.42024-11-26 17:03:22 UTC
0.20.32024-11-05 17:20:12 UTC
0.20.22024-11-04 17:17:03 UTC
0.20.12024-10-10 09:46:24 UTC
0.20.02024-08-08 16:45:14 UTC
0.19.12024-04-17 21:17:09 UTC
0.19.02024-04-17 08:52:21 UTC
0.15.22024-02-12 02:11:46 UTC
0.15.12024-01-22 15:01:56 UTC
0.15.02023-11-14 18:51:49 UTC
0.14.12023-10-06 11:11:43 UTC

显示 38 个版本中最新的 20 个。 JSON

把这些数据交给你的 AI 智能体

Vigia 是免费的 MCP 服务器：你的编程智能体在写代码之前就能检查版本、不兼容变更和安全漏洞。无需注册，无需 API 密钥。

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

添加到 Cursor添加到 VS Code★ 在 GitHub 上加星

任何其他 MCP 客户端
{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

智能体技能（SKILL.md）：告诉智能体何时使用 Vigia · 用于拉取请求的 GitHub Action

常见问题

tokenizers 的最新版本是什么？

tokenizers 的最新稳定版本是 0.23.2，发布于 2026-09-03。Vigia 于 2026-10-09 核实。

如何安装 tokenizers 的最新版本？

运行 cargo add tokenizers。最新稳定版本是 0.23.2（2026-10-09 核实）。

tokenizers 是否已弃用？

否。注册表中 tokenizers 未被标记为已弃用。

tokenizers 需要哪个版本的 Rust？

tokenizers 0.23.2 未声明对 Rust 版本的要求。

tokenizers 0.23.2 是否存在已知漏洞？

根据 Vigia 检查的数据，没有已知安全公告影响 tokenizers 0.23.2。

tokenizers 是否仍在维护？

tokenizers 在过去 12 个月内发布了 3 个稳定版本，最近一次在 36 天前。活跃度：活跃。

观察到的变更

自 Vigia 开始跟踪此软件包以来，尚未观察到变更。

相关软件包

用于 README 的徽章

展示此软件包的最新版本、维护状态以及是否已弃用。复制 Markdown：

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

供智能体使用

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}