PyPI · pypi:tokenizers

tokenizers 活跃

tokenizers 的最新稳定版本是 0.23.3，发布于 2026-10-09。Vigia 于 2026-11-13 核实。

最新稳定版本	0.23.3
发布时间	2026-10-09 10:00:51 UTC
安装	`pip install --upgrade tokenizers`
运行要求	`python >=3.10`
许可证	—
最新版本的安全公告	暂无已知
最近核实	2026-11-13 15:25:46 UTC
来源	pypi.org

维护情况

活跃度	活跃
最近的稳定版本	2026-10-09 10:00:51 UTC · 35 天前
过去 12 个月的稳定版本数	4
已发布版本数	106

仅根据发布时间估算，不反映对 issue 或安全问题的响应速度。

版本历史

版本	发布时间
`0.23.3`	2026-10-09 10:00:51 UTC
`0.23.2`	2026-09-03 08:55:14 UTC
`0.23.1`	2026-04-27 14:43:01 UTC
`0.22.2`	2026-01-05 10:40:32 UTC
`0.22.1`	2025-09-19 09:48:56 UTC
`0.22.0`	2025-08-29 10:25:12 UTC
`0.21.4`	2025-07-28 13:22:43 UTC
`0.21.2`	2025-06-24 10:24:31 UTC
`0.21.1`	2025-03-13 10:50:56 UTC
`0.21.0`	2024-11-27 13:10:51 UTC
`0.20.4` 已撤回	2024-11-26 17:07:11 UTC
`0.20.3`	2024-11-05 17:30:25 UTC
`0.20.2`	2024-11-04 17:28:57 UTC
`0.20.1`	2024-10-10 09:56:28 UTC
`0.20.0`	2024-08-08 16:55:26 UTC
`0.19.1`	2024-04-17 21:36:02 UTC
`0.19.0`	2024-04-17 09:13:53 UTC
`0.15.2`	2024-02-12 02:24:30 UTC
`0.15.1`	2024-01-22 15:22:00 UTC
`0.15.0`	2023-11-14 19:03:50 UTC

显示 72 个版本中最新的 20 个。 JSON

版本兼容性

声明支持各运行时版本的最新稳定版本（依据每个版本发布的要求）。

运行时	最新兼容版本
`python 3.8`	`0.21.0`
`python 3.9`	`0.22.2`
`python 3.10`	`0.23.3`
`python 3.11`	`0.23.3`
`python 3.12`	`0.23.3`
`python 3.13`	`0.23.3`

把这些数据交给你的 AI 智能体

Vigia 是免费的 MCP 服务器：你的编程智能体在写代码之前就能检查版本、不兼容变更和安全漏洞。无需注册，无需 API 密钥。

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

添加到 Cursor 添加到 VS Code ★ 在 GitHub 上加星

任何其他 MCP 客户端

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

智能体技能（SKILL.md）：告诉智能体何时使用 Vigia · 用于拉取请求的 GitHub Action

常见问题

tokenizers 的最新版本是什么？

tokenizers 的最新稳定版本是 0.23.3，发布于 2026-10-09。Vigia 于 2026-11-13 核实。

如何安装 tokenizers 的最新版本？

运行 pip install --upgrade tokenizers。最新稳定版本是 0.23.3（2026-11-13 核实）。

tokenizers 是否已弃用？

否。注册表中 tokenizers 未被标记为已弃用。

tokenizers 需要哪个版本的 Python？

tokenizers 0.23.3 声明的要求为：python >=3.10。

tokenizers 0.23.3 是否存在已知漏洞？

根据 Vigia 检查的数据，没有已知安全公告影响 tokenizers 0.23.3。

tokenizers 是否仍在维护？

tokenizers 在过去 12 个月内发布了 4 个稳定版本，最近一次在 35 天前。活跃度：活跃。

观察到的变更

Fri Oct 09 2026 10:03:21 GM +0000 (Coordinated Universal Time) — released 0.23.2 → 0.23.3

用于 README 的徽章

展示此软件包的最新版本、维护状态以及是否已弃用。复制 Markdown：

[![version](https://vigia.coredls.cloud/badge/pypi/tokenizers/version.svg)](https://vigia.coredls.cloud/pypi/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/pypi/tokenizers/maintained.svg)](https://vigia.coredls.cloud/pypi/tokenizers)
[![status](https://vigia.coredls.cloud/badge/pypi/tokenizers/status.svg)](https://vigia.coredls.cloud/pypi/tokenizers)

供智能体使用

GET https://vigia.coredls.cloud/v1/packages/pypi/tokenizers
GET https://vigia.coredls.cloud/v1/packages/pypi/tokenizers/versions/{version}