crates.io · crates:tokenizers
tokenizers actif
Fastest implementation of the most used tokenizers in AI.
| Dernière version stable | 0.23.2 |
|---|---|
| Publiée | 2026-09-03 08:49:28 UTC |
| Installer | cargo add tokenizers |
| Version minimale de Rust (rust-version) | aucune déclarée |
| Licence | Apache-2.0 |
| Alertes de sécurité sur la dernière version | aucune connue |
| Dernière vérification | 2026-10-09 15:20:24 UTC |
| Sources | api.osv.dev, crates.io |
Maintenance
| Activité | active |
|---|---|
| Dernière version stable | 2026-09-03 08:49:28 UTC · il y a 36 jours |
| Versions stables sur les 12 derniers mois | 3 |
| Versions publiées | 42 |
Heuristique fondée uniquement sur les dates de publication ; elle ne mesure pas les délais de réponse aux tickets ni aux problèmes de sécurité.
Historique des versions
| Version | Publiée |
|---|---|
0.23.2 | 2026-09-03 08:49:28 UTC |
0.23.1 | 2026-04-27 14:39:17 UTC |
0.22.2 | 2025-12-02 12:53:51 UTC |
0.22.1 | 2025-09-19 09:46:10 UTC |
0.22.0 | 2025-08-29 10:22:26 UTC |
0.21.4 | 2025-07-28 13:19:38 UTC |
0.21.2 | 2025-06-24 10:21:08 UTC |
0.21.1 | 2025-03-13 10:45:44 UTC |
0.21.0 | 2024-11-27 13:06:48 UTC |
0.20.4 | 2024-11-26 17:03:22 UTC |
0.20.3 | 2024-11-05 17:20:12 UTC |
0.20.2 | 2024-11-04 17:17:03 UTC |
0.20.1 | 2024-10-10 09:46:24 UTC |
0.20.0 | 2024-08-08 16:45:14 UTC |
0.19.1 | 2024-04-17 21:17:09 UTC |
0.19.0 | 2024-04-17 08:52:21 UTC |
0.15.2 | 2024-02-12 02:11:46 UTC |
0.15.1 | 2024-01-22 15:01:56 UTC |
0.15.0 | 2023-11-14 18:51:49 UTC |
0.14.1 | 2023-10-06 11:11:43 UTC |
Affichage des 20 plus récentes sur 38 versions. JSON
Donnez ces données à votre agent IA
Vigia est un serveur MCP gratuit : votre agent de code vérifie les versions, les changements incompatibles et les vulnérabilités avant d'écrire du code. Sans inscription ni clé d'API.
claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp
Ajouter à CursorAjouter à VS Code★ Étoile sur GitHub
Tout autre client MCP
{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }Skill pour agents (SKILL.md) : indique à l'agent quand utiliser Vigia · GitHub Action pour les pull requests
Questions fréquentes
Quelle est la dernière version de tokenizers ?
La dernière version stable de tokenizers est la 0.23.2, publiée le 2026-09-03. Vérifié par Vigia le 2026-10-09.
Comment installer la dernière version de tokenizers ?
Exécutez cargo add tokenizers. La dernière version stable est 0.23.2 (vérifié le 2026-10-09).
tokenizers est-il déprécié ?
Non. tokenizers n’est pas marqué comme déprécié dans le registre.
Quelle version de Rust tokenizers exige-t-il ?
tokenizers 0.23.2 ne déclare aucune exigence de version de Rust.
tokenizers 0.23.2 présente-t-il des vulnérabilités connues ?
Aucune alerte de sécurité connue ne concerne tokenizers 0.23.2 d’après les données consultées par Vigia.
tokenizers est-il encore maintenu ?
tokenizers a publié 3 versions stables au cours des 12 derniers mois ; la plus récente il y a 36 jours. Activité : active.
Changements observés
Aucun changement observé depuis que Vigia suit ce paquet.
Paquets associés
- monostate-impl
- inherent
- minijinja
- monostate
- crc16
- tabled_derive
- similar-asserts
- azure_core
- rustc-literal-escaper
- mac_address
- wry
- des
Badges pour votre README
Affichez la dernière version, l’état de maintenance et l’éventuelle dépréciation de ce paquet. Copiez le Markdown :
[](https://vigia.coredls.cloud/crates/tokenizers) [](https://vigia.coredls.cloud/crates/tokenizers) [](https://vigia.coredls.cloud/crates/tokenizers)
Pour les agents
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}