crates.io · crates:tokenizers
tokenizers actief
Fastest implementation of the most used tokenizers in AI.
| Nieuwste stabiele versie | 0.23.2 |
|---|---|
| Gepubliceerd | 2026-09-03 08:49:28 UTC |
| Installeren | cargo add tokenizers |
| Minimale Rust-versie (rust-version) | niets opgegeven |
| Licentie | Apache-2.0 |
| Beveiligingsadviezen voor de nieuwste versie | geen bekend |
| Laatst geverifieerd | 2026-10-09 15:20:24 UTC |
| Bronnen | api.osv.dev, crates.io |
Onderhoud
| Activiteit | actief |
|---|---|
| Laatste stabiele versie | 2026-09-03 08:49:28 UTC · 36 dagen geleden |
| Stabiele versies in de afgelopen 12 maanden | 3 |
| Gepubliceerde versies | 42 |
Heuristiek die alleen op publicatiedatums is gebaseerd; meet geen reactietijden op issues of beveiligingsproblemen.
Versiegeschiedenis
| Versie | Gepubliceerd |
|---|---|
0.23.2 | 2026-09-03 08:49:28 UTC |
0.23.1 | 2026-04-27 14:39:17 UTC |
0.22.2 | 2025-12-02 12:53:51 UTC |
0.22.1 | 2025-09-19 09:46:10 UTC |
0.22.0 | 2025-08-29 10:22:26 UTC |
0.21.4 | 2025-07-28 13:19:38 UTC |
0.21.2 | 2025-06-24 10:21:08 UTC |
0.21.1 | 2025-03-13 10:45:44 UTC |
0.21.0 | 2024-11-27 13:06:48 UTC |
0.20.4 | 2024-11-26 17:03:22 UTC |
0.20.3 | 2024-11-05 17:20:12 UTC |
0.20.2 | 2024-11-04 17:17:03 UTC |
0.20.1 | 2024-10-10 09:46:24 UTC |
0.20.0 | 2024-08-08 16:45:14 UTC |
0.19.1 | 2024-04-17 21:17:09 UTC |
0.19.0 | 2024-04-17 08:52:21 UTC |
0.15.2 | 2024-02-12 02:11:46 UTC |
0.15.1 | 2024-01-22 15:01:56 UTC |
0.15.0 | 2023-11-14 18:51:49 UTC |
0.14.1 | 2023-10-06 11:11:43 UTC |
De 20 meest recente van 38 versies worden getoond. JSON
Geef je AI-agent deze feiten
Vigia is een gratis MCP-server: je coding-agent controleert versies, breaking changes en kwetsbaarheden voordat hij code schrijft. Geen account, geen API-sleutel.
claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp
Toevoegen aan CursorToevoegen aan VS Code★ Ster op GitHub
Elke andere MCP-client
{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }Agent-skill (SKILL.md): vertelt de agent wanneer hij Vigia moet gebruiken · GitHub Action voor pull requests
Veelgestelde vragen
Wat is de nieuwste versie van tokenizers?
De nieuwste stabiele versie van tokenizers is 0.23.2, gepubliceerd op 2026-09-03. Geverifieerd door Vigia op 2026-10-09.
Hoe installeer ik de nieuwste versie van tokenizers?
Voer cargo add tokenizers uit. De nieuwste stabiele versie is 0.23.2 (gecontroleerd op 2026-10-09).
Is tokenizers verouderd?
Nee. tokenizers is in het register niet als verouderd gemarkeerd.
Welke Rust-versie vereist tokenizers?
tokenizers 0.23.2 geeft geen vereiste voor de Rust-versie op.
Heeft tokenizers 0.23.2 bekende kwetsbaarheden?
Volgens de gegevens die Vigia controleert, gelden er geen bekende beveiligingsadviezen voor tokenizers 0.23.2.
Wordt tokenizers nog onderhouden?
tokenizers publiceerde de afgelopen 12 maanden 3 stabiele versies; de meest recente 36 dagen geleden. Activiteit: actief.
Waargenomen wijzigingen
Nog geen wijzigingen waargenomen sinds Vigia dit pakket volgt.
Gerelateerde pakketten
- monostate-impl
- inherent
- minijinja
- monostate
- crc16
- tabled_derive
- similar-asserts
- azure_core
- rustc-literal-escaper
- mac_address
- wry
- des
Badges voor je README
Toon de nieuwste versie, de onderhoudsstatus en of dit pakket verouderd is. Kopieer de Markdown:
[](https://vigia.coredls.cloud/crates/tokenizers) [](https://vigia.coredls.cloud/crates/tokenizers) [](https://vigia.coredls.cloud/crates/tokenizers)
Voor agents
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}