crates.io · crates:tokenizers

tokenizers aktiv

Fastest implementation of the most used tokenizers in AI.

Neueste stabile Version	0.23.2
Veröffentlicht	2026-09-03 08:49:28 UTC
Installieren	`cargo add tokenizers`
Minimale Rust-Version (rust-version)	keine angegeben
Lizenz	Apache-2.0
Sicherheitshinweise zur neuesten Version	keine bekannt
Zuletzt geprüft	2026-10-09 15:20:24 UTC
Quellen	api.osv.dev, crates.io

Pflege

Aktivität	aktiv
Letzte stabile Version	2026-09-03 08:49:28 UTC · vor 36 Tagen
Stabile Versionen in den letzten 12 Monaten	3
Veröffentlichte Versionen	42

Heuristik, die nur auf Veröffentlichungsdaten beruht; sie misst keine Reaktionszeiten auf Issues oder Sicherheitsprobleme.

Versionsverlauf

Version	Veröffentlicht
`0.23.2`	2026-09-03 08:49:28 UTC
`0.23.1`	2026-04-27 14:39:17 UTC
`0.22.2`	2025-12-02 12:53:51 UTC
`0.22.1`	2025-09-19 09:46:10 UTC
`0.22.0`	2025-08-29 10:22:26 UTC
`0.21.4`	2025-07-28 13:19:38 UTC
`0.21.2`	2025-06-24 10:21:08 UTC
`0.21.1`	2025-03-13 10:45:44 UTC
`0.21.0`	2024-11-27 13:06:48 UTC
`0.20.4`	2024-11-26 17:03:22 UTC
`0.20.3`	2024-11-05 17:20:12 UTC
`0.20.2`	2024-11-04 17:17:03 UTC
`0.20.1`	2024-10-10 09:46:24 UTC
`0.20.0`	2024-08-08 16:45:14 UTC
`0.19.1`	2024-04-17 21:17:09 UTC
`0.19.0`	2024-04-17 08:52:21 UTC
`0.15.2`	2024-02-12 02:11:46 UTC
`0.15.1`	2024-01-22 15:01:56 UTC
`0.15.0`	2023-11-14 18:51:49 UTC
`0.14.1`	2023-10-06 11:11:43 UTC

Die 20 neuesten von 38 Versionen werden angezeigt. JSON

Gib deinem KI-Agenten diese Fakten

Vigia ist ein kostenloser MCP-Server: Dein Coding-Agent prüft Versionen, Breaking Changes und Sicherheitslücken, bevor er Code schreibt. Ohne Anmeldung, ohne API-Schlüssel.

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Zu Cursor hinzufügen Zu VS Code hinzufügen ★ Stern auf GitHub

Jeder andere MCP-Client

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

Agent-Skill (SKILL.md): sagt dem Agenten, wann er Vigia nutzen soll · GitHub Action für Pull Requests

Häufige Fragen

Was ist die neueste Version von tokenizers?

Die neueste stabile Version von tokenizers ist 0.23.2, veröffentlicht am 2026-09-03. Von Vigia geprüft am 2026-10-09.

Wie installiere ich die neueste Version von tokenizers?

Führe cargo add tokenizers aus. Die neueste stabile Version ist 0.23.2 (geprüft am 2026-10-09).

Ist tokenizers veraltet?

Nein. tokenizers ist in der Registry nicht als veraltet gekennzeichnet.

Welche Rust-Version benötigt tokenizers?

tokenizers 0.23.2 gibt keine Anforderung an die Rust-Version an.

Hat tokenizers 0.23.2 bekannte Sicherheitslücken?

Laut den von Vigia geprüften Daten betreffen keine bekannten Sicherheitshinweise tokenizers 0.23.2.

Wird tokenizers noch gepflegt?

tokenizers hat in den letzten 12 Monaten 3 stabile Versionen veröffentlicht; die neueste vor 36 Tagen. Aktivität: aktiv.

Beobachtete Änderungen

Seit Vigia dieses Paket beobachtet, wurden noch keine Änderungen festgestellt.

Badges für Ihre README

Zeigen Sie die neueste Version, den Pflegestatus und den Deprecation-Status dieses Pakets. Markdown kopieren:

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

Für Agenten

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}