crates.io · crates:tokenizers

tokenizers aktywny

Fastest implementation of the most used tokenizers in AI.

Najnowsza stabilna wersja	0.23.2
Opublikowano	2026-09-03 08:49:28 UTC
Instalacja	`cargo add tokenizers`
Minimalna wersja Rusta (rust-version)	nie zadeklarowano
Licencja	Apache-2.0
Ostrzeżenia bezpieczeństwa dla najnowszej wersji	brak znanych
Ostatnia weryfikacja	2026-10-09 15:20:24 UTC
Źródła	api.osv.dev, crates.io

Utrzymanie

Aktywność	aktywny
Ostatnia stabilna wersja	2026-09-03 08:49:28 UTC · 36 dni temu
Stabilne wersje w ciągu ostatnich 12 miesięcy	3
Opublikowane wersje	42

Heurystyka oparta wyłącznie na datach publikacji; nie mierzy czasu reakcji na zgłoszenia ani problemy bezpieczeństwa.

Historia wersji

Wersja	Opublikowano
`0.23.2`	2026-09-03 08:49:28 UTC
`0.23.1`	2026-04-27 14:39:17 UTC
`0.22.2`	2025-12-02 12:53:51 UTC
`0.22.1`	2025-09-19 09:46:10 UTC
`0.22.0`	2025-08-29 10:22:26 UTC
`0.21.4`	2025-07-28 13:19:38 UTC
`0.21.2`	2025-06-24 10:21:08 UTC
`0.21.1`	2025-03-13 10:45:44 UTC
`0.21.0`	2024-11-27 13:06:48 UTC
`0.20.4`	2024-11-26 17:03:22 UTC
`0.20.3`	2024-11-05 17:20:12 UTC
`0.20.2`	2024-11-04 17:17:03 UTC
`0.20.1`	2024-10-10 09:46:24 UTC
`0.20.0`	2024-08-08 16:45:14 UTC
`0.19.1`	2024-04-17 21:17:09 UTC
`0.19.0`	2024-04-17 08:52:21 UTC
`0.15.2`	2024-02-12 02:11:46 UTC
`0.15.1`	2024-01-22 15:01:56 UTC
`0.15.0`	2023-11-14 18:51:49 UTC
`0.14.1`	2023-10-06 11:11:43 UTC

Wyświetlono 20 najnowszych z 38 wersji. JSON

Przekaż te dane swojemu agentowi AI

Vigia to darmowy serwer MCP: Twój agent programistyczny sprawdza wersje, zmiany łamiące zgodność i podatności, zanim napisze kod. Bez rejestracji i klucza API.

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Dodaj do Cursor Dodaj do VS Code ★ Gwiazdka na GitHubie

Dowolny inny klient MCP

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

Skill dla agentów (SKILL.md): mówi agentowi, kiedy używać Vigii · GitHub Action dla pull requestów

Najczęściej zadawane pytania

Jaka jest najnowsza wersja tokenizers?

Najnowsza stabilna wersja tokenizers to 0.23.2, opublikowana 2026-09-03. Zweryfikowano przez Vigia 2026-10-09.

Jak zainstalować najnowszą wersję tokenizers?

Uruchom cargo add tokenizers. Najnowsza stabilna wersja to 0.23.2 (sprawdzono 2026-10-09).

Czy tokenizers jest wycofany?

Nie. tokenizers nie jest oznaczony w rejestrze jako wycofany.

Jakiej wersji Rust wymaga tokenizers?

tokenizers 0.23.2 nie deklaruje wymagania dotyczącego wersji Rust.

Czy tokenizers 0.23.2 ma znane podatności?

Według danych sprawdzanych przez Vigia żadne znane ostrzeżenia bezpieczeństwa nie dotyczą tokenizers 0.23.2.

Czy tokenizers jest nadal utrzymywany?

tokenizers opublikował 3 stabilnych wersji w ciągu ostatnich 12 miesięcy; najnowszą 36 dni temu. Aktywność: aktywny.

Zaobserwowane zmiany

Od kiedy Vigia śledzi ten pakiet, nie zaobserwowano jeszcze zmian.

Powiązane pakiety

Odznaki do README

Pokaż najnowszą wersję, stan utrzymania i informację o wycofaniu tego pakietu. Skopiuj Markdown:

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

Dla agentów

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}