crates.io · crates:tokenizers

tokenizers aktif

Fastest implementation of the most used tokenizers in AI.

Versi stabil terbaru	0.23.2
Diterbitkan	2026-09-03 08:49:28 UTC
Instal	`cargo add tokenizers`
Versi Rust minimum (rust-version)	tidak dinyatakan
Lisensi	Apache-2.0
Peringatan keamanan pada versi terbaru	tidak ada yang diketahui
Terakhir diverifikasi	2026-10-09 15:20:24 UTC
Sumber	api.osv.dev, crates.io

Pemeliharaan

Aktivitas	aktif
Versi stabil terakhir	2026-09-03 08:49:28 UTC · 36 hari lalu
Versi stabil dalam 12 bulan terakhir	3
Versi yang diterbitkan	42

Perkiraan yang hanya didasarkan pada tanggal terbit; tidak mengukur waktu tanggapan terhadap issue atau masalah keamanan.

Riwayat versi

Versi	Diterbitkan
`0.23.2`	2026-09-03 08:49:28 UTC
`0.23.1`	2026-04-27 14:39:17 UTC
`0.22.2`	2025-12-02 12:53:51 UTC
`0.22.1`	2025-09-19 09:46:10 UTC
`0.22.0`	2025-08-29 10:22:26 UTC
`0.21.4`	2025-07-28 13:19:38 UTC
`0.21.2`	2025-06-24 10:21:08 UTC
`0.21.1`	2025-03-13 10:45:44 UTC
`0.21.0`	2024-11-27 13:06:48 UTC
`0.20.4`	2024-11-26 17:03:22 UTC
`0.20.3`	2024-11-05 17:20:12 UTC
`0.20.2`	2024-11-04 17:17:03 UTC
`0.20.1`	2024-10-10 09:46:24 UTC
`0.20.0`	2024-08-08 16:45:14 UTC
`0.19.1`	2024-04-17 21:17:09 UTC
`0.19.0`	2024-04-17 08:52:21 UTC
`0.15.2`	2024-02-12 02:11:46 UTC
`0.15.1`	2024-01-22 15:01:56 UTC
`0.15.0`	2023-11-14 18:51:49 UTC
`0.14.1`	2023-10-06 11:11:43 UTC

Menampilkan 20 versi terbaru dari 38 versi. JSON

Berikan fakta ini ke agen AI Anda

Vigia adalah server MCP gratis: agen coding Anda memeriksa versi, perubahan yang merusak kompatibilitas, dan kerentanan sebelum menulis kode. Tanpa pendaftaran, tanpa kunci API.

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Tambahkan ke Cursor Tambahkan ke VS Code ★ Bintang di GitHub

Klien MCP lainnya

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

Skill agen (SKILL.md): memberi tahu agen kapan memakai Vigia · GitHub Action untuk pull request

Pertanyaan umum

Apa versi terbaru tokenizers?

Versi stabil terbaru tokenizers adalah 0.23.2, diterbitkan pada 2026-09-03. Diverifikasi oleh Vigia pada 2026-10-09.

Bagaimana cara menginstal versi terbaru tokenizers?

Jalankan cargo add tokenizers. Versi stabil terbaru adalah 0.23.2 (diverifikasi 2026-10-09).

Apakah tokenizers sudah usang?

Tidak. tokenizers tidak ditandai sebagai usang di registri.

Versi Rust berapa yang dibutuhkan tokenizers?

tokenizers 0.23.2 tidak menyatakan kebutuhan versi Rust.

Apakah tokenizers 0.23.2 memiliki kerentanan yang diketahui?

Tidak ada peringatan keamanan yang diketahui untuk tokenizers 0.23.2 menurut data yang diperiksa Vigia.

Apakah tokenizers masih dikelola?

tokenizers menerbitkan 3 versi stabil dalam 12 bulan terakhir; yang terbaru 36 hari lalu. Aktivitas: aktif.

Perubahan yang teramati

Belum ada perubahan yang teramati sejak Vigia mulai memantau paket ini.

Paket terkait

Lencana untuk README Anda

Tampilkan versi terbaru, status pemeliharaan, dan status usang paket ini. Salin Markdown:

[![version](https://vigia.coredls.cloud/badge/crates/tokenizers/version.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/crates/tokenizers/maintained.svg)](https://vigia.coredls.cloud/crates/tokenizers)
[![status](https://vigia.coredls.cloud/badge/crates/tokenizers/status.svg)](https://vigia.coredls.cloud/crates/tokenizers)

Untuk agen

GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers
GET https://vigia.coredls.cloud/v1/packages/crates/tokenizers/versions/{version}