PyPI · pypi:tokenizers

tokenizers सक्रिय

tokenizers का नवीनतम स्थिर संस्करण 0.23.3 है, जो 2026-10-09 को प्रकाशित हुआ। Vigia द्वारा 2026-11-13 को सत्यापित।

नवीनतम स्थिर संस्करण	0.23.3
प्रकाशित	2026-10-09 10:00:51 UTC
इंस्टॉल	`pip install --upgrade tokenizers`
आवश्यकता	`python >=3.10`
लाइसेंस	—
नवीनतम संस्करण पर सुरक्षा सूचनाएँ	कोई ज्ञात नहीं
अंतिम सत्यापन	2026-11-13 12:25:42 UTC
स्रोत	pypi.org

रखरखाव

गतिविधि	सक्रिय
अंतिम स्थिर संस्करण	2026-10-09 10:00:51 UTC · 35 दिन पहले
पिछले 12 महीनों में स्थिर संस्करण	4
प्रकाशित संस्करण	106

केवल प्रकाशन तिथियों पर आधारित अनुमान; यह issues या सुरक्षा समस्याओं पर प्रतिक्रिया का समय नहीं मापता।

संस्करण इतिहास

संस्करण	प्रकाशित
`0.23.3`	2026-10-09 10:00:51 UTC
`0.23.2`	2026-09-03 08:55:14 UTC
`0.23.1`	2026-04-27 14:43:01 UTC
`0.22.2`	2026-01-05 10:40:32 UTC
`0.22.1`	2025-09-19 09:48:56 UTC
`0.22.0`	2025-08-29 10:25:12 UTC
`0.21.4`	2025-07-28 13:22:43 UTC
`0.21.2`	2025-06-24 10:24:31 UTC
`0.21.1`	2025-03-13 10:50:56 UTC
`0.21.0`	2024-11-27 13:10:51 UTC
`0.20.4` वापस लिया गया	2024-11-26 17:07:11 UTC
`0.20.3`	2024-11-05 17:30:25 UTC
`0.20.2`	2024-11-04 17:28:57 UTC
`0.20.1`	2024-10-10 09:56:28 UTC
`0.20.0`	2024-08-08 16:55:26 UTC
`0.19.1`	2024-04-17 21:36:02 UTC
`0.19.0`	2024-04-17 09:13:53 UTC
`0.15.2`	2024-02-12 02:24:30 UTC
`0.15.1`	2024-01-22 15:22:00 UTC
`0.15.0`	2023-11-14 19:03:50 UTC

72 संस्करणों में से सबसे नए 20 दिखाए जा रहे हैं। JSON

संस्करण संगतता

हर रनटाइम संस्करण के समर्थन की घोषणा करने वाला सबसे नया स्थिर संस्करण (हर संस्करण के साथ प्रकाशित आवश्यकताओं के अनुसार)।

रनटाइम	सबसे नया संगत संस्करण
`python 3.8`	`0.21.0`
`python 3.9`	`0.22.2`
`python 3.10`	`0.23.3`
`python 3.11`	`0.23.3`
`python 3.12`	`0.23.3`
`python 3.13`	`0.23.3`

अपने AI एजेंट को ये तथ्य दें

Vigia एक मुफ़्त MCP सर्वर है: आपका कोडिंग एजेंट कोड लिखने से पहले वर्ज़न, ब्रेकिंग बदलाव और कमज़ोरियाँ जाँचता है। न साइनअप, न API कुंजी।

claude mcp add --transport http vigia https://vigia.coredls.cloud/mcp

Cursor में जोड़ें VS Code में जोड़ें ★ GitHub पर स्टार दें

कोई भी दूसरा MCP क्लाइंट

{ "mcpServers": { "vigia": { "url": "https://vigia.coredls.cloud/mcp" } } }

एजेंट स्किल (SKILL.md): एजेंट को बताती है कि Vigia कब इस्तेमाल करना है · पुल रिक्वेस्ट के लिए GitHub Action

अक्सर पूछे जाने वाले प्रश्न

tokenizers का नवीनतम संस्करण कौन-सा है?

tokenizers का नवीनतम वर्ज़न कैसे इंस्टॉल करूँ?

pip install --upgrade tokenizers चलाएँ। नवीनतम स्थिर वर्ज़न 0.23.3 है (2026-11-13 को सत्यापित)।

क्या tokenizers डिप्रिकेटेड है?

नहीं। रजिस्ट्री में tokenizers को डिप्रिकेटेड चिह्नित नहीं किया गया है।

tokenizers को Python का कौन-सा संस्करण चाहिए?

tokenizers 0.23.3 यह आवश्यकता घोषित करता है: python >=3.10।

क्या tokenizers 0.23.3 में ज्ञात कमज़ोरियाँ हैं?

Vigia जिन आँकड़ों की जाँच करता है, उनके अनुसार tokenizers 0.23.3 को कोई ज्ञात सुरक्षा सूचना प्रभावित नहीं करती।

क्या tokenizers का अब भी रखरखाव हो रहा है?

tokenizers ने पिछले 12 महीनों में 4 स्थिर संस्करण प्रकाशित किए; सबसे नया 35 दिन पहले। गतिविधि: सक्रिय।

देखे गए बदलाव

Fri Oct 09 2026 10:03:21 GM +0000 (Coordinated Universal Time) — released 0.23.2 → 0.23.3

आपके README के लिए बैज

इस पैकेज का नवीनतम संस्करण, रखरखाव की स्थिति और डिप्रिकेशन स्थिति दिखाएँ। Markdown कॉपी करें:

[![version](https://vigia.coredls.cloud/badge/pypi/tokenizers/version.svg)](https://vigia.coredls.cloud/pypi/tokenizers)
[![maintained](https://vigia.coredls.cloud/badge/pypi/tokenizers/maintained.svg)](https://vigia.coredls.cloud/pypi/tokenizers)
[![status](https://vigia.coredls.cloud/badge/pypi/tokenizers/status.svg)](https://vigia.coredls.cloud/pypi/tokenizers)

एजेंटों के लिए

GET https://vigia.coredls.cloud/v1/packages/pypi/tokenizers
GET https://vigia.coredls.cloud/v1/packages/pypi/tokenizers/versions/{version}