Токены — невоспетые герои мира программирования. Эти небольшие, но мощные блоки кода содержат ключ к открытию мира возможностей. В этой статье блога мы погрузимся в чудесное царство токенов и рассмотрим различные методы использования их силы. Так что пристегнитесь и будьте готовы усовершенствовать свой код!

1. Токенизация 101: Разделение строк
   Одним из распространенных способов использования токенов является разделение строк на более мелкие, управляемые части. Допустим, у вас есть предложение: «Привет, как дела?» В Python вы можете токенизировать это предложение, используя метод split():

sentence = "Hello, how are you?"
tokens = sentence.split()
print(tokens)

Выход: ['Hello,', 'how', 'are', 'you?']

2. Токенизация текста с помощью NLTK
   Если вы работаете с обработкой естественного языка (NLP), набор инструментов для естественного языка (NLTK) станет мощной библиотекой. Он предоставляет различные токенизаторы для разных типов текста, такие как токенизация слов, токенизация предложений и т. д. Вот пример токенизации слов с использованием NLTK в Python:

import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize
sentence = "NLTK is amazing!"
tokens = word_tokenize(sentence)
print(tokens)

Выход: ['NLTK', 'is', 'amazing', '!']

3. Токенизация кода с помощью регулярных выражений
   В программировании мы часто сталкиваемся с необходимостью токенизировать код на отдельные компоненты, такие как ключевые слова, операторы и идентификаторы. Регулярные выражения (regex) могут быть удобным инструментом для этой задачи. Вот пример использования модуля Python re:

import re
code = "x = 42 + y"
tokens = re.findall(r'\w+|[^\w\s]', code)
print(tokens)

Выход: ['x', '=', '42', '+', 'y']

4. Аутентификация на основе токенов
   Токены обычно используются для безопасной аутентификации в веб-приложениях. С помощью таких платформ, как JSON Web Tokens (JWT), вы можете создавать и проверять токены для аутентификации пользователей. Вот упрощенный пример в Node.js с использованием библиотеки jsonwebtoken:

const jwt = require('jsonwebtoken');
const payload = { user_id: 123 };
const secretKey = 'your_secret_key';
const token = jwt.sign(payload, secretKey);
console.log(token);
const decoded = jwt.verify(token, secretKey);
console.log(decoded);

Выход:
Токен: eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...
Раскодировано: { user_id: 123, iat: 1641993600 }

5. Ограничение скорости на основе токенов
   Токены также можно использовать для запросов API ограничения скорости. Назначая токены с заранее определенным сроком действия, вы можете контролировать и ограничивать количество запросов, которые пользователь может сделать в течение определенного периода времени. Вот пример Python с использованием библиотеки ratelimit:

from ratelimit import limits, sleep_and_retry
@sleep_and_retry
@limits(calls=10, period=60)
def make_api_request():
    # API request code here
    pass
make_api_request()