Векторизация подсчета слов — это фундаментальный метод обработки естественного языка и анализа текста. Он включает преобразование текстовых документов в числовые векторы признаков, где каждый признак представляет количество определенного слова в документе. В этой статье мы рассмотрим различные методы векторизации количества слов в Python, а также приведем примеры кода.

1. CountVectorizer из scikit-learn:
   Scikit-learn — это популярная библиотека машинного обучения на Python, которая предоставляет класс CountVectorizer для векторизации количества слов. Вот пример его использования:

from sklearn.feature_extraction.text import CountVectorizer
# Sample corpus
corpus = ['This is the first document.',
          'This document is the second document.',
          'And this is the third one.',
          'Is this the first document?']
# Create an instance of CountVectorizer
vectorizer = CountVectorizer()
# Fit and transform the corpus
X = vectorizer.fit_transform(corpus)
# Get the feature names
feature_names = vectorizer.get_feature_names()
# Print the feature names and the corresponding counts
for doc_index, doc in enumerate(X.toarray()):
    print(f"Document {doc_index+1}:")
    for feature_index, count in enumerate(doc):
        print(f"{feature_names[feature_index]}: {count}")
    print()

2. HashingVectorizer из scikit-learn:
   HashingVectorizer — это еще один метод векторизации, предоставляемый scikit-learn, который использует прием хеширования для преобразования слов в векторы признаков. Он эффективно использует память и полезен при работе с большими наборами данных. Вот пример:

from sklearn.feature_extraction.text import HashingVectorizer
# Sample corpus
corpus = ['This is the first document.',
          'This document is the second document.',
          'And this is the third one.',
          'Is this the first document?']
# Create an instance of HashingVectorizer
vectorizer = HashingVectorizer()
# Transform the corpus
X = vectorizer.transform(corpus)
# Print the feature names and the corresponding counts
for doc_index, doc in enumerate(X.toarray()):
    print(f"Document {doc_index+1}:")
    for feature_index, count in enumerate(doc):
        print(f"Feature {feature_index}: {count}")
    print()

3. TfidfVectorizer из scikit-learn:
   TfidfVectorizer сочетает в себе векторизацию подсчета слов с взвешиванием частоты терминов, обратного частоте документов (TF-IDF). Он присваивает более высокий вес словам, которые более информативны во всем корпусе. Вот пример:

from sklearn.feature_extraction.text import TfidfVectorizer
# Sample corpus
corpus = ['This is the first document.',
          'This document is the second document.',
          'And this is the third one.',
          'Is this the first document?']
# Create an instance of TfidfVectorizer
vectorizer = TfidfVectorizer()
# Fit and transform the corpus
X = vectorizer.fit_transform(corpus)
# Get the feature names
feature_names = vectorizer.get_feature_names()
# Print the feature names and the corresponding TF-IDF scores
for doc_index, doc in enumerate(X.toarray()):
    print(f"Document {doc_index+1}:")
    for feature_index, score in enumerate(doc):
        print(f"{feature_names[feature_index]}: {score}")
    print()

Векторизация подсчета слов — решающий шаг во многих задачах обработки естественного языка. В этой статье мы рассмотрели три популярных метода векторизации количества слов в Python: CountVectorizer, HashingVectorizer и TfidfVectorizer. В зависимости от вашего конкретного варианта использования и размера набора данных вы можете выбрать наиболее подходящий метод. Эти методы обеспечивают прочную основу для анализа текста, извлечения признаков и задач машинного обучения, связанных с текстовыми данными.

Используя эти методы векторизации подсчета слов в Python, вы можете эффективно преобразовывать текстовые документы в числовые представления и раскрыть возможности алгоритмов машинного обучения для анализа текста.