Облака слов – это популярный метод визуализации, используемый для представления текстовых данных, где размер каждого слова соответствует его частоте или важности. В то время как традиционные облака слов отображают слова в зависимости от их частоты, взвешенные облака слов идут еще дальше, присваивая словам веса, обеспечивая более детальное представление. В этой статье мы рассмотрим различные методы создания взвешенных облаков слов и предоставим примеры кода для демонстрации каждого подхода.

Метод 1: Взвешенные облака слов с использованием TF-IDF
TF-IDF (частота термина, обратная частоте документа) — широко используемый метод обработки естественного языка. Он измеряет важность слова в документе, учитывая его частоту в документе и обратно масштабируя ее по частоте слова во всех документах. Вот пример того, как создать взвешенное облако слов с помощью TF-IDF:

from sklearn.feature_extraction.text import TfidfVectorizer
from wordcloud import WordCloud
import matplotlib.pyplot as plt
# Example data
documents = [
    "This is a sample document.",
    "Another document for testing purposes.",
    "Yet another document for demonstration."
]
# Create TF-IDF vectorizer
vectorizer = TfidfVectorizer()
# Compute TF-IDF weights
tfidf_matrix = vectorizer.fit_transform(documents)
# Extract feature names (words)
feature_names = vectorizer.get_feature_names()
# Create a dictionary with word weights
word_weights = dict(zip(feature_names, vectorizer.idf_))
# Generate word cloud with weights
wordcloud = WordCloud(width=800, height=400).generate_from_frequencies(word_weights)
# Display the word cloud
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

Метод 2: взвешенные облака слов с использованием специальных весов.
В некоторых случаях вам может потребоваться присвоить словам собственный вес в соответствии с вашими конкретными требованиями. Вот пример того, как создать облако взвешенных слов с использованием пользовательских весов:

from wordcloud import WordCloud
import matplotlib.pyplot as plt
# Example data
word_weights = {
    "apple": 0.8,
    "banana": 0.5,
    "orange": 0.6,
    "grape": 0.3,
    "mango": 0.7
}
# Generate word cloud with custom weights
wordcloud = WordCloud(width=800, height=400).generate_from_frequencies(word_weights)
# Display the word cloud
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

Метод 3: Взвешенные облака слов с использованием встраивания слов.
Внедрение слов фиксирует семантические отношения между словами и может использоваться для создания взвешенных облаков слов. Вот пример использования предварительно обученных встраиваний слов из библиотеки spaCy:

import spacy
from wordcloud import WordCloud
import matplotlib.pyplot as plt
# Load pre-trained word embeddings
nlp = spacy.load("en_core_web_md")
# Example data
text = "This is a sample document. Another document for testing purposes."
# Calculate word embeddings and weights
word_weights = {}
doc = nlp(text)
for token in doc:
    word_weights[token.text] = token.vector_norm
# Generate word cloud with word embeddings as weights
wordcloud = WordCloud(width=800, height=400).generate_from_frequencies(word_weights)
# Display the word cloud
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

Взвешенные облака слов обеспечивают более детальную визуализацию текстовых данных, позволяя выделить важные слова. В этой статье мы рассмотрели три метода создания взвешенных облаков слов: использование TF-IDF, пользовательских весов и встраивания слов. Каждый метод предлагает различные преимущества в зависимости от конкретных требований вашего анализа. Используя эти методы, вы можете извлекать ценную информацию из текстовых данных и эффективно передавать ее с помощью визуально привлекательных облаков слов.