Ярлыки играют решающую роль в области машинного обучения, позволяя моделям понимать закономерности и делать точные прогнозы. В этой статье мы углубимся в различные методы маркировки данных, предоставив примеры кода для иллюстрации каждого подхода. Независимо от того, являетесь ли вы новичком или опытным практиком, это руководство расширит ваше понимание методов маркировки данных.
- Маркировка вручную.
При маркировке вручную эксперты аннотируют данные, присваивая метки каждой точке данных. Этот подход требует много времени, но обеспечивает высокое качество этикеток. Давайте рассмотрим пример маркировки вручную с использованием Python:
data = [
{"text": "I loved the movie!", "label": "positive"},
{"text": "The product arrived damaged.", "label": "negative"},
{"text": "The weather is perfect today.", "label": "positive"},
...
]- Маркировка на основе правил.
Маркировка на основе правил предполагает определение конкретных правил или шаблонов для автоматического назначения меток. Этот метод может быть полезен при работе со структурированными или полуструктурированными данными. Вот пример маркировки на основе правил с использованием регулярных выражений в Python:
import re
def label_data(text):
if re.search(r"\b(urgent|important)\b", text, flags=re.IGNORECASE):
return "high_priority"
elif re.search(r"\b(normal|ordinary)\b", text, flags=re.IGNORECASE):
return "low_priority"
else:
return "unknown"
data = [
{"text": "This is an urgent matter.", "label": label_data("This is an urgent matter.")},
{"text": "Just a normal update.", "label": label_data("Just a normal update.")},
...
]- Активное обучение.
Активное обучение сочетает в себе ручную и автоматическую маркировку. Первоначально небольшой набор точек данных помечается вручную, а затем на этих помеченных данных обучается модель. Затем модель используется для прогнозирования меток для оставшихся немаркированных точек данных, а эксперты проверяют и корректируют прогнозы модели. Этот итерационный процесс помогает улучшить производительность модели. Вот пример активного обучения с использованием Python:
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
# Load dataset
data = fetch_openml("iris", version=1, as_frame=True)
# Split into labeled and unlabeled data
labeled_data, unlabeled_data = train_test_split(data.frame, test_size=0.8)
# Train initial model on labeled data
model = LogisticRegression()
model.fit(labeled_data.drop("target", axis=1), labeled_data["target"])
# Predict labels for unlabeled data
unlabeled_data["predicted_label"] = model.predict(unlabeled_data.drop("target", axis=1))
# Review and correct model's predictions
# ...- Трансферное обучение.
Трансферное обучение предполагает использование уже существующих помеченных наборов данных или моделей, обученных для решения аналогичных задач. Вместо разметки данных с нуля вы можете воспользоваться существующими знаниями. Например, вы можете точно настроить предварительно обученную языковую модель для конкретного домена, предоставив помеченные примеры. Вот пример использования библиотеки Hugging Face Transformers в Python:
from transformers import pipeline
# Load pre-trained sentiment analysis model
model = pipeline("sentiment-analysis")
# Label example texts
data = [
{"text": "I loved the movie!"},
{"text": "The product arrived damaged."},
{"text": "The weather is perfect today."},
...
]
# Get model predictions
for example in data:
example["label"] = model(example["text"])[0]["label"]Разметка данных — важнейший этап в машинном обучении, позволяющий моделям обучаться и делать точные прогнозы. В этой статье мы рассмотрели различные методы маркировки данных, включая маркировку вручную, маркировку на основе правил, активное обучение и трансферное обучение. У каждого метода есть свои сильные и слабые стороны, и выбор зависит от конкретного варианта использования и имеющихся ресурсов. Понимая и применяя эти методы маркировки, вы можете повысить производительность и эффективность своих моделей машинного обучения.