При работе с моделями машинного обучения оценка их точности имеет решающее значение для оценки их эффективности и принятия обоснованных решений. В этой статье мы рассмотрим различные методы оценки точности модели и предоставим примеры кода для каждого подхода. К концу вы получите полное представление о различных методах оценки и их реализации.

1. Показатель точности:
   Функция «accuracy_score» – популярный метод оценки моделей классификации. Он сравнивает предсказанные метки с истинными метками и возвращает точность, которая представляет собой долю правильно классифицированных экземпляров.

from sklearn.metrics import accuracy_score
y_true = [1, 0, 1, 0, 1]
y_pred = [1, 1, 0, 0, 1]
accuracy = accuracy_score(y_true, y_pred)
print(f"Accuracy: {accuracy}")

2. Матрица путаницы.
   Матрица путаницы обеспечивает более подробную оценку моделей классификации, показывая количество истинно положительных, истинно отрицательных, ложноположительных и ложноотрицательных прогнозов.

from sklearn.metrics import confusion_matrix
y_true = [1, 0, 1, 0, 1]
y_pred = [1, 1, 0, 0, 1]
cm = confusion_matrix(y_true, y_pred)
print(f"Confusion Matrix:\n{cm}")

3. Точность, полнота и оценка F1.
   Точность, полнота и оценка F1 — это показатели производительности, обычно используемые в задачах классификации. Они дают представление о способности модели правильно идентифицировать положительные примеры (точность), фиксировать все положительные случаи (напоминание) и сбалансировать их (оценка F1).

from sklearn.metrics import classification_report
y_true = [1, 0, 1, 0, 1]
y_pred = [1, 1, 0, 0, 1]
report = classification_report(y_true, y_pred)
print(f"Classification Report:\n{report}")

<ол старт="4">

Среднеквадратическая ошибка (MSE):
MSE — это популярный показатель оценки регрессионных моделей. Он измеряет среднеквадратичную разницу между прогнозируемыми и истинными значениями, определяя, насколько хорошо модель соответствует данным.

from sklearn.metrics import mean_squared_error
y_true = [1.2, 2.5, 3.8, 4.9, 5.3]
y_pred = [1.0, 2.0, 3.5, 5.0, 5.1]
mse = mean_squared_error(y_true, y_pred)
print(f"Mean Squared Error: {mse}")

5. Оценка R-квадрата.
   R-квадрат, также известный как коэффициент детерминации, является еще одним распространенным показателем оценки регрессионных моделей. Он количественно определяет долю дисперсии зависимой переменной, которую можно предсказать на основе независимых переменных.

from sklearn.metrics import r2_score
y_true = [1.2, 2.5, 3.8, 4.9, 5.3]
y_pred = [1.0, 2.0, 3.5, 5.0, 5.1]
r2 = r2_score(y_true, y_pred)
print(f"R-squared Score: {r2}")

В этой статье мы рассмотрели несколько методов оценки точности модели в машинном обучении. Используя такие методы, как показатель точности, матрица путаницы, точность, полнота, показатель F1, среднеквадратическая ошибка и показатель R-квадрат, мы можем получить ценную информацию о производительности наших моделей. Не забудьте выбрать соответствующий показатель оценки в зависимости от конкретной проблемы и типа модели, с которой вы работаете, чтобы принимать обоснованные решения.