В области машинного обучения и науки о данных оценка эффективности прогнозных моделей имеет решающее значение. Одним из популярных показателей, используемых для оценки точности модели, является среднеквадратическая ошибка (RMSE). При работе с перекрестной проверкой, которая помогает оценить способность модели к обобщению, становится важным вычислить значение RMSE на основе перекрестной проверки. В этой статье мы рассмотрим различные методы расчета значения RMSE на примерах кода на Python.

Понимание RMSE:
RMSE измеряет среднее отклонение прогнозируемых значений от фактических значений в наборе данных. Он обеспечивает количественную оценку того, насколько хорошо модель соответствует наблюдаемым данным. Чем ниже значение RMSE, тем выше производительность модели.

Методы расчета RMSE на основе перекрестной проверки:

1. Расчет вручную:

   • Импортируйте необходимые библиотеки: numpy и sklearn.
   • Разделите набор данных на k частей, используя метод перекрестной проверки (например, K-кратную перекрестную проверку).
   • Для каждой складки:
     • Обучите модель оставшимся k-1 сгибам.
     • Прогнозируйте целевую переменную для удерживаемой складки.
     • Рассчитать квадрат разницы между прогнозируемыми и фактическими значениями.
   • Вычислите среднее значение квадратов различий по всем сгибам.
   • Извлеките квадратный корень из среднеквадратических разностей, чтобы получить значение RMSE.

   Пример фрагмента кода:

   import numpy as np
   from sklearn.model_selection import KFold
   from sklearn.metrics import mean_squared_error
   # Perform K-fold cross-validation
   kf = KFold(n_splits=k)
   rmse_scores = []
   for train_index, test_index in kf.split(X):
      X_train, X_test = X[train_index], X[test_index]
      y_train, y_test = y[train_index], y[test_index]
      # Train your model
      model.fit(X_train, y_train)
      # Make predictions
      y_pred = model.predict(X_test)
      # Calculate the squared differences
      mse = mean_squared_error(y_test, y_pred)
      # Compute the RMSE value
      rmse = np.sqrt(mse)
      rmse_scores.append(rmse)
   # Compute the average RMSE value from all folds
   avg_rmse = np.mean(rmse_scores)

2. Использование системы перекрестной проверки Scikit-learn:

   • Импортируйте необходимые библиотеки: sklearn.
   • Используйте функцию cross_val_scoreиз sklearn.model_selectionс желаемым показателем оценки, установленным на «neg_root_mean_squared_error».
   • Функция автоматически выполняет перекрестную проверку и возвращает отрицательное значение RMSE.

   Пример фрагмента кода:

   from sklearn.model_selection import cross_val_score
   # Perform cross-validation and compute RMSE
   rmse_scores = cross_val_score(model, X, y, cv=k, scoring='neg_root_mean_squared_error')
   # Convert the scores to positive values
   rmse_scores = np.abs(rmse_scores)
   # Compute the average RMSE value from all folds
   avg_rmse = np.mean(rmse_scores)

3. Использование специального средства оценки Scikit-learn:

   • Импортируйте необходимые библиотеки: sklearn.
   • Определите пользовательскую функцию оценки, которая вычисляет значение RMSE.
   • Используйте функцию make_scorerиз sklearn.metrics, чтобы создать объект счетчика.
   • Передайте объект показателя в функцию cross_val_scoreдля выполнения перекрестной проверки.

   Пример фрагмента кода:

   from sklearn.metrics import make_scorer
   from sklearn.model_selection import cross_val_score
   # Define a custom scorer function for RMSE
   def rmse_scorer(y_true, y_pred):
      mse = mean_squared_error(y_true, y_pred)
      rmse = np.sqrt(mse)
      return rmse
   # Create a scorer object
   rmse_scorer_obj = make_scorer(rmse_scorer, greater_is_better=False)
   # Perform cross-validation with the custom scorer
   rmse_scores = cross_val_score(model, X, y, cv=k, scoring=rmse_scorer_obj)
   # Convert the scores to positive values
   rmse_scores = np.abs(rmse_scores)
   # Compute the average RMSE value from all folds
   avg_rmse = np.mean(rmse_scores)

В этой статье мы рассмотрели различные методы расчета значения RMSE на основе перекрестной проверки. Мы обсудили расчет вручную, использование оценки перекрестной проверки Scikit-learn и создание собственной системы оценки. Измеряя значение RMSE, мы можем эффективно оценивать производительность наших моделей машинного обучения и принимать обоснованные решения. Не забудьте выбрать метод, который лучше всего соответствует вашим потребностям и набору данных. Удачного моделирования!