Понимание метода нормального уравнения для линейной регрессии в математике

Фраза «нормальная математика уравнений» представляет собой комбинацию терминов, связанных с линейной алгеброй и математикой. В математике термин «нормальное уравнение» обычно относится к системе уравнений, используемой для поиска решения методом наименьших квадратов переопределенной системы. Однако без дальнейшего контекста трудно определить точное значение или намерение фразы «нормальная математика уравнений».

Чтобы предоставить вам полезную информацию, я объясню метод нормальных уравнений для решения задач линейной регрессии, поскольку это обычное применение нормальных уравнений в математике.

В линейной регрессии нормальное уравнение используется для поиска оптимальных значений коэффициентов линейного уравнения, которое лучше всего соответствует заданному набору точек данных. Предположим, у вас есть набор точек данных (x₁, y₁), (x₂, y₂),…, (xₙ, yₙ), и вы хотите найти коэффициенты (θ₀, θ₁), которые минимизируют сумму квадратов ошибок между предсказанными значениями. значения и фактические значения. Обычное уравнение для этой задачи:

( X^T X ) θ = X^T y

Где:

  • X — это матрица дизайна, которая создается путем добавления столбца единиц к матрице признаков X (т. е. X = [1 x₁; 1 x₂; …; 1 xₙ]).
  • X^T обозначает транспонирование X.
  • y — вектор целевых значений (т. е. y = [y₁; y₂; …; yₙ]).
  • θ — вектор коэффициентов (т. е. θ = [θ₀; θ₁]).

Чтобы найти θ, вы можете умножить обе части уравнения на обратное число ( X^T X ) (при условии, что оно обратимо):

θ = ( X^T X )^(-1) X^T y

Это уравнение дает оптимальные значения θ, которые минимизируют сумму квадратов ошибок.