Принцип регрессии в контексте статистики и машинного обучения относится к взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Его цель – предсказать или оценить значение зависимой переменной на основе значений независимых переменных. Вот несколько популярных методов регрессии и примеры кода:

1. Линейная регрессия:
   Линейная регрессия — это простой и широко используемый метод регрессии, который предполагает линейную связь между зависимой переменной и независимыми переменными. Вот пример на Python с использованием библиотеки scikit-learn:

   from sklearn.linear_model import LinearRegression
   # Create a linear regression model
   model = LinearRegression()
   # Fit the model to the data
   model.fit(X, y)
   # Predict the values
   y_pred = model.predict(X_new)

2. Полиномиальная регрессия.
   Полиномиальная регрессия расширяет линейную регрессию, добавляя в уравнение полиномиальные члены, что позволяет устанавливать более сложные связи между переменными. Вот пример на Python:

   from sklearn.preprocessing import PolynomialFeatures
   from sklearn.linear_model import LinearRegression
   from sklearn.pipeline import make_pipeline
   # Create a polynomial regression model
   model = make_pipeline(PolynomialFeatures(degree=2), LinearRegression())
   # Fit the model to the data
   model.fit(X, y)
   # Predict the values
   y_pred = model.predict(X_new)

3. Риджевая регрессия.
   Риджевая регрессия — это регуляризованная версия линейной регрессии, которая добавляет штрафной член к функции потерь, что помогает уменьшить переобучение. Вот пример на Python:

   from sklearn.linear_model import Ridge
   # Create a ridge regression model
   model = Ridge(alpha=0.5)
   # Fit the model to the data
   model.fit(X, y)
   # Predict the values
   y_pred = model.predict(X_new)

4. Лассо-регрессия.
   Лассо-регрессия — это еще один метод регуляризованной линейной регрессии, но в нем используется штрафной член нормы L1, что способствует разреженности решения. Вот пример на Python:

   from sklearn.linear_model import Lasso
   # Create a lasso regression model
   model = Lasso(alpha=0.5)
   # Fit the model to the data
   model.fit(X, y)
   # Predict the values
   y_pred = model.predict(X_new)

5. Регрессия дерева решений.
   Регрессия дерева решений строит регрессионную модель путем рекурсивного разделения данных на основе значений независимых переменных. Вот пример на Python:

   from sklearn.tree import DecisionTreeRegressor
   # Create a decision tree regression model
   model = DecisionTreeRegressor()
   # Fit the model to the data
   model.fit(X, y)
   # Predict the values
   y_pred = model.predict(X_new)

Это всего лишь несколько примеров методов регрессии. Существует множество других доступных методов, таких как регрессия опорных векторов (SVR), регрессия случайного леса и регрессия с повышением градиента и другие. Выбор метода зависит от конкретной проблемы и характера данных.