Вот функция для выполнения парных оценок начальной загрузки параметров линейной регрессии:

import numpy as np
from sklearn.utils import resample
from sklearn.linear_model import LinearRegression
def pairs_bootstrap_linear_regression(X, y, n_iterations):
    n_samples = X.shape[0]
    n_features = X.shape[1]
    coefs = np.zeros((n_iterations, n_features))
    for i in range(n_iterations):
        X_resampled, y_resampled = resample(X, y)
        model = LinearRegression()
        model.fit(X_resampled, y_resampled)
        coefs[i] = model.coef_
    return coefs

Эта функция принимает в качестве входных данных матрицу функций Xи целевую переменную y, а также количество итераций начальной загрузки n_iterations. Он выполняет повторную выборку парной начальной загрузки, при которой и матрица признаков, и целевая переменная пересчитываются вместе. Для каждого набора данных, подвергшегося повторной выборке, подбирается модель линейной регрессии и сохраняются коэффициенты. Функция возвращает массив coefs, содержащий расчетные коэффициенты для каждой итерации начальной загрузки.

Что касается дополнительных методов, вот несколько часто используемых методов оценки параметров линейной регрессии:

1. Обычный метод наименьших квадратов (OLS): это наиболее распространенный метод оценки параметров линейной регрессии, при котором коэффициенты получаются путем минимизации суммы квадратов остатков.

2. Риджевая регрессия. Этот метод добавляет штрафной член к целевой функции МНК для устранения мультиколлинеарности и повышения стабильности модели.

3. Лассо-регрессия. Подобно гребневой регрессии, лассо-регрессия также добавляет штрафной член, но вместо нормы L2 используется норма L1. Лассо может выполнять выбор переменных, уменьшая некоторые коэффициенты до нуля.

4. Эластичная чистая регрессия. Эластичная сеть сочетает в себе недостатки гребневой и лассо-регрессии, позволяя как выбирать переменные, так и обрабатывать мультиколлинеарность.

5. Байесовская линейная регрессия. Этот подход включает в себя предварительные знания о коэффициентах регрессии в процессе оценки, что приводит к апостериорным распределениям коэффициентов.