В мире машинного обучения и конвейеров данных пользовательские преобразователи играют решающую роль в предварительной обработке и преобразовании данных. Они позволяют нам выполнять сложные операции и применять логику, специфичную для предметной области, в наших конвейерах. Часто возникает одна распространенная задача — необходимость сохранять переменные между разными этапами конвейера. В этой статье мы рассмотрим несколько способов добиться этого и предоставим вам полный контроль над потоком данных. Итак, давайте углубимся и узнаем, как легко сохранять переменные в конвейер!

Метод 1: использование атрибутов класса
Один простой способ сохранить переменные в пользовательском преобразователе — использовать атрибуты класса. Атрибуты класса являются общими для всех экземпляров класса, что делает их отличным выбором для сохранения переменных на разных этапах конвейера. Вот пример:

class MyTransformer:
    shared_variable = None

    def fit(self, X, y=None):
        # Compute or process shared_variable based on X and y
        self.shared_variable = some_computation(X, y)

    def transform(self, X):
        # Use the shared_variable in the transformation process
        return apply_transformation(X, self.shared_variable)

Метод 2: использование переменных экземпляра
Если вам нужно сохранить переменные, специфичные для каждого экземпляра преобразователя, вы можете использовать переменные экземпляра. Переменные экземпляра уникальны для каждого объекта и доступны через методы преобразователя. Вот пример:

class MyTransformer:
    def __init__(self):
        self.instance_variable = None

    def fit(self, X, y=None):
        # Compute or process instance_variable based on X and y
        self.instance_variable = some_computation(X, y)

    def transform(self, X):
        # Use the instance_variable in the transformation process
        return apply_transformation(X, self.instance_variable)

Метод 3: использование внешнего хранилища
Иногда вам может потребоваться сохранить переменные вне самого преобразователя, особенно если переменная велика или должна сохраняться после окончания срока службы конвейера. В таких случаях вы можете использовать внешние варианты хранения, такие как базы данных, файлы или хранилища «ключ-значение». Вот пример использования файлового подхода:

import pickle
class MyTransformer:
    def fit(self, X, y=None):
        # Compute or process variable based on X and y
        variable = some_computation(X, y)

        # Save the variable to a file
        with open('variable.pkl', 'wb') as f:
            pickle.dump(variable, f)

    def transform(self, X):
        # Load the variable from the file
        with open('variable.pkl', 'rb') as f:
            variable = pickle.load(f)

        # Use the variable in the transformation process
        return apply_transformation(X, variable)

В этой статье мы рассмотрели несколько методов сохранения переменных в конвейере в пользовательских преобразователях. Независимо от того, используете ли вы атрибуты класса, переменные экземпляра или параметры внешнего хранилища, теперь у вас есть инструменты для сохранения переменных и доступа к ним на разных этапах потока данных. Используя возможности этих методов, вы можете повысить гибкость и эффективность своих конвейеров машинного обучения. Так что вперед, экспериментируйте и раскрывайте весь потенциал нестандартных трансформеров в своих проектах!