Полное руководство по конвейерам машинного обучения Azure: пошаговые методы с примерами кода

Azure Machine Learning Pipelines — это мощный инструмент для создания и развертывания рабочих процессов машинного обучения на платформе Azure. В этой статье мы рассмотрим различные методы и приемы создания и выполнения конвейеров с помощью Azure Machine Learning Studio. Мы рассмотрим пошаговые примеры с фрагментами кода, чтобы продемонстрировать реализацию каждого метода. Независимо от того, являетесь ли вы новичком или опытным специалистом по данным, это руководство предоставит вам прочную основу для эффективного использования конвейеров машинного обучения Azure.

Содержание:

  1. Введение в конвейеры машинного обучения Azure
  2. Основы конвейеров машинного обучения Azure
  3. Метод 1. Создание конвейера с помощью Azure ML SDK
  4. Метод 2. Создание конвейеров с помощью Azure Machine Learning Designer
  5. Метод 3. Создание конвейеров с помощью Azure DevOps
  6. Метод 4. Автоматизированные конвейеры машинного обучения с помощью машинного обучения Azure
  7. Метод 5. Конвейеры настройки гиперпараметров
  8. Метод 6: подготовка данных и конвейеры проектирования функций
  9. Метод 7. Конвейеры развертывания моделей
  10. Заключение

Метод 1. Создание конвейера с помощью Azure ML SDK:
Пример кода:

from azureml.core import Workspace, Experiment
from azureml.pipeline.steps import PythonScriptStep
# Load the workspace
workspace = Workspace.from_config()
# Create an experiment
experiment = Experiment(workspace, 'my-pipeline-experiment')
# Define a pipeline step
step1 = PythonScriptStep(name='Step 1',
                         script_name='step1.py',
                         compute_target='aml-compute',
                         source_directory='./scripts',
                         runconfig=run_config)
# Define a pipeline
pipeline = Pipeline(workspace, steps=[step1])
# Submit the pipeline run
pipeline_run = experiment.submit(pipeline)

Метод 2. Создание конвейеров с помощью Azure Machine Learning Designer:
Пример кода:

  1. Откройте Студию машинного обучения Azure и создайте новый конвейер.
  2. Перетащите нужные модули на холст.
  3. Подключите модули, чтобы определить поток данных и операций.
  4. Настройте свойства каждого модуля, такие как входные/выходные соединения, параметры и настройки.
  5. Сохраните и опубликуйте конвейер.

Метод 3. Создание конвейеров с помощью Azure DevOps:
Пример кода:

  1. Настройте проект и репозиторий Azure DevOps.
  2. Создайте файл YAML, определяющий этапы и этапы конвейера.
  3. Настройте триггеры конвейера, например триггеры ветвей или триггеры на основе расписания.
  4. Добавьте необходимые задачи, такие как задачи Azure CLI или Azure PowerShell, для выполнения шагов конвейера.
  5. Определите переменные конвейера, секреты и конфигурации среды.
  6. Зафиксируйте и отправьте файл YAML, чтобы запустить выполнение конвейера.

Метод 4. Автоматизированные конвейеры машинного обучения с помощью машинного обучения Azure:
Пример кода:

from azureml.core import Dataset
from azureml.pipeline.core import PublishedPipeline
from azureml.core.experiment import Experiment
# Load the dataset
dataset = Dataset.get_by_name(workspace, 'my-dataset')
# Create an experiment
experiment = Experiment(workspace, 'auto-ml-pipeline')
# Retrieve the published pipeline
pipeline = PublishedPipeline.get(workspace, 'pipeline-id')
# Submit the pipeline run with the dataset
pipeline_run = experiment.submit(pipeline, dataset=dataset)

Метод 5. Конвейеры настройки гиперпараметров:
Пример кода:

  1. Определите пространство поиска гиперпараметров с помощью Azure ML SDK.
  2. Укажите оценщик и метод выборки гиперпараметров.
  3. Настройте сценарий обучения и входные данные.
  4. Определите политику досрочного прекращения выполнения неэффективных запусков.
  5. Создайте конфигурацию гиперпривода с оценщиком, выборкой гиперпараметров и политикой досрочного завершения.
  6. Отправьте запуск гипердвигателя и следите за ходом выполнения.

Метод 6. Конвейеры подготовки данных и проектирования функций:
Пример кода:

  1. Используйте Azure ML SDK для загрузки и предварительной обработки входных данных.
  2. Применять различные методы преобразования данных, такие как масштабирование, кодирование и вменение.
  3. Использовать методы разработки функций, такие как выбор функций, уменьшение размерности и извлечение функций.
  4. Определите этапы предварительной обработки данных и разработки функций в рамках конвейера.
  5. Запустите конвейер и оцените преобразованные данные.

Метод 7. Конвейеры развертывания модели:
Пример кода:

  1. Обучение модели машинного обучения с помощью Azure ML SDK или AutoML.
  2. Зарегистрируйте обученную модель в рабочей области машинного обучения Azure.
  3. Определите конфигурацию развертывания, например целевой объект вычислений и сценарий оценки.
  4. Создайте этап конвейера для развертывания модели, включая регистрацию и развертывание модели.
  5. Выполните конвейер для развертывания модели как веб-службы.