В контексте машинного обучения и нейронных сетей «итерации» и «эпохи» связаны, но не совсем совпадают.
Итерации — это количество раз, когда модель обновляет свои параметры на основе обучающих данных. На каждой итерации модель обрабатывает пакет обучающих примеров и корректирует свои параметры, чтобы минимизировать потери при обучении. Таким образом, одна итерация обычно включает в себя один прямой и один обратный проход по сети.
С другой стороны, эпоха представляет собой полный проход через весь набор обучающих данных. Другими словами, это количество раз, когда модель просмотрела и обработала все обучающие примеры. В течение каждой эпохи происходит несколько итераций, и модель обновляет свои параметры на основе накопленных градиентов от итераций.
Подводя итог:
- Итерация: один шаг обновления параметров модели на основе серии обучающих примеров.
- Эпоха: один полный проход по всему набору обучающих данных, состоящий из нескольких итераций.
Теперь давайте перейдем к предоставлению различных методов для ответа на ваш второй вопрос. Вот несколько методов, обычно используемых в машинном обучении и нейронных сетях:
- Градиентный спуск
- Стохастический градиентный спуск (SGD)
- Мини-пакетный градиентный спуск
- Оптимизация Адама
- RMSprop
- Адаград
- Ададельта
- Л-БФГС
- Сопряженный градиент
- Левенберг-Марквардт