РЕАЛИЗАЦИЯ И СРАВНЕНИЕ МЕТОДОВ ГРАДИЕНТНОГО СПУСКА И НЬЮТОНА НА PYTHON
Ключевые слова:
многомерная оптимизация, метод градиентного спуска на основе импульса, метод Ньютона, минимизация, среднеквадратическая ошибка, PythonАннотация
В работе рассмотрены численные методы многомерной оптимизации: градиентный спуск на основе импульса и метод Ньютона. Описаны достоинства, недостатки, а также особенности данных методов и сферы их применения. Приведены алгоритмы методов градиентного спуска и Ньютона, описаны ограничения на условия их применимости. Выполнена программная реализация методов отображения графика функции и движения точки промежуточного минимума по данному графику. Произведено сравнение рассматриваемых методов на примере нахождения минимума непрерывной функции нескольких переменных, а также в задаче минимизации среднеквадратической ошибки в контролируемой классификации.
Библиографические ссылки
Калиткин Н.Н., Альшина Е.А. Численные методы: численный анализ. – Москва: Академия. – 2013. – С. 304.
Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / пер. с анг. А. А. Слинкина. – 2-е изд., испр. – Москва: ДМК Пресс, – 2018. – С. 652.
Седых И. А. Модели окрестностей холодной прокатки с нечеткой иерархической структурой // Журнал химической технологии и металлургии. – 2020. – Vol. 55. No 3. – P. 676-680.
Гасников А. В. Современные численные методы оптимизации: метод универсального градиентного спуска. Москва: МФТИ, – 2018. – С. 286.
Большая российская энциклопедия [Электронный ресурс] / Главный редактор: Кравец С. Л. Москва: БРЭ 2005–2022. URL: https://bigenc.ru/physics/text/2696871. (дата обращения: 10.07.22)
Захарченков К. В., Мрочек Т. В. Методы оптимизации: учебно-методическое издание. Могилев: Государственное учреждение высшего профессионального образования «Белорусско-Российский университет», – 2018. – С. 44.
Уэс Маккинни Python для анализа данных. Северное шоссе Гравенштейн, Севастополь: O'Reilly Media, – 2013. – С. 470.
Абдрахманов М.И. Devpractice Team. Библиотека Matplotlib. devpractice.ru, – 2019. – С. 100.
Кашьяп Р.Л., Рао А.Р. Построение динамических стохастических моделей по экспериментальным данным. Москва: Наука, – 1983. – С. 384.
Седых И.А. Идентификация линейных динамических окрестностных моделей с нечеткой иерархической структурой // Вестник Воронежского государственного технического университета. Том 15, №4, – 2019. – С. 7-13.
Scikit-learn Машинное обучение на Python [Электронный ресурс] INRIA 2011–2022. URL: https://scikit-learn.org/stable/. (дата обращения: 22.05.22)
GitHub [Электронный ресурс] Microsoft 2008–2022. URL: https://github.com/MR-Geri/gradient_descent/. (дата обращения: 19.07.22)
