Оптимизация и обратные задачи

Градиентный шаг x′=x−η∇F(x) идёт против локального роста. Для одной квадратичной функции L(w) = (2w − 1)²2 градиент 2(2w−1), а минимум w=0,5. Слишком большой шаг может увеличить ошибку. Для гладкой выпуклой F с L-липшицевым градиентом стандартный шаг 0 < η ≤ 1L даёт обычные гарантии убывания и сходимости значений при существующем минимуме; скорость зависит от дополнительных свойств.

Глубокая сеть обычно задаёт невыпуклую функцию. Убывание ошибки на обучающих данных не гарантирует глобальный минимум, перенос на новые данные или физическую достоверность восстановления. Эти вопросы оцениваются отдельно.

Модуль и TV негладки в нуле. Проксимальный шаг решает prox_ηR(v) = argminx(R(x) + ‖x − v‖²2η). Для собственного замкнутого выпуклого R и η>0 эта евклидова задача имеет единственный минимум. Проекция на непустое замкнутое выпуклое множество — частный случай; невыпуклое множество может иметь несколько ближайших точек.

Forward–backward splitting разделяет гладкий член и проксимальный. Условия на шаг, выпуклость и точность подзадачи относятся к конкретному алгоритму. Замена prox произвольным обученным денойзером — другая процедура, для которой прежняя гарантия автоматически не действует.

После восстановления вычисли A x̂ и сравни с y: это остаток измерения, не ошибка относительно неизвестного оригинала. Малый остаток может сочетаться с неправильным x̂, если A теряет информацию. Большая λ может предпочесть слишком гладкий результат; маленькая — подогнать шум.

Объективная функция, остаток, изменение между итерациями и критерий остановки показывают разные вещи. Малая разница двух шагов может означать и сходимость, и слишком маленький шаг. Всегда сохраняй параметры и число выполненных итераций рядом с результатом.