У темі про лінійну регресію є формула, яка одразу дає найкращі w і b. Навіщо тоді взагалі потрібен градієнтний спуск?
Чому так. Замкнена формула — це виняток, доступний квадратичній втраті лінійної регресії. Уже логістична регресія такої формули не має, а в нейромережах параметрів мільйони і обернення матриці неможливе. Спуск же точніший не буває: на опуклій задачі він у найкращому разі приходить рівно туди, куди веде формула, і не далі.
Питання 2 / 8
Похідну втрати по w порахували двома способами: чисельно (зсунули w на 0.001 і поділили зміну втрати на 0.001) — вийшло −12.3908; за формулою — вийшло −12.4000. Про що каже ця розбіжність?
Чому так. Чисельна оцінка бере дві точки на відстані 0.001 і рахує нахил прямої між ними — це січна, а не дотична. Що менший крок, то ближче січна до дотичної: при кроці 1e-6 збіг буде вже в шостому знаку. Формула дає точний нахил у самій точці, тож розходження в третьому знаку — ознака здорового чисельного методу, а не помилки.
Питання 3 / 8
У правилі оновлення w ← w − η · ∂L/∂w стоїть мінус. Що станеться, якщо його прибрати?
Чому так. Похідна вказує напрямок найшвидшого ЗРОСТАННЯ втрати. Мінус розвертає крок у протилежний бік — до зменшення. Без мінуса вийде градієнтний підйом: втрата зростатиме з кожною ітерацією, аж поки числа не переповняться.
Питання 4 / 8
Швидкість навчання збільшили з 0.05 до 0.09. Що буде з кількістю ітерацій до збіжності?
Чому так. Залежність не монотонна. Спершу більший крок справді пришвидшує, але після значення 1/c (де c — кривина чаші) крок починає перелітати мінімум, і збіжність гіршає, хоч формально ще існує. У прикладі з лекції η = 0.05 доходить до дна за три кроки, а η = 0.091 — аж за два десятки. Після межі 2/c спуск розлітається зовсім.
Питання 5 / 8
Функція втрат лінійної регресії опукла — має форму чаші з єдиним дном. Чи означає це, що градієнтний спуск завжди знаходить глобальний мінімум?
Чому так. Гарантію дає форма ландшафту, а не алгоритм. На опуклій чаші локальний мінімум один і він же глобальний, тож старт не має значення. Щойно втрата перестає бути опуклою — а це вже випадок нейромереж — спуск гарантує лише те, що не піде вгору.
Питання 6 / 8
Стохастичний градієнтний спуск рахує градієнт по одному випадковому прикладу замість усіх 700. У чому саме його перевага?
Чому так. Крок SGD за якістю ГІРШИЙ: напрямок по одному прикладу може вказувати геть убік. Виграш суто в ціні — 700 дешевих кроків замість одного дорогого. Похідні він рахує так само, а мінімум знаходить той самий, тільки з тремтінням навколо нього.
Питання 7 / 8
У практиці за однаковий бюджет у 5 епох партія по 8 прикладів дала втрату 7.28, а партія по 1 — 8.95, хоч кроків зробила у вісім разів більше. Як це пояснити?
Чому так. Кількість кроків — не єдине, що важить. Що менша партія, то більший шум в оцінці градієнта, і біля мінімуму цей шум не дає точці зупинитись: вона гуляє в області навколо дна. Тому оптимальна партія не найменша, а така, де виграш від кількості кроків ще перекриває шкоду від шуму. Лікують це збільшенням партії під кінець або зменшенням швидкості навчання за розкладом.
Питання 8 / 8
Метод моменту зберігає накопичену швидкість: v ← β·v + градієнт, а крок робиться проти v, а не проти градієнта. Що це дає у витягнутій долині?
Чому так. Момент — це просто ковзна сума градієнтів. Складові, що чергують знак (поперечні коливання), у сумі гасяться; складові одного знака (рух уздовж дна долини) складаються й виростають приблизно в 1/(1−β) разів. Сам градієнт момент не зменшує й опуклості нічому не додає — він лише по-різному зважує стабільні й хаотичні напрямки.