Поверхня втрат — витягнута чаша: кривизна вздовж одного напрямку 0.05, вздовж іншого 20. Що саме обмежує довжину кроку простого спуску?
Чому так. Межа стійкості для квадратичної чаші — η < 2/c, і вирішує найбільша кривизна: 2/20 = 0.10. Пологий напрямок нічого не обмежує, він лише страждає від того, що дозволений крок виявився крихітним для нього. У лекції з кроком 0.096 точка перелітає яр упоперек з +1.00 у −0.92, а вздовж просувається на 0.0192.
Питання 2 / 8
На ярі з лекції простий спуск доходить до цілі за 623 кроки, а момент із β = 0.9 — за 44. Що найточніше описує причину?
Чому так. Момент нічого не знає про напрямки — він просто складає числа. Але коли знак градієнта сталий, доданки складаються (у таблиці лекції швидкість уздовж росте 0.20 → 0.38 → … → 1.08), а коли міняється щокроку — гасять один одного (упоперек швидкість жодного разу не перевищила сам градієнт). «Просто більша швидкість навчання» — хибна відповідь: більша швидкість навчання подовжила б і поперечні стрибки й вибухнула б, а момент подовжує рівно те, що стабільне.
Питання 3 / 8
AdaGrad на ярі з лекції витратив 1171 крок — більше, ніж простий спуск із його 623. Чому так виходить?
Чому так. Доданки в сумі квадратів невідʼємні, віднімати нема чому — знаменник √s тільки росте, а крок тільки коротшає. На старті AdaGrad чудовий: він одразу вирівнює стократну різницю градієнтів і зсуває обидві координати рівно на η. Але через тисячу кроків він майже стоїть. RMSProp лікує це одним множником (1−ρ), перетворюючи суму на ковзне середнє, — і проходить той самий яр за 48 кроків.
Питання 4 / 8
Adam без корекції зміщення при стандартних β₁ = 0.9 і β₂ = 0.999 — що станеться на перших десятках ітерацій?
Чому так. Занижені обидва середні, але по-різному. Фактична довжина кроку дорівнює η·(1−β₁ᵗ)/√(1−β₂ᵗ): чисельник добирає своє за десяток ітерацій, знаменник — за тисячу. На 10-й ітерації відношення досягає 6.53. Версія «кроки надто малі» трапляється часто, але при стандартній парі коефіцієнтів усе навпаки: у практиці теми при η = 0.5 пропущена корекція дає втрату 1.7594 після першої епохи проти 0.3417 з корекцією.
Питання 5 / 8
Точка стоїть майже на гребені сідла: градієнт у напрямку виходу дорівнює 0.0024. Простому спуску потрібно 485 кроків, щоб зійти, RMSProp — 5. Звідки різниця в сто разів?
Чому так. У дробі g/√s обидві частини пропорційні розміру градієнта, тож він виходить порядку одиниці незалежно від того, крихітний градієнт чи величезний. Простий спуск множить 0.0024 на η і зсувається на 0.000192 — за перші шістдесят кроків він піднімає w₂ з 0.0200 лише до 0.0355. Ніякого шуму й ніяких других похідних адаптивні методи не рахують.
Питання 6 / 8
Твердження «Adam — розумне замовчування» і «SGD із моментом при добрих налаштуваннях часто дає кращий фінальний результат» суперечать одне одному?
Чому так. Перше твердження про поведінку без налаштування, друге — про поведінку після нього. На мережі з практики при однаковому кроці 0.05 Adam дає точність 0.9250, а простий спуск лише 0.8944; але дай моменту його власний крок, у двадцять разів більший, і він дає 0.9222 — тобто наздоганяє. «Adam завжди кращий» — хибно вже на ярі з лекції, де він третій із чотирьох.
Питання 7 / 8
Що з переліченого оптимізатор НЕ робить?
Чому так. Затухання градієнта виникає в самому ланцюжку множень зворотного поширення: якщо до оптимізатора прийшов нуль, ділити його на власний масштаб марно. Це задача активацій, ініціалізації та нормалізації, а не Adam. Решта варіантів хибні: момент якраз змінює напрямок, стани він зберігає (Adam — два числа на параметр, тобто 56 ГБ на моделі з 7 мільярдів ваг), і градієнт для нього — вхідні дані, які він приймає як є.
Питання 8 / 8
Навіщо наприкінці навчання зменшують крок за розкладом, якщо оптимізатор і так адаптивний?
Чому так. Біля мінімуму градієнт малий, знаменник √s теж малий, тож дріб лишається порядку одиниці — і крок теж лишається повним. Точка бʼється об дно й відскакує. Єдиний спосіб її посадити — зменшити сам η, чим і займаються ступінчастий та косинусний розклади. Памʼять від розкладу не залежить, затухання градієнта він не лікує, а умова η < 2/c стосується простого спуску, а не адаптивних методів.