Навчальна вибірка має N = 24 приклади. Ти будуєш криву тестової помилки, поступово нарощуючи кількість параметрів p від 1 до 200. При якому p помилка буде найгіршою?
Чому так. Пік стоїть рівно там, де кількість параметрів дорівнює кількості прикладів: у практиці тестова MAE підскакує з 0.17 до 0.83. Спокуслива відповідь про p = 200 — це класична інтуїція, і саме вона тут не працює: при p = 200 помилка дорівнює 0.127, тобто нижча за будь-яку класичну модель.
Питання 2 / 8
Ми прибрали з даних увесь шум (σ = 0) — мітки стали ідеально точними. Що станеться з піком на порозі?
Чому так. У практиці при σ = 0 пік дорівнює 0.37 проти класичного мінімуму 0.12 — тобто нікуди не подівся. Причина піку в тому, що на порозі інтерполюючий розвʼязок один-єдиний, і ніхто не гарантував, що він гладкий. Шум впливає на інше: він зʼїдає виграш другої гілки (8× без шуму проти 1.08× при σ = 0.30).
Питання 3 / 8
Що доводить факт, що найкраще значення Ridge-моделі майже дорівнює тому, чого надпараметризована модель досягає взагалі без штрафу?
Чому так. Обидва шляхи ведуть до однієї й тієї самої точки, бо роблять одне й те саме — обмежують норму ваг. Ridge робить це явно, штрафом у функції втрат; розвʼязок мінімальної норми — неявно, самим правилом вибору серед інтерполянтів. Тому явна регуляризація нікуди не поділась: на брудних даних вона дає більше, ніж чиста надпараметризація.
Питання 4 / 8
У практиці норма ваг ‖γ‖ дорівнює 18.0 на порозі й 0.43 при p = 200. Як це повʼязано з тестовою помилкою?
Чому так. Велика норма — це ситуація з великими протилежними коефіцієнтами: у навчальних точках вони гасять один одного, а між точками різниця величезних доданків перестає бути малою, і функція вистрілює. Тому максимум норми стоїть рівно там, де максимум помилки, і обидві криві спадають разом.
Питання 5 / 8
Модель із 24 параметрами на 24 навчальних прикладах дала погану метрику. Колега пропонує зменшити модель удвічі, ти — збільшити до 200. Хто має рацію?
Чому так. Околиці порогу — найризикованіша конфігурація, тому йти треба або суттєво вниз, або суттєво вгору. У практиці зменшення дає найкращий класичний результат 0.17, а зростання до 200 — 0.127, тобто краще. Головне правило: не роби висновків з двох точок, будуй криву.
Питання 6 / 8
При p > N розвʼязків, що проходять крізь усі навчальні точки, нескінченно багато. Хто обирає між ними?
Чому так. Навчальна помилка нульова в усіх цих розвʼязках, тому дані вже нічого не розрізняють. Вибирає правило навчання: у нас це «бери найкоротший вектор ваг», і саме воно витягує гладку криву. Тому за порогом уся якість узагальнення переїжджає в принцип вибору, а не в дані.
Питання 7 / 8
Який висновок з подвійного спуску буде хибним?
Чому так. Компроміс зміщення-дисперсії лишається чинним — просто дисперсію тепер стримує не малий розмір моделі, а неявна регуляризація. Явище не каже «беріть найбільшу модель і не думайте»; воно каже вужче: рахувати параметри як міру перенавчання більше не можна. Решта три твердження правильні.
Питання 8 / 8
Ти збільшив мережу і побачив, що метрика погіршилась. Який висновок правильний?
Чому так. Дві точки не малюють криву. Погіршення може бути підйомом до піку, а не стелею. Правильна дія — продовжити нарощувати модель і подивитись на форму кривої цілком; можливо, за піком чекає результат, кращий за все попереднє.