Друга спадна гілка (подвійний спуск)

Мета всіх трьох рівнів одна: перестати вірити, що «більше параметрів = гірше», і навчитися перевіряти це числом.

рівень 1Рівень 1 — База

Відтвори криву подвійного спуску на своїх даних — з іншою істинною функцією й іншою кількістю навчальних точок.

1. Візьми стенд із практики й заміни істинна_функція на щось своє (наприклад, np.cos(5 * x) - x**2).
2. Постав КІЛЬКІСТЬ_НАВЧАЛЬНИХ = 40 замість 24.
3. Побудуй криву тестової MAE по сітці p від 1 до 300 і познач вертикальною лінією поріг.

Зроблено, якщо: на графіку видно пік, і argmax тестової помилки дорівнює рівно 40 — це перевіряється одним рядком assert. Дно другого спуску при цьому нижче за найкращу класичну модель (порівнюй з моделями p ≤ 36).

рівень 2Рівень 2 — Плюс

Покажи, що пік залежить від правила вибору, а не від розміру моделі.

1. Для кожного p від 20 до 40 порахуй криву тестової помилки чотири рази: без штрафу і з λ = 0.001, 0.01, 0.1.
2. Побудуй усі чотири криві на одному графіку в логарифмічних осях.
3. Побудуй окремий графік: висота піку (значення при p = N) як функція λ.
4. Знайди найменше λ, при якому крива стає монотонною — тобто пік зникає повністю (немає жодного p, де помилка більша за сусідні дві).

Зроблено, якщо: названо конкретне число λ і словами пояснено, чому штраф за норму прибирає саме пік, а не покращує криву всюди однаково. У поясненні має бути згадана норма ваг ‖γ‖ і те, що з нею робить штраф.

рівень 3Рівень 3 — Виклик

Відтвори epoch-wise double descent — пік уздовж часу навчання, а не уздовж розміру моделі.

1. Зафіксуй p = 24 (рівно поріг) і навчай ваги не через pinv, а звичайним градієнтним спуском із нульової ініціалізації.
2. Після кожного кроку записуй тестову MAE й норму ваг.
3. Побудуй обидві криві як функції номера кроку (лог-шкала по обох осях).
4. Потім зроби те саме для p = 200 і порівняй форму кривих.

Зроблено, якщо: для p = 24 крива тестової помилки має видимий максимум десь посередині навчання, а не монотонно спадає; крива норми ваг у цей самий момент теж проходить свій максимум. У висновку — одне речення про те, чому рання зупинка працює як регуляризатор.

Підказки

• Рівень 1. Якщо пік «розмазався» на два-три сусідні p — швидше за все, тестова вибірка замала або ти забув усереднити по кількох жеребах ознак. Обидві причини лікуються збільшенням числа, а не зміною логіки.
• Рівень 2. Найменше λ шукай не на око, а бінарним пошуком: напиши функцію є_пік(λ), яка повертає True/False, і зменшуй крок удвічі.
• Рівень 3. Градієнт MSE по ваг у нашій моделі — це 2/N · Φᵀ(Φγ − y). Крок бери маленький (10⁻³ або менше) і роби багато кроків: пік зʼявляється тоді, коли модель уже майже інтерполює, але ще не встигла «розгладитись».