Домашнє завдання

Жорсткість і сплайн

⏮ Перша частина теми: ../36-double-descent/

Тут ми доводимо руками те, що в першій частині лише спостерігали. Усі три рівні — про одне: пік на порозі це жорсткість, а не шум.

рівень 1Рівень 1 — База

Повтори експеримент із жорсткістю на своїх даних.

  1. Візьми шість точок іншої гладкої функції на відрізку [0, 5] — наприклад, y = 10·sin(x). Шуму не додавай.
  2. Візьми чотири вузли (поріг) і рухай найлівіший від 0.5 до майже 2.0, як у розділі 5 практики.
  3. Для кожного положення виведи три числа: розмах кривої, норму ‖γ‖ і суму залишків на шести точках.

Зроблено, якщо: побудовано таблицю щонайменше з семи рядків, у якій розмах зростає щонайменше в 20 разів, а сума залишків весь час лишається на рівні 10⁻¹² або менше. Одним реченням поясни, чому ці дві колонки не суперечать одна одній.

рівень 2Рівень 2 — Плюс

Досліди, що саме робить модель жорсткою: кількість вузлів чи їхнє розташування.

  1. Для K від 2 до 20 порахуй помилку проти істини по 300 випадкових розкладах вузлів і побудуй три криві: медіану, 90-й процентиль і частку катастрофічних розкладів.
  2. Тепер зроби те саме з рівномірними вузлами (np.linspace) замість випадкових.
  3. Побудуй обидві картинки поруч.

Зроблено, якщо: названо число — при рівномірних вузлах частка катастроф дорівнює конкретному значенню (яке саме?) для всіх K, — і словами пояснено, чому важкий хвіст зник. У поясненні має прозвучати умова існування інтерполянта: між кожними трьома сусідніми точками даних потрібен щонайменше один злам.

рівень 3Рівень 3 — Виклик

Перевір теорему про границю на іншому базисі — і побачиш, що індуктивне зміщення змінилось разом з ним.

  1. Заміни базис ½·|x − t| на гладкі хвилі: φ_k(x) = cos(ω_k·x + φ_k) з випадковими частотами ω_k і фазами φ_k.
  2. Побудуй розвʼязок мінімальної норми на тих самих шести точках при K = 4, 16, 64, 256.
  3. Порівняй його з натуральним кубічним сплайном: чи збігається границя тепер?
  4. Якщо ні — знайди, до чого вона збігається. Порахуй ∫g″(x)²dx для обох кривих і подивись, яка з них гладша за цим критерієм.

Зроблено, якщо: побудовано графік розбіжності зі сплайном як функції K для обох базисів на одних осях, і зроблено висновок: у якому базисі мінімальна норма означає мінімальну вигнутість, а в якому — щось інше. Назви це «щось інше» словами.

Підказки