Домашнє завдання

Зміщення проти дисперсії

Пам'ятай головне: зміщення й дисперсія — властивості процедури навчання, а не однієї навченої моделі. Тому всі завдання так чи інакше вимагають кількох запусків на різних даних.

рівень 1Рівень 1 — База

Повтори експеримент із практики на своїй істинній функції. Візьми будь-яку не-поліноміальну залежність: $f(x) = e^{-x^2}$, $f(x) = |x|$, ступінчаста функція — що завгодно.

  1. Побудуй «віяло» з 200 паралельних світів для трьох степенів: маленького, середнього й завеликого.
  2. Порахуй зміщення², дисперсію й шум для степенів від 1 до 12.
  3. Знайди степінь, на якому сума мінімальна.

Зроблено, якщо: є таблиця з чотирьох стовпців (степінь, зміщення², дисперсія, разом), у ній видно, що зміщення² спадає, а дисперсія росте, і ти назвав(ла) оптимальний степінь із поясненням, чому він не збігається з мінімумом жодного з доданків окремо.

рівень 2Рівень 2 — Плюс

Перенеси експеримент на k-NN (sklearn.neighbors.KNeighborsRegressor). Тут роль регулятора складності грає $k$, і крутиться він у протилежний бік: маленьке $k$ — складна модель.

  1. Порахуй зміщення² і дисперсію для $k$ від 1 до 25 на тих самих даних.
  2. Побудуй графік обох доданків від $k$ і познач мінімум суми.
  3. Окремо перевір крайні випадки: $k = 1$ і $k = n$ (усі точки в сусідах).

Зроблено, якщо: графік показує дзеркальну картину до полінома — при $k=1$ дисперсія максимальна, а зміщення² мінімальне; при $k = n$ модель вироджується в константу (нульова дисперсія, величезне зміщення). І ти написав(ла) двома реченнями, чому саме так: що конкретно усереднює k-NN, коли $k$ росте.

рівень 3Рівень 3 — Виклик

Досліди межу застосовності самого розкладу — те, про що лекція каже одним абзацом: «він працює для квадратичної помилки».

  1. Візьми задачу класифікації (наприклад, make_moons з шумом) і функцію втрат «частка помилкових класифікацій» (0-1 loss).
  2. Проведи той самий експеримент із паралельними світами для дерев різної глибини. Для кожної тестової точки порахуй: як часто моделі помиляються, і яку відповідь дає «більшість» моделей.
  3. Спробуй розкласти середню помилку на «зміщення» (більшість моделей помиляється) і «дисперсію» (моделі не згодні між собою).

Зроблено, якщо: ти показав(ла) числом, що для 0-1 loss доданки не сумуються в загальну помилку так само акуратно, як для MSE, — і пояснив(ла) на конкретному прикладі, чому: знайди тестову точку, де дисперсія моделей зменшує помилку, а не збільшує її.

Підказки