Ти навчив(ла) одну модель на одній вибірці й поміряв(ла) її помилку. Що з трьох доданків розкладу ти можеш побачити з цього одного прогону?
Чому так. Сподівання в означеннях береться по навчальних вибірках, а не по тестових точках. Щоб побачити розкид, треба перезапустити все навчання на інших даних з того самого джерела. Саме тому в практиці ми будували «паралельні світи», а в житті для цього існують бутстреп, беггінг і крос-валідація. Останній варіант — класична плутанина: розкид прогнозів по осі x не має нічого спільного з дисперсією в цьому розкладі.
Питання 2 / 8
Модель A: зміщення² = 0.00, дисперсія = 0.40. Модель B: зміщення² = 0.09, дисперсія = 0.06. Шум в обох 0.10. Яку брати?
Чому так. Мінімізувати треба суму, а не доданки окремо: 0.00+0.40+0.10 = 0.50 проти 0.09+0.06+0.10 = 0.25. Незміщеність сама по собі не є цінністю — саме тому свідомо внесене зміщення (регуляризація) так часто окупається. Третій варіант правдивий по суті, але не відповідає на питання: дані ще треба зібрати, а вибір робиться зараз.
Питання 3 / 8
Train-помилка 0.04, test-помилка 0.05. Обидві криві низькі й майже злиплися. Що робити далі?
Чому так. Малий розрив каже, що дисперсії немає. Низька абсолютна помилка каже, що й зміщення немає. Лишається підлога — незвідний шум, нижче якої не опуститься жодна модель. Дані тут не допоможуть: вони бʼють лише по дисперсії, а її вже немає. Ускладнення лише розжене дисперсію й зіпсує те, що працює. Гонитва за нулем зазвичай закінчується не геніальністю, а витоком даних.
Питання 4 / 8
Кількість навчальних даних збільшили в 100 разів. Що станеться зі зміщенням² і дисперсією?
Чому так. Дисперсія падає приблизно як 1/n: більше точок — менший вплив кожного окремого шумового відхилення. У практиці ми поміряли це прямо: дисперсія × n майже не змінювалась, поки n росла в 16 разів. Зміщення від кількості даних не залежить взагалі: якщо клас моделі не здатен описати істину, мільйон точок дасть лише дуже точну неправильну модель. Пряма не стане синусоїдою від кількості даних.
Питання 5 / 8
Поліном 11-го степеня на 40 точках дає помилку 0.37. Додали L2-штраф із λ = 0.1 — помилка впала до 0.12. Що саме сталося?
Чому так. У практиці ми бачили обидва доданки окремо: зі зростанням λ дисперсія падала монотонно (0.28 → 0.03), а зміщення² монотонно росло (0.0005 → 0.02). Сума має мінімум посередині, і він нижчий, ніж без штрафу. Це і є «обміняти дисперсію на зміщення з прибутком». Перший варіант описує радше L1: L2 не занулює коефіцієнти, а лише стискає їх, і степінь полінома формально лишається тим самим.
Питання 6 / 8
У випадковому лісі збільшили кількість дерев зі 100 до 500. Як це вплине на зміщення й дисперсію?
Чому так. Усереднення багатьох майже незалежних моделей знижує розкид, не зачіпаючи середню модель — а саме середня модель визначає зміщення. Це той рідкісний важіль, який рухає лише один доданок, тому «більше дерев» у лісі майже безпечне (платиш лише часом). Бустинг працює з протилежного боку: він послідовно зменшує зміщення слабких пеньків, і саме тому зайві ітерації там небезпечні, а в лісі — ні.
Питання 7 / 8
Чому в практиці ми будували поліноми в базисі Лежандра, а не через звичайні степені x, x², …, x¹²?
Чому так. Стовпці [1, x, x², …] на відрізку майже колінеарні — усі виглядають як «щось, що монотонно росте». Матриця погано обумовлена, і результат псується чисельно. Лежандрові поліноми майже ортогональні й дають рівно той самий простір функцій — саме тому в практиці прогнози двох реалізацій збіглися до 1e-15. Це технічна гігієна, а не інша модель.
Питання 8 / 8
Дві команди навчили моделі на одній задачі. У першої метрика стрибає від запуску до запуску: 0.71, 0.85, 0.64. У другої стабільно 0.73 щоразу. Що можна сказати?
Чому так. Стабільність не є синонімом правильності: тісна купка пострілів далеко від центра мішені — це мала дисперсія при великому зміщенні, і у звітах така модель виглядає найкраще. Порівнювати треба середню якість по багатьох запусках. І окремо: вибирати першу модель за її найкращим запуском — це вибирати найудачливіший шум, помилка того ж роду, що й звітувати за best_score_ після перебору гіперпараметрів.