У моделі степеня 15 найбільша вага дорівнює 1 615 407 ₴, а в моделі степеня 3 — 7 574 ₴. Про що це говорить найперше?
Чому так. У точці 2010,67 сума модулів шістнадцяти доданків цієї моделі — 2 582 897 ₴, а їхня алгебраїчна сума, тобто відповідь, — −610 412 ₴. Тобто два з половиною мільйони майже повністю знищили одне одного, і те, що лишилось, ніхто не контролює: зсунь вхід на копійку — і залишок стрибне на тисячі. Помилка на навчанні у складної моделі, навпаки, нульова — у цьому й підступ.
Питання 2 / 8
Модель дає 4 100 ₴ помилки на навчальних оголошеннях і 4 300 ₴ на тестових. Колега пропонує додати регуляризацію. Що станеться?
Чому так. Регуляризація — це обмеження свободи моделі. Вона допомагає лише тоді, коли свободи забагато, тобто коли навчальна помилка мала, а тестова помітно більша. Тут розриву немає, обидва числа високі — моделі бракує гнучкості, і забирати в неї ще означає робити гірше. Такій моделі потрібні складніша форма, кращі ознаки або менший штраф.
Питання 3 / 8
«Чим більший штраф, тим краще модель узагальнює» — що не так із цим твердженням?
Чому так. На нашій кривій степеня 15 тестова помилка при α ≈ 0 дорівнює 740 696 ₴, на дні при α ≈ 0,32 — 1 146 ₴, а при α = 100 000 знову 4 327 ₴, бо модель звелась до горизонтальної прямої. Це та сама U-подібна крива, що й у темі про перенавчання, просто ручка складності тепер плавна.
Питання 4 / 8
Ти довів силу L2-штрафу до кінця шкали: найбільша вага впала з 7 595 до 38 ₴. Скільки ваг при цьому стало точно нулем?
Чому так. Похідна від w² дорівнює 2w і зникає біля нуля, тому вага нескінченно наближається до нуля, але не досягає його. Похідна від |w| дорівнює ±1 завжди — тиск не слабшає, і вага сідає рівно в нуль. Саме тому в лекції лічильник нулів у режимі L2 усю дорогу показує 0, а в режимі L1 доходить до 15.
Питання 5 / 8
У тебе 200 ознак, і ти підозрюєш, що корисних серед них десяток. З чого почати?
Чому так. L1 виводить частину ваг рівно в нуль, тобто робить відбір ознак заодно з навчанням. У лекції при α = 1 000 сім ваг із пʼятнадцяти стали точними нулями, а помилка на тесті виявилась найкращою в темі — 865 ₴. L2 при жодному α не обнуляє нічого, тож 200 ознак так і лишаться 200 ознаками.
Питання 6 / 8
Ознаку «пробіг» переписали з кілометрів у метри. Модель без масштабування, штраф L2, α не змінювали. Що станеться зі штрафом на цю ознаку?
Чому так. Прогноз мусить лишитись тим самим, тому вага ділиться на множник — а в штрафі стоїть квадрат ваги, тож її внесок ділиться на множник у квадраті. Модель не змінилась, а розподіл покарань змінився повністю. Саме тому перед регуляризованою моделлю ознаки зрівнюють, наприклад через StandardScaler.
Питання 7 / 8
Чому α не можна підбирати за тестовою вибіркою, навіть якщо вона велика?
Чому так. Обираючи найкраще з тридцяти пʼяти значень α за тестовою помилкою, ти береш мінімум із тридцяти пʼяти спроб — а такий мінімум систематично оптимістичний. Правильний інструмент — крос-валідація на навчальних даних: у лекції вона знайшла те саме дно, α ≈ 0,32, не заглядаючи в тестовий конверт.
Питання 8 / 8
Що з переліченого НЕ є регуляризацією?
Чому так. Регуляризація — це будь-який спосіб обмежити свободу моделі, щоб їй не було чим запамʼятати шум; штраф у функції втрат — лише найпрозоріший із них. Глибина дерева, dropout і згладжування Лапласа обмежують свободу кожен по-своєму. Збільшення степеня робить протилежне: дає моделі більше свободи — саме те, з чого починається перенавчання.