Модель дає помилку 458 ₴ на навчальних оголошеннях і 1 529 ₴ на відкладених. Найкраща з усіх перебраних моделей дає на відкладених 874 ₴. Що це означає?
Чому так. Ознака перенавчання — розрив: на навчанні 458 ₴, на нових даних 1 529 ₴, тобто майже вдвічі гірше за досяжні 874 ₴. Низька навчальна помилка тут не досягнення, а симптом: зайва гнучкість пішла на запамʼятовування шуму. Недонавчання виглядало б інакше — обидва числа високі й близькі одне до одного.
Питання 2 / 8
Многочлен 15-го степеня, навчений на 16 оголошеннях, показує помилку рівно 0 ₴ на навчальних даних. Що з цього випливає?
Чому так. Вільних коефіцієнтів рівно стільки ж, скільки оголошень, — цього завжди досить, щоб провести криву точно через усі точки. Нульова навчальна помилка тут гарантована арифметикою, а не якістю моделі: на нових оголошеннях та сама крива помиляється на сотні тисяч гривень. Шум у даних при цьому нікуди не подівся — модель просто вивчила його разом із закономірністю.
Питання 3 / 8
Помилка на навчанні — 1 654 ₴, на тесті — 1 573 ₴. Обидві високі, розриву фактично немає. Що робити?
Чому так. Відсутність розриву означає, що модель не вивчила зайвого — вона взагалі майже нічого не вивчила. Це недонавчання, і лікується воно протилежним до перенавчання: більше гнучкості або кращі ознаки. Дані тут не допоможуть: пряма, навчена на мільйоні оголошень, лишиться тією самою прямою.
Питання 4 / 8
Многочлен 9-го степеня на 16 оголошеннях дає розрив 1 071 ₴ між помилками. Ту саму модель навчили на 500 оголошеннях — розрив стиснувся до 19 ₴. Чому?
Чому так. Складність моделі завжди відносна до обсягу даних. Десять коефіцієнтів легко підганяються під 16 точок і безсилі проти 500 — дані перестають поміщатись у модель, і їй доводиться описувати закономірність. Рівень шуму при цьому не змінився: змінилось лише те, скільки моделі довелось вигадувати.
Питання 5 / 8
На двох дошках оголошень та сама закономірність і та сама кількість оголошень, але на першій ціни розкидані навколо закономірності на 100 ₴, а на другій — на 2 600 ₴. Де вигідно взяти складнішу модель?
Чому так. Складність — це здатність повторити тонкі деталі. При розкиді 100 ₴ деталі, які модель бачить, здебільшого справжні, і найкраще працює степінь 7. При розкиді 2 600 ₴ ті самі деталі — це переважно випадковість конкретних продавців, і дозволено вже лише степінь 2. Питання «яка модель тут складна» без даних і без шуму відповіді не має.
Питання 6 / 8
Чому помилка на навчальних даних сама по собі нічого не каже про якість моделі?
Чому так. Многочлен 4-го степеня може відтворити будь-який многочлен 3-го — досить занулити старший коефіцієнт. Тому найкраще, що він здатен зробити на навчальних даних, ніколи не гірше. Навчальна помилка монотонно падає зі зростанням складності незалежно від того, стає модель кориснішою чи ні: вона міряє памʼять, а не розуміння.
Питання 7 / 8
Ми перебрали степені від 1 до 15, обрали той, у якого найменша помилка на тестовій вибірці, і назвали цю помилку оцінкою якості моделі. У чому проблема?
Чому так. Дані, за якими ти щось обираєш, більше не годяться, щоб оцінювати обране. Мінімум із багатьох спроб систематично оптимістичний: частина виграшу — це те, що переможець випадково вгадав саме цю тестову вибірку. Складність підбирають на валідаційній частині або крос-валідацією, а тестової торкаються один раз наприкінці.
Питання 8 / 8
Твоя модель перенавчилась. Колега радить: «додай даних». Друга модель недонавчилась, і той самий колега радить те саме. Де порада спрацює?
Чому так. Дані працюють рівно проти однієї з двох хвороб. Перенавчання вони лікують: моделі стає нікуди подіти зайву гнучкість. Недонавчання не лікують взагалі — пряма, навчена на мільйоні точок, лишається прямою. Саме тому перед тим, як замовляти розмітку, діагноз ставлять за розривом: великий розрив — дані допоможуть, обидві помилки високі й близькі — гроші на вітер.