Модель оцінила шість телефонів. Сума її помилок (факт мінус прогноз) дорівнює рівно нулю. Що з цього випливає?
Чому так. Саме так було в лекції: помилки −400, +600, −900, −400, −100, +1200 дають у сумі нуль, а MAE при цьому 600 грн. Нульова сума каже лише про відсутність систематичного перекосу, а не про точність. Тому в усіх метриках знак прибирають — модулем або квадратом.
Питання 2 / 8
На шести оголошеннях MAE = 600 грн, а RMSE = 700 грн. У якому єдиному випадку ці два числа збіглися б?
Чому так. RMSE ніколи не буває меншою за MAE, а рівність настає рівно тоді, коли розкиду помилок немає — усі промахи однакові. Що більший розкид, то більший розрив. Тому саму різницю RMSE − MAE читають як ознаку: є в даних кілька катастрофічних промахів чи ні.
Питання 3 / 8
Модель «Обережна» помиляється на кожному з шести оголошень на 650 грн. Модель «Ризикова» промахується на 200 грн п'ять разів і на 2 000 грн один раз. MAE: 650 проти 500. RMSE: 650 проти 837. Яку модель обрати?
Чому так. Обидві метрики порахували чесно на тих самих даних і дали протилежні відповіді, бо задають різні питання: MAE — «наскільки модель помиляється зазвичай», RMSE — «наскільки страшно вона помиляється іноді». Вибір визначає не математика, а ціна великого промаху в житті: показуєш ціну продавцеві — бери RMSE, рахуєш внутрішню аналітику по тисячах оголошень — MAE.
Питання 4 / 8
На тестовій вибірці R² моделі вийшов −1,26. Що це означає?
Чому так. R² = 1 − SSres/SStot, і коли помилка моделі більша за помилку «дурної» моделі, що завжди називає середнє, дріб перевищує одиницю й результат стає відʼємним. «Квадрат» тут лише в назві. Найчастіше це трапляється, коли модель застосовують до даних з іншим розподілом, ніж ті, на яких вона вчилася.
Питання 5 / 8
У вибірці оголошень є одне шахрайське з ціною 1 грн; модель оцінила той телефон у 6 000 грн. Яка метрика постраждає найсильніше?
Чому так. У лекції ці числа пораховані: MAE зросла з 600 до 1 371 грн (×2,3), RMSE з 700 до 2 358 (×3,4), R² упав з 0,926 до 0,532, а MAPE стрибнула з 9,26 % до 85 708 % — тобто в девʼять тисяч разів. Маленький знаменник роздуває відсоток, а ціна рівно нуль ламає MAPE повністю: ділення на нуль.
Питання 6 / 8
Справжня ціна телефона 5 000 грн. Порівняй два прогнози з однаковою за модулем помилкою 2 500 грн: 2 500 грн і 7 500 грн. Що покаже MAPE?
Чому так. MAPE ділить на факт, який в обох випадках 5 000, тому обидва рядки дають 50 %. Несиметричність MAPE проявляється в іншому: при заниженні вона не може перевищити 100 % (гірше за прогноз 0 не буває), а при завищенні межі немає взагалі — прогноз 15 000 дасть 200 %. Через це модель, яку вчать під MAPE, тихо навчається занижувати.
Питання 7 / 8
SMAPE ділить помилку на середнє між фактом і прогнозом. Справжня ціна 5 000 грн, помилка 2 500 грн. Прогноз 2 500 дає SMAPE 66,7 %, прогноз 7 500 — 40,0 %. Про що це каже?
Чому так. Знаменник у SMAPE залежить від прогнозу: при заниженні він менший (3 750), при завищенні більший (6 250), тому та сама помилка в 2 500 грн дає різні відсотки. «Симетрична» в назві — перебільшення: перекіс не зник, а лише перевернувся в інший бік. Надійніший спосіб міряти відносну помилку — навчати модель на логарифмі цільової величини.
Питання 8 / 8
Ти рухаєш нахил прямої й дивишся на табло метрик. У якій парі метрик оптимум ніколи не розійдеться?
Чому так. RMSE — це корінь із MSE, а R² = 1 − SSres/SStot, де SStot від моделі не залежить. Усі три є монотонними перетвореннями однієї величини, тому мінімум у них в одній точці. В інтерактиві лекції оптимуми справді розходяться: квадратичний табір — 1410, MAE — 1500, MAPE — 1640 грн за рік.