Відповіді0 / 8
правильних: 0
Питання 1 / 8
AUC моделі дорівнює 0,89. Що це означає буквально?
Чому так. Це не аналогія, а друге строге означення AUC: площа під ROC дорівнює частці правильно впорядкованих пар «позитив × негатив» (у статистиці — критерій Манна–Вітні). У практиці ми перевіряємо це двічі: перебором усіх пар і киданням випадкових пар — обидва способи дають те саме число, що й roc_auc_score.
Питання 2 / 8
Модель показала AUC = 0,23. Найрозумніша дія?
Чому так. AUC нижче 0,5 означає не відсутність знань, а переплутані знаки: модель систематично дає негативам вищий скор. Знання в ній є, просто дзеркальні. Найчастіша причина — переплутані мітки класів у коді. Поріг тут ні до чого: AUC від нього не залежить узагалі.
Питання 3 / 8
У вибірці 8 позитивів і 16 негативів. Якою буде висота одного кроку ROC угору?
Чому так. Крок угору означає, що ми захопили ще один справжній позитив, тому TPR зростає на 1/P = 1/8. Ширина кроку праворуч — 1/N = 1/16. Саме тому на маленькій вибірці крива складається з великих сходинок, а на тисячі обʼєктів виглядає гладкою — залишаючись такими самими сходинками.
Питання 4 / 8
Частка позитивних у популяції впала з 50% до 1%. Сама модель не змінилась. Що станеться з AUC і AP?
Чому так. У TPR і FPR різні знаменники, і кожен живе всередині свого класу — тому ROC складу вибірки не бачить. У практиці AUC тримається на 0,97, поки AP падає з 0,97 до 0,48. А precision = TP / (TP + FP) змішує обидва класи в одному знаменнику, тому PR-крива чутлива саме там, де ROC сліпа.
Питання 5 / 8
FPR = 0,05 при частці шахрайства 1%. Скільки хибних тривог припадає приблизно на один спійманий шахрайський платіж?
Чому так. 5% від 99% чесних платежів — це набагато більше, ніж усього шахрайства разом. У практиці на 1% позитивних виходить близько 5,7 хибних тривог на один спійманий платіж, тоді як на 50% — лише 0,06. FPR при цьому однаковий: ROC не показує обсяг роботи аналітика, бо в її знаменниках немає співвідношення класів.
Питання 6 / 8
Ми піднесли всі передбачені ймовірності до квадрата. Що станеться з AUC?
Чому так. Зведення в квадрат монотонне на додатних числах, тому впорядкування обʼєктів не змінилось — а AUC бачить виключно порядок. Brier score при цьому змінюється помітно. Це і є сліпа зона AUC: два набори ймовірностей різної якості калібрування для неї абсолютно однакові.
Питання 7 / 8
Модель A має AUC 0,90, модель B — 0,88. Бізнес-обмеження: блокувати не більше 1% чесних платежів. Яку брати?
Чому так. AUC підсумовує всі пороги з однаковою вагою, зокрема й ті, які ти ніколи не використаєш. Модель, чия перевага сидить у зоні FPR понад 0,5, практично гірша за ту, що добре працює у твоєму робочому діапазоні. Правильний порядок: модель обираємо за кривою в потрібній зоні, а поріг — за бізнес-вимогою.
Питання 8 / 8
Чому базовий рівень ROC завжди 0,5, а базовий рівень PR-кривої — ні?
Чому так. TPR ділиться на кількість позитивів, FPR — на кількість негативів, тож випадкове вгадування дає TPR = FPR за будь-якого порога, тобто діагональ. А precision = TP / (TP + FP) залежить від того, скільки в популяції негативів, тому базовий рівень PR дорівнює частці позитивних і повзе вниз разом із нею.