Чому так. «Аномалія» — це не схоже на решту, і слово «схоже» задаєш ти, обираючи ознаки, масштаб і міру відстані. Помилка в даних — лише одна з трьох задач, які цим словом називають; дві інші — рідкісна подія (колекційний телефон за 95 000 грн — не помилка, а ринок) і навмисне зловживання. Правило трьох сигм — не означення аномалії, а один із найслабших способів її шукати.
Питання 2 / 8
На дошці 1 100 оголошень, із них 139 шахрайських. Детектор позначив 0 рядків і отримав accuracy 87.4 %. Що це означає?
Чому так. Accuracy при сильному дисбалансі вимірює частку більшого класу, а не якість моделі. Модель «усе чесне» не робить нічого й отримує 87.4 %; на реальній дошці, де шахрайство — частка відсотка, вона отримала б 99 % і теж не знайшла б жодного шахрая. Дивитись треба на precision і recall (тема 05).
Питання 3 / 8
Оголошення: ціна 15 160 грн (z = +1.00), рік 2021 (z = +0.23), памʼять 64 ГБ (z = −0.85), вік акаунта 93 дні (z = −0.77) — жодна ознака не виходить за одне стандартне відхилення. Чому LOF ставить його на 14-те місце з 1 100?
Чому так. Це головна причина, чому одновимірних правил недостатньо. Кожна колонка окремо каже «норма», а точка в семивимірному просторі лежить далеко від хмари: ціна втричі з половиною перевищує типову для цієї моделі. Ознака, яка видає рядок, — відношення двох колонок, і в жодній колонці окремо його немає.
Питання 4 / 8
Точка A стоїть за 2.37 від своїх трьох сусідів, точка S — за 2.00. У A LOF дорівнює 4.5, у S — 1.0. Як так?
Чому так. LOF ділить середню відстань до сусідів на таку саму відстань у самих сусідів: 2.374 / 0.523 = 4.54 проти 2.000 / 2.000 = 1.00. Абсолютна відстань майже однакова, вирок протилежний — бо в щільному районі порожнеча помітна, а в розрідженому вона норма. Саме тому в назві стоїть слово «локальний».
Питання 5 / 8
Isolation Forest відрізає точку випадковими розрізами. Яка точка отримує вищу оцінку аномальності?
Чому так. Навколо точки, що стоїть осторонь, багато порожнього місця, тож майже будь-який випадковий розріз проходить між нею і рештою — вона відлітає за два-три розрізи. Точку з гущі доводиться відсікати від сотні сусідів по одному, і глибина виходить у три-чотири рази більшою. Оцінка береться як середнє по сотні дерев: одне дерево — це шум, а не оцінка.
Питання 6 / 8
У параметр contamination у IsolationForest записали 0.05. Що це дало?
Чому так. contamination не визначає поріг, а виконує вже прийняте тобою рішення: він просто відрізає задану частку найгірших оцінок. Число ти приносиш ззовні — з економіки задачі: скільки коштує перевірити один позначений рядок і скільки коштує пропустити один справжній.
Питання 7 / 8
На нашій дошці всі три багатовимірні методи одностайно поставили в топ-20 чотири колекційні Gamma X 2017 року за 82-95 тисяч гривень. Жодне з них не шахрайське. Що це означає?
Чому так. Пошук аномалій відповідає на питання «що тут не схоже на решту», а не «де тут шахрайство». Запакований флагман семирічної давності за ціну нового — найяскравіша аномалія цієї таблиці й водночас чесне оголошення. Низький precision@k тут не провал детектора, а відповідь: у цих даних дивне й шкідливе не збігаються, і для другого потрібні мітки або окремо придумана ознака.
Питання 8 / 8
Міток немає, розмітити всю таблицю неможливо. Як оцінити детектор аномалій?
Чому так. Способу оцінити пошук аномалій зовсім без міток не існує — є лише способи здобути мітки дешевше. precision@k вимагає перевірити рівно ті k рядків, які ти й так збирався дивитись. ROC-AUC мітки теж потребує, і при частці аномалій у відсоток вона майже не реагує на початок списку — а саме початок і є вся задача. Збіг двох методів не доводить, що обидва праві: на нашій дошці всі три одностайно вказали на чесні колекційні оголошення.