У таблицю додали колонку «код оголошення» — випадкове число, яке за побудовою нічого не знає про шахрайство. Коли різних значень стає 1200, MDI піднімає її на третє місце з семи (0.1207), а перестановкова важливість лишає сьомою (−0.0056). Чому MDI так помиляється?
Чому так. MDI підсумовує приріст чистоти по розрізах і рахується на навчальних даних. Неперервна або майже-унікальна ознака дає дереву сотні кандидатів на поріг, і хоч один із них випадково відріже трохи забрудненості. Перестановкова важливість міряється на нових даних, тому цю випадковість не оплачує: −0.0056 означає, що без колонки модель працює навіть трохи краще.
Питання 2 / 8
У лісі на дошці оголошень ознака «вік акаунта» має MDI 0.1785 (друге місце), а перестановкову важливість лише 0.0143 (четверте). При цьому дані згенеровані так, що шанс шахрайства справді залежить від віку акаунта. Як це правильно прочитати?
Чому так. Обидва числа правильні, бо міряють різне. Перестановкова важливість відповідає на питання «наскільки впаде якість, якщо зіпсувати цю колонку» — а вона не впаде, поки той самий сигнал дублює ціна. Висновок «вік акаунта не важливий у житті» був би неправильним рішенням про світ, зробленим із правильного числа про модель.
Питання 3 / 8
Глобальна важливість ставить «памʼять» на пʼяте місце з шести (0.0435). Для оголошення Alfa A7 за 8240 грн саме памʼять дає найбільший внесок (+0.0848), а ціна — головна ознака моделі — тягне прогноз униз (−0.0327). Що з цього випливає?
Чому так. Глобальне й локальне — різні питання. «Які ознаки важливі загалом» усереднює по всій вибірці; «чому саме це рішення» стосується одного рядка. Вони не зобовʼязані збігатися, і саме розходження зазвичай найцікавіше: тут модель побачила нове оголошення на 512 ГБ, а ціна виявилась радше заспокійливою.
Питання 4 / 8
Значення Шеплі рахують як середнє по всіх порядках, у яких ознаки заходять у команду. У прикладі лекції внесок ціни був +0.2957, коли вона заходила першою, і +0.4360, коли останньою. Навіщо перебирати всі шість порядків?
Чому так. Це не боротьба з шумом: усі шість чисел точні. Річ у тім, що приріст від ознаки залежить від складу команди, у яку вона входить, а підстав віддати перевагу якомусь одному порядку немає. Шеплі довів, що середнє по всіх порядках — єдиний поділ, який задовольняє набір очевидних вимог справедливості.
Питання 5 / 8
Для оголошення з лекції база (середній прогноз по фону) дорівнює 0.1402, а внески трьох ознак — 0.364, 0.198 і 0.120. Що можна сказати про прогноз моделі?
Чому так. 0.1402 + 0.364 + 0.198 + 0.120 = 0.822. Адитивність — доведена властивість значень Шеплі, а не збіг: нічого не губиться й нічого не береться нізвідки. Саме вона робить SHAP придатним для розмови з людиною — пояснення сходиться в число, яке модель справді видала.
Питання 6 / 8
Крива частинної залежності (PDP) для ціни має форму ванни: 0.8762 при 500 грн, мінімум 0.0923 біля 5000 і знову 0.4156 при 32 000. Що ця крива насправді показує?
Чому так. PDP — це середнє по всій вибірці після примусової заміни ознаки. У точці 32 000 серед цих рядків є Alfa A5, чия найдорожча реальна ціна 13 310 грн: модель у таких комбінаціях нічого не вчила. І окремий рядок теж не описується середнім — криві ICE для чотирьох оголошень мають дно в різних місцях, від 3000 до 10 000 грн.
Питання 7 / 8
У таблицю додали другу копію ціни — «ціна в доларах». Перестановкова важливість ціни впала з 0.4043 до 0.1429, а близнюк отримав 0.1180. Якщо перемішати обидві колонки одночасно, AUC падає на 0.4346. Який висновок правильний?
Чому так. Коли ми псуємо одну колонку, модель бере той самий сигнал із другої — падіння виходить маленьким. Разом вони забирають 0.4346, більше за суму окремих важливостей (0.1429 + 0.1180 = 0.2609). Небезпека практична: три-чотири схожі колонки можуть усі опинитися нижче порога відкидання й бути викинуті гуртом.
Питання 8 / 8
Модель позначила оголошення шахрайським, а SHAP переконливо показав: вирішила занизька ціна. Що з цього можна стверджувати?
Чому так. Ланцюжок такий: світ → дані → модель → пояснення. Пояснення бачить лише модель. Якщо модель вивчила артефакт, SHAP чесно й переконливо покаже цей артефакт — і виглядатиме так само солідно. Гірше: правдоподібне пояснення вимикає перевірку, бо людина, яка побачила осмислену історію, перестає ставити питання.