Інтерпретованість моделей

Усі три рівні працюють на тій самій дошці оголошень, що й практика. Дані бери з practice.ipynb — генератор із зерном 42 дає ті самі числа.

рівень 1Рівень 1 — База

Повтори дослід із випадковою колонкою на своїй ознаці-сміттєзвалищі.

Додай до таблиці колонку хеш_фото — випадкове ціле число від 0 до 999 999 (уяви, що це ідентифікатор картинки в сховищі). Навчи той самий ліс і подивись, де ця колонка опиниться у двох рейтингах: feature_importances_ і permutation_importance.

Зроблено, якщо: є таблиця з двома рейтингами всіх семи ознак, і ти написав одним реченням, чому саме MDI ставить хеш_фото високо, а перестановкова важливість — низько. Назви обидва місця числами.

рівень 2Рівень 2 — Плюс

Поясни чуже рішення, а не своє.

Візьми будь-яке оголошення з тестової частини, для якого модель дає ймовірність між 0.35 і 0.55 — тобто вагається. Порахуй для нього значення Шеплі на шести ознаках (код є в практиці), а потім напиши відповідь продавцю: три-чотири речення звичайною мовою, без слова «Шеплі», з поясненням, що саме викликало підозру і що можна змінити.

Потім зроби те саме для оголошення з ймовірністю понад 0.9 і порівняй тексти.

Зроблено, якщо: є два тексти й таблиця внесків під кожним, і кожне твердження в тексті підперте числом з таблиці. Окремим реченням дай відповідь на питання: чи можна за цим поясненням сказати продавцю, що йому зробити, щоб рішення змінилось?

рівень 3Рівень 3 — Виклик

Перевір пояснення експериментом і знайди, де воно бреше.

Значення Шеплі каже, що ознака дала внесок φ. Спокуса прочитати це як «зміни ознаку — і прогноз поїде на φ». Перевір цю спокусу на числах:

1. візьми 20 тестових оголошень;
2. для кожного порахуй внесок ознаки вік_акаунта;
3. для кожного заміни вік акаунта на медіанний по дошці й заміряй, як насправді змінився прогноз;
4. побудуй діаграму розсіювання: внесок Шеплі по одній осі, справжня зміна прогнозу — по другій, і порахуй кореляцію.

Зроблено, якщо: є графік, число кореляції та висновок: наскільки внесок Шеплі передбачає реальний ефект від зміни ознаки — і чому вони взагалі не зобовʼязані збігатися.

Підказки

• У рівні 1 не забудь, що колонка має бути додана до поділу на навчальну й тестову частини — інакше train_test_split дасть інші рядки, і числа не порівняються з лекцією.
• У рівні 2 «звичайна мова» означає без назв колонок: не «ціна_нового = 17500», а «флагман, який новим коштував сімнадцять тисяч».
• У рівні 3 базове значення (фон) при заміні ознаки не змінюється — змінюється лише один доданок. Подумай, чому цього мало для рівності, і згадай про взаємодії ознак.
• Кореляція в рівні 3 цілком може вийти високою. Висновок «отже, можна» був би передчасним: перевір, чи є серед двадцяти рядків хоча б один, де знак не збігся.