Домашнє завдання

Рівні шанси на помилку (Equality of Odds)

Головне вміння теми — рахувати TPR і FPR окремо по групах і чесно називати ціну кожного втручання. Усі три рівні перевіряють саме це.

рівень 1Рівень 1 — База

Порахуй EO-розрив для моделі, яку ти навчив сам, а не для готових скорів.

  1. Візьми будь-який датасет із бінарною міткою (sklearn.datasets.load_breast_cancer, make_classification або власний) і навчи LogisticRegression.
  2. Розбий тестову вибірку на дві групи за будь-якою ознакою — не обовʼязково демографічною: медіана віку, регіон, тип пристрою, рідкісний підклас.
  3. Порахуй TPR, FPR, PPV і базову ставку окремо для кожної групи при спільному порозі 0.5.
  4. Виведи ΔTPR, ΔFPR і EO-розрив = max з них.

Зроблено, якщо: є таблиця з шести чисел (по три на групу) і одне число EO-розриву, а поруч — речення, яке називає, у чому саме полягає нерівномірність: «модель частіше помилково відхиляє групу X» або «модель частіше помилково приймає групу Y».

рівень 2Рівень 2 — Плюс

Виміряй ціну справедливості на своїх даних і побудуй криву компромісу.

  1. Перебери всі пари групових порогів на сітці з кроком 0.005.
  2. Для кожного допуску ε з ряду 0.005, 0.01, 0.02, 0.05, 0.10, 0.50 знайди максимальну досяжну точність за умови EO-розрив ≤ ε.
  3. Побудуй криву «максимальна точність від ε» і перевір assert-ом, що вона неспадна.
  4. Окремо познач на графіку точність найкращого спільного порогу.

Зроблено, якщо: названо конкретну ціну в відсоткових пунктах — на скільки падає точність при переході від «без обмежень» до найстрогішого ε, — і пояснено, чому крива не може спадати. Додатково: перевір, чи виявився найкращий спільний поріг гіршим за найкращу пару порогів, і поясни результат.

рівень 3Рівень 3 — Виклик

Зроби вирівнювання під час навчання, а не після нього, і порівняй два підходи.

  1. Напиши логістичну регресію з нуля (градієнтний спуск по логістичних втратах).
  2. Додай до втрат штраф за розрив: замість недиференційовного індикатора «s ≥ t» візьми сигмоїду σ((s − t)/τ) з малим τ, порахуй через неї «мʼякі» TPR і FPR для кожної групи й додай λ · (ΔTPR² + ΔFPR²).
  3. Побудуй криву «точність від λ» і накладай на неї криву post-processing із Рівня 2 в координатах (EO-розрив, точність).

Зроблено, якщо: обидві криві намальовані на одних осях, і зроблено висновок, який підхід дає кращу точність при однаковому розриві на твоїх даних. Окремо назвіть по одній практичній перевазі й одному недоліку кожного підходу — з тих, що не видно на графіку.

Підказки