На дошці оголошень 200 шахрайських із 1 200. Модель показала точність 87 %. Що з цього випливає?
Чому так. Частка чесних оголошень тут 83.3 %, тому дурна константа вже дає 83.3 % точності. Число моделі читається лише поруч із базовою лінією. А на нерівних класах головна інформація сидить у precision і recall: 87 % точності сумісні з тим, що модель не знайшла майже жодного шахрая.
Питання 2 / 8
У статті пишуть: «ми перебрали 200 конфігурацій бустингу й отримали F1 = 0.94, тоді як kNN з коробки дав 0.40». Що не так із цим порівнянням?
Чому так. Чесне порівняння вимагає чотирьох однаковостей: дані, поділ, метрика й бюджет на налаштування. Тут порушена остання: одну модель довго крутили, іншу взяли як є. У практиці видно, що навіть чотири кандидати на модель міняють місця в рейтингу — ліс піднімається з четвертого місця на друге.
Питання 3 / 8
На 20 навчальних оголошеннях логістична регресія дала 87.0 % точності, а дерево глибини 4 — 80.1 %. На 800 оголошеннях логістична дає 91.4 %, дерево — 94.7 %. Чому так?
Чому так. У логістичної регресії тут три числа — їх можна оцінити навіть по двадцятьох точках. У дерева глибини 4 шістнадцять листків, і на малій вибірці на кожен припадає по одному-двох оголошень. Коли даних стає багато, обмеженням стає вже не оцінка параметрів, а форма межі — і пряма програє сходинкам.
Питання 4 / 8
Дві моделі міряли F1 крос-валідацією, але кожну зі своїм random_state поділу: дерево дало 0.829, логістична — 0.847. Що можна стверджувати?
Чому так. Однакова метрика — це лише одна з чотирьох умов; поділ теж мусить бути спільним. На нашій дошці дерево на пʼятьох різних поділах дає від 0.829 до 0.862, логістична — від 0.820 до 0.847. Різниця, здобута на різних поділах, менша за власний розкид кожної моделі, тож вона нічого не доводить.
Питання 5 / 8
На нашій дошці бустинг із коробки дав F1 = 0.919, а логістична регресія з однією доданою ознакою «ціна ÷ медіанна ціна такого бренду й року» — 0.985. Який висновок правильний?
Чому так. Шахрайство в задачі означає «ціна підозріло низька для такого телефона», тобто відношення. Дерева здатні зібрати його з розрізів наближено, лінійна модель не здатна взагалі — поки ми не порахуємо його самі. Витоку тут немає: медіана рахується з ознак, цільову змінну для неї не використовують.
Питання 6 / 8
Для якої задачі одиночне дерево рішень — обґрунтованіший вибір, ніж бустинг, навіть якщо бустинг точніший?
Чому так. Дерево можна намалювати й прочитати вголос: «ціна нижча за 3 200 грн і акаунт молодший за три місяці». Ансамбль із сотень дерев такої відповіді не дає, а в кредитуванні, медицині й наймі пояснюваність буває обовʼязковою вимогою. Решта варіантів — це якраз ситуації, у яких бустинг сильніший.
Питання 7 / 8
Що з переліченого вибір моделі НЕ виправить?
Чому так. Нелінійність, взаємодії й масштаб — це саме те, що лікується заміною моделі або передобробкою. Витік, зміщена вибірка й погані ознаки — ні: вони роблять чудовою метрику всіх моделей одразу, тому їх неможливо помітити з боку порівняння.
Питання 8 / 8
У який момент на новій задачі варто вперше запускати бустинг?
Чому так. Порядок дій вибудуваний за ціною кроку: базова лінія коштує секунду, проста модель хвилину, ліс хвилини, бустинг години. Якщо проста модель не відірвалась від базової лінії, справа в даних, а не в алгоритмі, і бустинг не допоможе. Якщо ліс уже дає потрібну якість, налаштування бустингу може не окупитись.