Ланцюжок виправлень

Уяви редактора, який вичитує чужий рукопис. Перший прохід ловить грубе: пропущені коми, зламані відмінки. Другий прохід уже не шукає ком — вони виправлені; він шукає те, що лишилось. Третій працює з тим, що проґавив другий. Жоден окремий прохід не геніальний, жоден не переписує текст заново — і все ж після десятка проходів рукопис чистий.

У попередній темі ми зібрали ансамбль іншим способом: сто дерев виросли незалежно, кожне на своїй бутстреп-вибірці, і відповідь дало голосування. Це ансамбль-натовп. Сьогодні буде ансамбль-конвеєр: моделі з’являються по черзі, і кожна наступна працює виключно з тим, що недоробили попередні. Метод називається бустинг (boosting — «підсилення»), а його найпоширеніший різновид — градієнтний бустинг.

Наскрізний приклад лишається тим самим, що й у темах про перенавчання та регуляризацію: дошка оголошень про вживані телефони. Задача — передбачити ціну за роком випуску. На регресії послідовне виправлення видно найкраще: можна буквально подивитись, як на кожному кроці тане недорахована частина ціни.

01 / Два підходиДві філософії ансамблю

Ансамбль — це набір моделей, чиї відповіді зливають в одну. Способів зібрати такий набір рівно два, і вони протилежні за задумом.

Ліс — це паралель. Кожне дерево бачить свою випадкову підвибірку й свій випадковий набір ознак, кожне росте до кінця, тобто кожне саме по собі досить сильне. Дерева помиляються по-різному, і при усередненні їхні відхилення взаємно гасяться. Мовою розкладу помилки: ліс б’є по дисперсії, лишаючи зміщення таким, яким воно було в одного глибокого дерева — тобто малим.

Бустинг — це послідовність. Дерева тут навмисне слабкі: три-чотири питання, і все. Одне таке дерево має велике зміщення — воно грубо, приблизно описує залежність. Але кожне наступне додається саме туди, де попередні недобрали, і сума поступово згинається під форму даних. Бустинг б’є по зміщенню.

Ці ролі — «ліс проти дисперсії, бустинг проти зміщення» — задають усі практичні відмінності: глибину дерев, чутливість до налаштувань, поведінку при зростанні їхньої кількості. Порівняльна таблиця вже є в §12 попередньої теми; тут ми не переказуємо її, а розбираємо механіку, з якої вона виростає.

02 / МатеріалНавіщо навмисне слабкий учень

Слабкий учень (weak learner) — модель, яка ледь краща за найпримітивнішу відповідь. Для регресії найпримітивніша відповідь — середня ціна по всій дошці; слабкий учень має бути хоч трохи точнішим за неї. Крайній випадок такої моделі має власне імʼя: пеньок (stump) — дерево глибиною один, тобто єдине питання й дві відповіді. На восьми оголошеннях, з якими ми зараз працюватимемо, він виглядає так: «рік випуску до 2021 включно?» — так, 3 133 грн; ні, 12 000 грн. Оце й уся модель.

Здається дивним: у нас є алгоритм, який уміє будувати повноцінні дерева, — навіщо свідомо себе обмежувати? Відповідь у тому, що́ саме ансамбль уміє виправляти.

Усереднення незалежних моделей — інструмент проти дисперсії, і йому потрібні учасники з малим зміщенням, тобто глибокі. Послідовне додавання — інструмент проти зміщення, і йому потрібно рівно навпаки: учасники з малою дисперсією, бо їхні власні випадкові похибки тут не гасяться, а накопичуються. Мілке дерево майже не залежить від того, які саме оголошення потрапили у вибірку: воно ставить одне-два питання по найсильнішій закономірності. Глибоке дерево гуляє від вибірки до вибірки — і ланцюжок із таких дерев успадкує весь цей розкид, помножений на кількість кроків.

Ось сорок пʼять оголошень із нашої дошки і чотири моделі на них. Три перші — одне дерево різної глибини, навчене одразу на ціні. Четверта — ланцюжок із двадцяти семи дерев глибини 2, той самий, що буде далі в цій лекції:

Читаємо рядки. Пеньок нікуди не годиться: 2 572 грн помилки — це майже ціна дешевого телефона. Дерево глибини 10 запамʼятало навчальні дані до нуля й на нових працює гірше, ніж дерево глибини 3, — класичне перенавчання. А ланцюжок із дерев глибини 2, жодне з яких саме по собі не варте нічого, дає 1 181 грн — на 186 грн краще за найкраще дерево в цій таблиці. Слабкість учня тут не вада, а умова роботи методу.

03 / МеханікаНавчання на залишках

Тепер найважливіше. Візьмімо вісім оголошень — по одному на кожні два роки — і пройдімо ланцюжок руками.

Крок нульовий: моделі ще немає, тому найкраща відповідь — середня ціна. Складаємо всі вісім і ділимо на вісім:

Позначення F (від function) — це прогноз усього ансамблю, а нижній індекс — скільки дерев у нього вже додано. F0 — ансамбль із нуля дерев, тобто просто константа.

Тепер визначимо головне слово теми. Залишок (residual) — це різниця між фактом і поточним прогнозом:

Тут y — справжня ціна оголошення, F(x) — те, що каже ансамбль, а r — недорахована частина. Для найдорожчого телефона 2024 року залишок після нульового кроку становить 15 200 − 5 350 = 9 850 грн. Модель недооцінила його майже на десять тисяч.

Ідея бустингу вміщається в один рядок: навчімо наступне дерево не на цінах, а на залишках. Для дерева це звичайнісінька задача регресії — просто цільова змінна тепер називається «скільки гривень ми недорахували». Знайдене дерево додаємо до ансамблю:

Читаємо посимвольно. Fm−1 — ансамбль, який був; hm — щойно навчене на залишках дерево; ν (грецька «ню») — швидкість навчання, число від 0 до 1, яке каже, яку частку поправки взяти. Дерево додається не цілком, а вкороченим — щоб ансамбль не стрибав через ціль. Чому саме так і що буває при ν = 1, розберемо в §5; поки що візьмімо ν = 0.5, тобто «додаємо половину знайденої поправки».

Перше дерево (глибина 2, тобто чотири листки) розбило вісім оголошень на чотири групи й для кожної порахувало середній залишок. Чотири найстаріші телефони, 2010–2016 років, константа переоцінила в середньому на 2 975 грн — їхній залишок вийшов від’ємним. Пару 2018 і 2020 — на 700 грн. А от телефон 2022 року вона недооцінила на 3 450 грн, телефон 2024-го — аж на 9 850 грн. Беремо половину кожної поправки й додаємо до 5 350. Ось що вийшло, і ось що з цього вчитиме друге дерево:

Порахуй кілька клітинок очима — арифметика тут уся на поверхні. Рядок 2024: прогноз після першого дерева 10 275, факт 15 200, залишок 15 200 − 10 275 = 4 925. Друге дерево внесло +2 463, отже 10 275 + 2 463 = 12 738, і новий залишок 15 200 − 12 738 = 2 462. Був 9 850, став 4 925, став 2 462. Рядок 2016: залишок стиснувся з −963 до −248. Рядок 2018: з −1 200 до −485.

Тепер зведімо всі вісім залишків в одне число — корінь із середнього квадрата помилки (RMSE, метрика з теми про метрики):

Обидва рядки приблизно діляться навпіл із кожним деревом. Це і є бустинг: жодне окреме дерево не вирішує задачу, але кожне забирає свою частку того, що лишилось.

04 / ЗбіркаАлгоритм у пʼять рядків

Тепер увесь градієнтний бустинг для регресії можна записати повністю. Задано навчальну вибірку, кількість дерев M, швидкість навчання ν й обмеження на одне дерево (глибина, мінімальний розмір листка):

1. Почни з константи: F0 дорівнює середній ціні по навчальній вибірці.
2. Для кожного кроку m = 1…M порахуй залишки всіх обʼєктів: ri = yi − Fm−1(xi).
3. Навчи мілке дерево hm передбачати ці залишки за тими самими ознаками.
4. Онови ансамбль: Fm = Fm−1 + ν · hm.
5. Кінцевий прогноз — сума константи й усіх дерев із їхніми множниками.

Ніякої ваги обʼєктів, ніякого перезважування вибірки — лише зміна цільової змінної на кожному кроці. Це варто підкреслити, бо історично першим бустингом був AdaBoost (1995), і він працює інакше: вибірка там лишається тою самою, а змінюються ваги обʼєктів — після кожної ітерації неправильно класифіковані приклади важчають, і наступна модель приділяє їм більше уваги. Градієнтний бустинг (Джером Фрідман, 1999) замінив цю ідею на загальнішу: замість ваг — залишки, замість «правильно чи ні» — будь-яка диференційовна функція втрат. AdaBoost виявився окремим випадком градієнтного бустингу з експоненційною втратою.

05 / КрокШвидкість навчання

Повернімось до множника ν. Навіщо навмисне вкорочувати поправку, якщо дерево вже знайшло її оптимальну величину?

Відповідь найлегше побачити на тому самому оголошенні 2024 року. У нашому ланцюжку воно опинялось у власному листку — саме одне, — тому дерево щоразу вгадувало його залишок точно. Підставмо це в правило оновлення. Якщо h дорівнює залишку r, то новий залишок дорівнює:

Тобто кожен крок множить залишок на (1 − ν). При ν = 0.5 залишок ділиться навпіл: 9 850 → 4 925 → 2 463 → 1 231 → 616 → 308. Саме ці числа стоять у таблиці вище — вони не «схожі» на геометричну прогресію, вони і є нею.

Порахуймо, скільки кроків треба, щоб недоплата за цей телефон упала нижче 500 грн:

Тобто ν = 1 закриває помилку за один крок, а ν = 0.1 — за двадцять девʼять. Виглядає так, ніби великий крок кращий у всьому. Пастка в слові «точно»: дерево вгадало залишок точно лише на навчальних даних. У залишку сидить не тільки закономірність, а й шум — випадкове відхилення ціни цього конкретного продавця. Крок ν = 1 заганяє в ансамбль і сигнал, і шум одним рухом, без права на перегляд. Малий крок додає потроху: сигнал, який повторюється в багатьох оголошеннях, накопичується від дерева до дерева, а шум, який у кожного оголошення свій, накопичуватись не встигає.

06 / МістокЧому це градієнтний спуск

Слово «градієнтний» у назві досі виглядало прикрасою: ми ніде не рахували жодної похідної, а просто віднімали прогноз від факту. Зараз стане видно, що це одне й те саме.

У темі про градієнтний спуск правило було таке: щоб зменшити втрату, зрушуй параметр проти градієнта. Виведімо, у що воно перетворюється тут.

Тепер найважливіше — у якому просторі робиться крок. У темі 16 ми рухали число: вага w зсувалась на −η·∂L/∂w, і після кроку модель лишалася тою самою прямою, просто з іншим нахилом. Тут ми рухаємо функцію: до F додається ціле нове дерево. Прогноз для кожного оголошення робить свій крок проти градієнта, а дерево — це спосіб задати всі ці кроки однією компактною формулою.

Звідси й назва: градієнтний спуск у просторі функцій. І звідси ж випливає узагальнення, заради якого все й затівалось. Якщо взяти іншу втрату, антиградієнт буде іншим — і дерева вчитимуться вже не на залишках. Для абсолютної втрати |y − F| похідна дорівнює ±1, тож дерева вчаться на знаках помилок: модель стає стійкою до викидів, бо оголошення з помилкою в 50 000 грн тягне рівно стільки ж, скільки помилка в 50 грн. Для класифікації беруть логістичну втрату з теми 17, і антиградієнт стає різницею між міткою та передбаченою ймовірністю. Механіка ланцюжка при цьому не змінюється жодним рядком.

07 / МежаКоли дерев забагато

Ось тут бустинг найсильніше відрізняється від лісу, і на цьому спотикаються найчастіше. У лісі кількість дерев — питання бюджету: більше дерев ніколи не шкодить, крива якості просто виходить на плато. У бустингу більше дерев цілком може зашкодити, і причина проста: кожне нове дерево вчиться на залишках, а коли закономірність уже вибрана, у залишках лишається сам лише шум. Ансамбль слухняно починає підганятися під шум.

Перевіримо це на 45 навчальних оголошеннях і 300 нових, яких модель не бачила.

Розвʼязок стандартний і називається рання зупинка (early stopping). Відкладаємо частину навчальних даних у валідаційну вибірку, після кожного дерева міряємо на ній помилку й припиняємо, щойно вона перестала покращуватись протягом заданої кількості кроків підряд. У бібліотеках це параметр на кшталт early_stopping_rounds=50: «якщо пʼятдесят дерев поспіль не дали покращення — зупиняйся й повертай найкращий стан».

Друге спостереження з тієї самої картинки. Навчальна помилка падає монотонно й ніколи не розвертається — тому за нею неможливо помітити момент, коли стало гірше. У бустингу не буває «крива навчання сама покаже»: без відкладених даних ти не бачиш взагалі нічого.

08 / КеруванняГоловні ручки

Бустинг куди чутливіший до налаштувань, ніж ліс. Ліс працює «з коробки» майже завжди; бустинг зі значеннями за замовчуванням може дати як чудовий результат, так і посередній. Ось ручки, які вирішують, згруповані за тим, на що вони впливають.

09 / ІнструментиТри реалізації

Ідея бустингу одна, реалізацій багато, і три з них покривають майже всі практичні випадки. Розрізняються вони не якістю ідеї, а інженерією: як швидко знайти розріз і як рости дереву.

Спільне для всіх трьох — гістограмний пошук розрізу. Класичне дерево перебирає всі можливі пороги між сусідніми значеннями ознаки; при мільйоні рядків це мільйон кандидатів на кожну ознаку в кожному вузлі. Гістограмний підхід спершу розкладає значення ознаки по 255 кошиках і перебирає лише межі кошиків. Точність розрізу трохи падає, швидкість зростає на порядок — і на великих даних це вирішальна перевага.

І чесна оцінка місця бустингу серед усього іншого. На табличних даних — тобто там, де є рядки й колонки, числа й категорії, а не картинки чи текст — градієнтний бустинг на деревах зазвичай найсильніше з наявного. Він регулярно виграє в нейронних мереж на таких задачах і майже завжди — у лінійних моделей і одиночних дерев. Це не маркетинг, а багаторічне спостереження за змаганнями й промисловими системами. У scikit-learn є власна гістограмна реалізація — HistGradientBoostingRegressor, — і для більшості задач її цілком досить, щоб не ставити зовнішню бібліотеку.

10 / МежіКоли бустинг не потрібен

Найкращий алгоритм на табличних даних — не означає «завжди правильний вибір». Є три ситуації, у яких бустинг варто відкласти.

Мало даних. На двохстах рядках бустинг здебільшого програє лісу: ланцюжок із мілких дерев уміє дуже точно підганятись, а перевіряти цю точність нема на чому. Рання зупинка вимагає валідаційної вибірки, а відкласти двадцять рядків із двохсот — це отримати оцінку з таким розкидом, що вона ні на що не вкаже. Ліс у цьому режимі надійніший: він дає OOB-оцінку задарма й не має параметра, який можна катастрофічно не вгадати.

Потрібно пояснити рішення. Одне дерево можна намалювати й прочитати вголос. Сто дерев лісу вже ні, але ліс хоча б дає важливості ознак, які приблизно відповідають інтуїції. Бустинг у цьому сенсі найтемніший: його дерева передбачають не ціну, а залишок — величину, у якої немає побутового сенсу. Питання «чому модель поставила цьому телефону 12 700 грн» вимагає окремих інструментів пояснення, і відповідь на нього завжди буде наближеною.

Немає часу на налаштування. Ліс має по суті одну ручку (max_features) і працює зі значеннями за замовчуванням. Бустинг має мінімум дві повʼязані пари й вимагає ранньої зупинки. Якщо потрібна базова лінія за пʼять хвилин — бери ліс. Якщо потрібен максимум і є година — бери бустинг.

11 / ПідсумокЩо варто винести

Бустинг — це відповідь на питання «а що, як робити моделі не паралельно, а по черзі». Відповідь виявилась потужнішою, ніж очікували, бо разом із нею прийшов цілий спосіб думати про навчання.

• Залишок — недорахована частина відповіді; наступне дерево вчиться саме на ній, а не на початковій цілі.
• Слабкий учень потрібен не для економії, а тому що похибки учасників у ланцюжку накопичуються, а не гасяться. Глибина 3–8 — робочий діапазон.
• Швидкість навчання множить залишок на (1 − ν) щокроку. Малий крок доходить до нижчого дна, але вимагає пропорційно більше дерев — це одна ручка з двома кінцями.
• Навчання на залишках — це градієнтний спуск, тільки крок робиться в просторі функцій: до прогнозу додається дерево, а не змінюється число. Змінивши функцію втрат, отримуєш іншу цільову величину для дерев — і той самий алгоритм.
• Більше дерев може зашкодити. Це головна практична відмінність від лісу. Рання зупинка по окремій валідаційній вибірці — не опція, а норма.
• Ліс проти дисперсії, бустинг проти зміщення. Дві протилежні хвороби — два протилежні ліки.

Ми пройшли блок цілком: від одного дерева через ліс до ланцюжка. Разом із лінійними моделями, kNN і наївним Баєсом у тебе тепер повна полиця алгоритмів — і одразу постає незручне питання, яке досі оминалось: як із них вибирати. Не «який алгоритм найкращий узагалі», бо такого немає, а як поставити чесне порівняння на конкретних даних, за якою метрикою й із яким запасом на випадковість. Це наступна тема.