Ланцюжок виправлень

Уяви редактора, який вичитує чужий рукопис. Перший прохід ловить грубе: пропущені коми, зламані відмінки. Другий прохід уже не шукає ком — вони виправлені; він шукає те, що лишилось. Третій працює з тим, що проґавив другий. Жоден окремий прохід не геніальний, жоден не переписує текст заново — і все ж після десятка проходів рукопис чистий.

У попередній темі ми зібрали ансамбль іншим способом: сто дерев виросли незалежно, кожне на своїй бутстреп-вибірці, і відповідь дало голосування. Це ансамбль-натовп. Сьогодні буде ансамбль-конвеєр: моделі зʼявляються по черзі, і кожна наступна працює виключно з тим, що недоробили попередні. Метод називається бустинг (boosting — «підсилення»), а його найпоширеніший різновид — градієнтний бустинг.

Наскрізний приклад лишається тим самим, що й у темах про перенавчання та регуляризацію: дошка оголошень про вживані телефони. Задача — передбачити ціну за роком випуску. На регресії послідовне виправлення видно найкраще: можна буквально подивитись, як на кожному кроці тане недорахована частина ціни.

Два підходиДві філософії ансамблю

Ансамбль — це набір моделей, чиї відповіді зливають в одну. Способів зібрати такий набір рівно два, і вони протилежні за задумом.

Ліс — це паралель. Кожне дерево бачить свою випадкову підвибірку й свій випадковий набір ознак, кожне росте до кінця, тобто кожне саме по собі досить сильне. Дерева помиляються по-різному, і при усередненні їхні відхилення взаємно гасяться. Мовою розкладу помилки: ліс бʼє по дисперсії, лишаючи зміщення таким, яким воно було в одного глибокого дерева — тобто малим.

Бустинг — це послідовність. Дерева тут навмисне слабкі: три-чотири питання, і все. Одне таке дерево має велике зміщення — воно грубо, приблизно описує залежність. Але кожне наступне додається саме туди, де попередні недобрали, і сума поступово згинається під форму даних. Бустинг бʼє по зміщенню.

Ці ролі — «ліс проти дисперсії, бустинг проти зміщення» — задають усі практичні відмінності: глибину дерев, чутливість до налаштувань, поведінку при зростанні їхньої кількості. Порівняльна таблиця вже є в §12 попередньої теми; тут ми не переказуємо її, а розбираємо механіку, з якої вона виростає.

МатеріалНавіщо навмисне слабкий учень

Слабкий учень (weak learner) — модель, яка ледь краща за найпримітивнішу відповідь. Для регресії найпримітивніша відповідь — середня ціна по всій дошці; слабкий учень має бути хоч трохи точнішим за неї. Крайній випадок такої моделі має власне імʼя: пеньок (stump) — дерево глибиною один, тобто єдине питання й дві відповіді. На восьми оголошеннях, з якими ми зараз працюватимемо, він виглядає так: «рік випуску до 2021 включно?» — так, 3 133 грн; ні, 12 000 грн. Оце й уся модель.

Здається дивним: у нас є алгоритм, який уміє будувати повноцінні дерева, — навіщо свідомо себе обмежувати? Відповідь у тому, що́ саме ансамбль уміє виправляти.

Усереднення незалежних моделей — інструмент проти дисперсії, і йому потрібні учасники з малим зміщенням, тобто глибокі. Послідовне додавання — інструмент проти зміщення, і йому потрібно рівно навпаки: учасники з малою дисперсією, бо їхні власні випадкові похибки тут не гасяться, а накопичуються. Мілке дерево майже не залежить від того, які саме оголошення потрапили у вибірку: воно ставить одне-два питання по найсильнішій закономірності. Глибоке дерево гуляє від вибірки до вибірки — і ланцюжок із таких дерев успадкує весь цей розкид, помножений на кількість кроків.

Ось сорок пʼять оголошень із нашої дошки і чотири моделі на них. Три перші — одне дерево різної глибини, навчене одразу на ціні. Четверта — ланцюжок із двадцяти семи дерев глибини 2, той самий, що буде далі в цій лекції:

Читаємо рядки. Пеньок нікуди не годиться: 2 572 грн помилки — це майже ціна дешевого телефона. Дерево глибини 10 запамʼятало навчальні дані до нуля й на нових працює гірше, ніж дерево глибини 3, — класичне перенавчання. А ланцюжок із дерев глибини 2, жодне з яких саме по собі не варте нічого, дає 1 181 грн — на 186 грн краще за найкраще дерево в цій таблиці. Слабкість учня тут не вада, а умова роботи методу.

Таблиця, щоправда, порівнює одиночні дерева з одним ланцюжком — а твердження було про інше: що ланцюжок із глибоких дерев гірший за ланцюжок із мілких. Перевірмо саме його. Нижче три ланцюжки на тих самих 45 оголошеннях, з тим самим кроком 0.1 і тією самою довжиною; різниця лише в глибині дерева-учасника.

МеханікаНавчання на залишках

Тепер найважливіше. Візьмімо вісім оголошень — по одному на кожні два роки — і пройдімо ланцюжок руками.

Крок нульовий: моделі ще немає, тому найкраща відповідь — середня ціна. Складаємо всі вісім і ділимо на вісім:

Позначення F (від function) — це прогноз усього ансамблю, а нижній індекс — скільки дерев у нього вже додано. F0 — ансамбль із нуля дерев, тобто просто константа.

Тепер визначимо головне слово теми. Залишок (residual) — це різниця між фактом і поточним прогнозом:

Тут y — справжня ціна оголошення, F(x) — те, що каже ансамбль, а r — недорахована частина. Для найдорожчого телефона 2024 року залишок після нульового кроку становить 15 200 − 5 350 = 9 850 грн. Модель недооцінила його майже на десять тисяч.

Ідея бустингу вміщається в один рядок: навчімо наступне дерево не на цінах, а на залишках. Для дерева це звичайнісінька задача регресії — просто цільова змінна тепер називається «скільки гривень ми недорахували». Знайдене дерево додаємо до ансамблю:

Читаємо посимвольно. Fm−1 — ансамбль, який був; hm — щойно навчене на залишках дерево; ν (грецька «ню») — швидкість навчання, число від 0 до 1, яке каже, яку частку поправки взяти. Дерево додається не цілком, а вкороченим — щоб ансамбль не стрибав через ціль. Чому саме так і що буває при ν = 1, розберемо в §5; поки що візьмімо ν = 0.5, тобто «додаємо половину знайденої поправки».

Дерево при цьому будується точно так само, як у темі про дерева рішень: воно перебирає можливі пороги по році випуску й бере той, що найсильніше зменшує розкид усередині груп. Змінилась не механіка дерева, а лише колонка, яку воно вчиться передбачати. У кожен листок дерево ставить середнє тих залишків, що туди потрапили, — бо коли помилку міряють квадратами, єдине число, яке найкраще заміняє собою групу чисел, це саме їхнє середнє.

Перше дерево (глибина 2, тобто чотири листки) розбило вісім оголошень на чотири групи й для кожної порахувало середній залишок. Чотири найстаріші телефони, 2010–2016 років, константа переоцінила в середньому на 2 975 грн — їхній залишок вийшов відʼємним. Пару 2018 і 2020 — на 700 грн. А от телефон 2022 року вона недооцінила на 3 450 грн, телефон 2024-го — аж на 9 850 грн. Беремо половину кожної поправки й додаємо до 5 350. Ось що вийшло, і ось що з цього вчитиме друге дерево:

Порахуй кілька клітинок очима — арифметика тут уся на поверхні. Рядок 2024: прогноз після першого дерева 10 275, факт 15 200, залишок 15 200 − 10 275 = 4 925. Друге дерево внесло +2 463, отже 10 275 + 2 463 = 12 738, і новий залишок 15 200 − 12 738 = 2 462. Був 9 850, став 4 925, став 2 462. Рядок 2016: залишок стиснувся з −963 до −248. Рядок 2018: з −1 200 до −485.

Тепер зведімо всі вісім залишків в одне число — корінь із середнього квадрата помилки (RMSE, метрика з теми про метрики):

Обидва рядки приблизно діляться навпіл із кожним деревом. Це і є бустинг: жодне окреме дерево не вирішує задачу, але кожне забирає свою частку того, що лишилось.

ЗбіркаАлгоритм у пʼять рядків

Тепер увесь градієнтний бустинг для регресії можна записати повністю. Задано навчальну вибірку, кількість дерев M, швидкість навчання ν й обмеження на одне дерево (глибина, мінімальний розмір листка):

1. Почни з константи: F0 дорівнює середній ціні по навчальній вибірці.
2. Для кожного кроку m = 1…M порахуй залишки всіх обʼєктів: ri = yi − Fm−1(xi).
3. Навчи мілке дерево hm передбачати ці залишки за тими самими ознаками.
4. Онови ансамбль: Fm = Fm−1 + ν · hm.
5. Кінцевий прогноз — сума константи й усіх дерев із їхніми множниками.

Ніякої ваги обʼєктів, ніякого перезважування вибірки — лише зміна цільової змінної на кожному кроці. Це варто підкреслити, бо історично першим бустингом був AdaBoost (1995), і він працює інакше: вибірка там лишається тою самою, а змінюються ваги обʼєктів — після кожної ітерації неправильно класифіковані приклади важчають, і наступна модель приділяє їм більше уваги. Градієнтний бустинг (Джером Фрідман, 1999) замінив цю ідею на загальнішу: замість ваг — залишки, замість «правильно чи ні» — будь-яка диференційовна функція втрат. AdaBoost виявився окремим випадком градієнтного бустингу з експоненційною втратою. «Диференційовна» тут означає просто «плавна»: у такої функції в кожній точці можна спитати, куди й наскільки круто вона нахилена. Що це дає, буде видно в §6.

КрокШвидкість навчання

Повернімось до множника ν. Навіщо навмисне вкорочувати поправку, якщо дерево вже знайшло її оптимальну величину?

Відповідь найлегше побачити на тому самому оголошенні 2024 року. У нашому ланцюжку воно опинялось у власному листку — саме одне, — тому дерево щоразу вгадувало його залишок точно. Підставмо це в правило оновлення. Якщо h дорівнює залишку r, то новий залишок дорівнює:

Тобто кожен крок множить залишок на (1 − ν). При ν = 0.5 залишок ділиться навпіл: 9 850 → 4 925 → 2 463 → 1 231 → 616 → 308. Саме ці шість чисел стоять у рядку «найбільший залишок» — вони не «схожі» на геометричну прогресію, вони і є нею. Сьоме число того рядка, 169, з прогресії випадає, і це не помилка: після шостого дерева залишок телефона 2024 року становить уже 154 грн, і найбільшим став залишок іншого оголошення — 2018 року. Воно весь час ділило листок із сусідами, а не сиділо в ньому саме, тому його поправка щоразу була усередненою й залишок танув повільніше.

Порахуймо, скільки кроків треба, щоб недоплата за цей телефон упала нижче 500 грн:

Тобто ν = 1 закриває помилку за один крок, а ν = 0.1 — за двадцять девʼять. Виглядає так, ніби великий крок кращий у всьому. Пастка в слові «точно»: дерево вгадало залишок точно лише на навчальних даних. У залишку сидить не тільки закономірність, а й шум — випадкове відхилення ціни цього конкретного продавця. Крок ν = 1 заганяє в ансамбль і сигнал, і шум одним рухом, без права на перегляд. Малий крок додає потроху: сигнал, який повторюється в багатьох оголошеннях, накопичується від дерева до дерева, а шум, який у кожного оголошення свій, накопичуватись не встигає.

МістокЧому це градієнтний спуск

Слово «градієнтний» у назві досі виглядало прикрасою: ми ніде не рахували жодної похідної, а просто віднімали прогноз від факту. Зараз стане видно, що це одне й те саме.

У темі про градієнтний спуск правило було таке: щоб зменшити втрату, зрушуй параметр проти градієнта. Виведімо, у що воно перетворюється тут.

Тепер найважливіше — у якому просторі робиться крок. У темі 13 ми рухали число: вага w зсувалась на −η·∂L/∂w, де η (грецька «ета») — довжина кроку, той самий за роллю множник, що ν тут. Після кроку модель лишалася тою самою прямою, просто з іншим нахилом. Тут ми рухаємо функцію: до F додається ціле нове дерево. Прогноз для кожного оголошення робить свій крок проти градієнта, а дерево — це спосіб задати всі ці кроки однією компактною формулою.

Звідси й назва: градієнтний спуск у просторі функцій. І звідси ж випливає узагальнення, заради якого все й затівалось. Якщо взяти іншу втрату, антиградієнт буде іншим — і дерева вчитимуться вже не на залишках. Для абсолютної втрати |y − F| похідна дорівнює ±1, тож дерева вчаться на знаках помилок: модель стає стійкою до викидів, бо оголошення з помилкою в 50 000 грн тягне рівно стільки ж, скільки помилка в 50 грн. Для класифікації беруть логістичну втрату з теми 14, і антиградієнт стає різницею між міткою та передбаченою ймовірністю. Механіка ланцюжка при цьому не змінюється жодним рядком.

МежаКоли дерев забагато

Ось тут бустинг найсильніше відрізняється від лісу, і на цьому спотикаються найчастіше. У лісі кількість дерев — питання бюджету: більше дерев ніколи не шкодить, крива якості просто виходить на плато. У бустингу більше дерев цілком може зашкодити, і причина проста: кожне нове дерево вчиться на залишках, а коли закономірність уже вибрана, у залишках лишається сам лише шум. Ансамбль слухняно починає підганятися під шум.

Перевіримо це на 45 навчальних оголошеннях і 300 нових, яких модель не бачила.

Розвʼязок стандартний і називається рання зупинка (early stopping). Відкладаємо частину навчальних даних у валідаційну вибірку, після кожного дерева міряємо на ній помилку й припиняємо, щойно вона перестала покращуватись протягом заданої кількості кроків підряд. У бібліотеках це параметр на кшталт early_stopping_rounds=50: «якщо пʼятдесят дерев поспіль не дали покращення — зупиняйся й повертай найкращий стан».

Подивімось, скільки саме коштує ця чесність. Відкладімо з наших 45 оголошень 11 у валідацію, навчімо ланцюжок на решті 34 і зупинімось за правилом «пʼятдесят дерев поспіль без покращення». Далі порівняймо два способи обрати довжину ланцюжка — по валідації й підглядаючи в тестові 300:

Різниця — 35 грн, і читати її треба уважно. Число 1 301 не бреше саме по собі: ланцюжок із 32 дерев справді дає на цих 300 оголошеннях таку помилку. Бреше воно як оцінка майбутнього: щоб його дістати, ми обрали довжину ланцюжка під ці конкретні 300 оголошень, тобто підігнали гіперпараметр під ту саму вибірку, якою потім хвалимось. На наступних 300 оголошеннях така перевага не повториться, бо мінімум там припаде на інше дерево. Чесна процедура дає 1 336 грн — і саме це число можна називати вголос.

І друге спостереження, назад з інтерактиву 3. Навчальна помилка падає монотонно й ніколи не розвертається — тому за нею неможливо помітити момент, коли стало гірше. У бустингу не буває «крива навчання сама покаже»: без відкладених даних ти не бачиш взагалі нічого.

КеруванняГоловні ручки

Бустинг куди чутливіший до налаштувань, ніж ліс. Ліс працює «з коробки» майже завжди; бустинг зі значеннями за замовчуванням може дати як чудовий результат, так і посередній. Ось ручки, які вирішують, згруповані за тим, на що вони впливають.

ІнструментиТри реалізації

Ідея бустингу одна, реалізацій багато, і три з них покривають майже всі практичні випадки. Розрізняються вони не якістю ідеї, а інженерією: як швидко знайти розріз і як рости дереву.

Спільне для всіх трьох — гістограмний пошук розрізу. Класичне дерево перебирає всі можливі пороги між сусідніми значеннями ознаки; при мільйоні рядків це мільйон кандидатів на кожну ознаку в кожному вузлі. Гістограмний підхід спершу розкладає значення ознаки по 255 кошиках і перебирає лише межі кошиків. Точність розрізу трохи падає, швидкість зростає на порядок — і на великих даних це вирішальна перевага.

І чесна оцінка місця бустингу серед усього іншого. На табличних даних — тобто там, де є рядки й колонки, числа й категорії, а не картинки чи текст — градієнтний бустинг на деревах зазвичай найсильніше з наявного. Він регулярно виграє в нейронних мереж на таких задачах і майже завжди — у лінійних моделей і одиночних дерев. Це не маркетинг, а багаторічне спостереження за змаганнями й промисловими системами. У scikit-learn є власна гістограмна реалізація — HistGradientBoostingRegressor, — і для більшості задач її цілком досить, щоб не ставити зовнішню бібліотеку.

МежіКоли бустинг не потрібен

Найкращий алгоритм на табличних даних — не означає «завжди правильний вибір». Є три ситуації, у яких бустинг варто відкласти.

Мало даних. На двохстах рядках бустинг здебільшого програє лісу: ланцюжок із мілких дерев уміє дуже точно підганятись, а перевіряти цю точність нема на чому. Рання зупинка вимагає валідаційної вибірки, а відкласти двадцять рядків із двохсот — це отримати оцінку з таким розкидом, що вона ні на що не вкаже. Ліс у цьому режимі надійніший: він дає OOB-оцінку задарма й не має параметра, який можна катастрофічно не вгадати.

Потрібно пояснити рішення. Одне дерево можна намалювати й прочитати вголос. Сто дерев лісу вже ні, але ліс хоча б дає важливості ознак, які приблизно відповідають інтуїції. Бустинг у цьому сенсі найтемніший: його дерева передбачають не ціну, а залишок — величину, у якої немає побутового сенсу. Питання «чому модель поставила цьому телефону 12 700 грн» вимагає окремих інструментів пояснення, і відповідь на нього завжди буде наближеною.

Немає часу на налаштування. Ліс має по суті одну ручку (max_features) і працює зі значеннями за замовчуванням. Бустинг має мінімум дві повʼязані пари й вимагає ранньої зупинки. Якщо потрібна базова лінія за пʼять хвилин — бери ліс. Якщо потрібен максимум і є година — бери бустинг.

ПідсумокЩо варто винести

Бустинг — це відповідь на питання «а що, як робити моделі не паралельно, а по черзі». Відповідь виявилась потужнішою, ніж очікували, бо разом із нею прийшов цілий спосіб думати про навчання.

• Залишок — недорахована частина відповіді; наступне дерево вчиться саме на ній, а не на початковій цілі.
• Слабкий учень потрібен не для економії, а тому що похибки учасників у ланцюжку накопичуються, а не гасяться. Глибина 3–8 — робочий діапазон.
• Швидкість навчання множить залишок на (1 − ν) щокроку. Малий крок доходить до нижчого дна, але вимагає пропорційно більше дерев — це одна ручка з двома кінцями.
• Навчання на залишках — це градієнтний спуск, тільки крок робиться в просторі функцій: до прогнозу додається дерево, а не змінюється число. Змінивши функцію втрат, отримуєш іншу цільову величину для дерев — і той самий алгоритм.
• Більше дерев може зашкодити. Це головна практична відмінність від лісу. Рання зупинка по окремій валідаційній вибірці — не опція, а норма.
• Ліс проти дисперсії, бустинг проти зміщення. Дві протилежні хвороби — два протилежні ліки.

Ми пройшли блок цілком: від одного дерева через ліс до ланцюжка. Разом із лінійними моделями, kNN і наївним Баєсом у тебе тепер повна полиця алгоритмів — і одразу постає незручне питання, яке досі оминалось: як із них вибирати. Не «який алгоритм найкращий узагалі», бо такого немає, а як поставити чесне порівняння на конкретних даних, за якою метрикою й із яким запасом на випадковість. Це наступна тема.