Похідна сигмоїди ніде не перевищує 0.25. Що це число означає для мережі з десяти прихованих шарів на сигмоїді?
Чому так. Похідні перемножуються вздовж усього шляху назад, тому обмеження на кожній ланці підноситься в степінь глибини: 0.2510 = 9.5·10−6. Це не «трохи повільніше» — перші шари не рухаються взагалі. І швидкість навчання тут не рятує: помножити мікроскопічний градієнт на велике число можна, але разом із ним підсилиться й шум, а решта шарів отримає крок, від якого модель розлетиться.
Питання 2 / 8
Мережа 2 на 64 на 1 з ReLU навчається на дошці оголошень. При кроці 5 точність 0.924, при кроці 10 теж 0.924, але мертвих нейронів уже 35 із 64. Що з цього випливає?
Чому так. Мертвий нейрон видає нуль і не отримує градієнта — він просто зникає з мережі. Для цієї нескладної задачі 29 живих нейронів роблять ту саму роботу, що й 64, тому метрика не змінюється. Саме тому смерть нейронів треба ловити окремою перевіркою, а не сподіватись, що її покаже точність: катастрофа стає видимою аж тоді, коли мертві всі 64 і мережа видає константу.
Питання 3 / 8
Чому не можна ініціалізувати всі ваги мережі нулями?
Чому так. Градієнт ваги другого шару дорівнює провині, помноженій на активацію першого, — а вона нульова. Градієнт ваг першого шару множиться на ваги другого — теж нульові. Тому це не «повільніше», а «ніколи»: у практиці теми мережа після 400 епох має рівно нульові ваги й втрату, що дорівнює ентропії міток. Останній варіант описує сусідню, слабшу біду — старт з однакових ненульових чисел; там градієнти справді ненульові, але шар назавжди лишається одним нейроном.
Питання 4 / 8
У формулі ініціалізації He дисперсія ваг дорівнює 2/n_in, а не 1/n_in, як у Xavier. Звідки береться двійка?
Чому так. Виведення в одну дію: для симетричного розподілу ReLU залишає половину значень, тому середній квадрат активації дорівнює половині дисперсії передактивації. Щоб дисперсія не зменшувалась щошару, дисперсію ваг беруть удвічі більшою. Це видно просто на екрані: в інтерактиві лекції частка нулів серед активацій тримається біля 55 % при будь-якому масштабі ваг, а Xavier під ReLU дає множник 0.5 і за десять шарів утрачає близько трьох порядків.
Питання 5 / 8
Задача: передбачити ціну вживаного телефона в гривнях. Яку активацію ставити на вихідний нейрон?
Чому так. Регресія потребує числа, а не ймовірності, тому будь-яка тиснуча функція лише обріже діапазон. Softmax тут найгірший вибір: він робить із виходів розподіл, сума якого дорівнює одиниці, тож модель фізично не зможе видати нічого, крім часток. ReLU виглядає розумно («ціна невідʼємна»), але вбиває градієнт скрізь, де модель промахнулась у мінус, і вчитися звідти вона вже не зможе.
Питання 6 / 8
Твердження: «ReLU кращий за сигмоїду завжди, тому сигмоїда в сучасних мережах не потрібна». Що з ним не так?
Чому так. Правила для прихованих шарів і для виходу протилежні. У прихованих шарах активацію обирають за похідною, бо вона множиться стільки разів, скільки шарів. На виході її обирають за формою, бо це остання ланка й підноситись у степінь нема чому — тому там стеля 0.25 не шкодить. Більше того, у парі з крос-ентропією похідна сигмоїди скорочується повністю й градієнт виходу дорівнює простій різниці «прогноз мінус правда».
Питання 7 / 8
У мережі з двадцяти шарів на tanh перший шар отримує приблизно пʼяту частину того градієнта, що останній, а на сигмоїді — близько 10 у мінус дванадцятому степені. Чому різниця така величезна, якщо стеля похідної відрізняється лише вчетверо?
Чому так. Уся тема тримається на тому, що множники перемножуються, а не додаються. Виміряний множник tanh близько 0.9, сигмоїди — близько 0.23; у двадцятому степені це 0.12 проти 10−13. Центрованість виходу tanh — правдива й корисна властивість, але вона впливає на форму траєкторії спуску, а не на порядок величини градієнта.
Питання 8 / 8
Мережа з двадцяти шарів на сигмоїді не вчиться: перші шари стоять із випадковими вагами. Що з переліченого справді допоможе, а що ні?
Чому так. Затухання лікують на етапі проєктування, а не після факту. ReLU дає похідну рівно одиницю на додатній півосі, а He тримає дисперсію активацій сталою по шарах — і ланцюг перестає гаснути. Більша швидкість навчання нічого не виправляє: вона однаково множить і мікроскопічний градієнт перших шарів, і нормальний градієнт останніх, тому верхні шари розлетяться раніше, ніж нижні зрушать. Більші ваги дають дзеркальну біду — сигмоїда йде в насичення, і при відхиленні ваг 1.0 на сто входів середня похідна падає з 0.207 до 0.039.