U-Net: скіп-зʼєднання й порогова глибина

Сегментація мусить відповісти за кожен піксель. Але щоб зрозуміти, що на картинці зображено, мережа стискає її: пулінг за пулінгом, доки від полотна 64 × 64 не лишиться карта 8 × 8. У цій карті багато знання про предмет і майже нічого про його край — один її піксель відповідає квадрату 8 × 8 вхідних. Тема 29 показала два способи жити з цим: не стискати взагалі (атрозні згортки) або розтягувати назад (ConvTranspose2d). Є третій, і він виявився найживучішим: стиснути, а деталі взяти з ранніх шарів, доки їх ще не викинули. Це U-Net. А головне питання теми — не «чи допомагають скіпи», а з якої глибини вони починають вирішувати, бо поки стискання невелике, губити просто нема чого.

ЗалишокЩо лишилось після теми 29

Зберемо, з чим ми прийшли. Постановку й метрики дала попередня тема, і ми беремо їх готовими, не переказуючи.

Обидва підходи теми 29 мають ту саму ваду, тільки з різних боків. Атрозна згортка не втрачає роздільність — але за це доводиться тягнути велику карту крізь усю мережу, а це памʼять і час. Збільшення повертає розмір — але не повертає інформацію: те, що витерли пулінгом, у карті 8 × 8 просто відсутнє, і жодне розтягування його не воскресить.

Ось третя думка, і вона до смішного проста. Інформація нікуди не поділась — вона лежить у ранніх шарах тієї самої мережі. Карта після першого згорткового блоку має повну роздільність 64 × 64. Її просто ніхто не питав. Треба взяти її і подати декодерові прямо, в обхід усього стискання.

ІдеяІдея U-Net

U-Net (2015) — мережа у формі букви U. Ліва половина, енкодер, іде вниз: згортковий блок, пулінг, згортковий блок, пулінг. З кожним кроком карта вдвічі менша, а каналів удвічі більше. Права половина, декодер, іде вгору дзеркально: розтягнути карту вдвічі, обробити, розтягнути ще раз.

Уся новизна — у горизонтальних перемичках. На кожному рівні декодер отримує дві карти: ту, що прийшла знизу, з глибших шарів, і ту, що прийшла збоку, прямо з енкодера того самого рівня. Ця бічна перемичка й зветься скіп-зʼєднанням (skip connection), або скіпом.

Формально одне зшивання виглядає так. Позначмо u — карту, розтягнуту знизу, а s — карту зі скіпа того самого рівня. Обидві мають однаковий розмір по висоті й ширині, але свою кількість каналів:

cat — це конкатенація, тобто «поставити поруч». Якщо в u було 24 канали і в s теж 24, то на вході блоку їх стане 48. Жодне число не змінилось: вони просто лежать в одному стосі, і наступна згортка сама вирішує, кому яку вагу дати.

ЧомуЧому це працює

Щоб зрозуміти, чому перемичка дає так багато, треба побачити, що саме несуть карти на різних глибинах. Вони різні по двох осях одразу.

Ані верхня карта, ані нижня самі по собі не дають того, що потрібно сегментації. Верхня знає, де край, але не знає, чий він. Нижня знає, чий предмет, але не знає, де саме проходить його межа. Скіп зшиває обидві — і декодер дістає відповідь на обидва питання одночасно.

Тепер поміряймо, скільки саме губиться при стисканні. Замір не потребує жодного навчання: візьмімо еталонну маску, стиснімо її в 2, 4, 8 і 16 разів (у кожній клітинці лишаємо клас, який займає в ній найбільшу площу), розтягнімо назад і порахуймо mIoU проти оригіналу. Це стеля: краще за неї не зробить навіть ідеальний декодер, який нічого не плутає, — бо решти інформації в карті просто немає.

Читається це так. Стиснути маску вдвічі майже безпечно: стеля 0.9324, і хороша мережа підбереться до неї й без сторонньої допомоги. Стиснути ввосьмеро — уже боляче: стеля падає до 0.7760, а на смузі межі до 0.4928. При стисканні в шістнадцять разів від предмета лишається пляма з кількох клітинок: 0.6132 і 0.3801.

Ця таблиця вже підказує головне. Якщо стискання невелике, стеля висока — і скіп дає мало, бо декодерові й так є з чого відновити маску. Якщо стискання сильне, стеля низька — і без скіпа декодер приречений. Отже, десь між цими двома режимами має бути поріг. Знайдімо його.

ПорігПорогова глибина

Тепер головний замір теми. Одна й та сама мережа, чотири глибини стискання — від одного рівня (стискання вдвічі) до чотирьох (у шістнадцять разів), — у двох режимах: зі скіпами й без. Кожна точка навчена тричі, з трьох різних початкових наближень, і в таблиці стоїть середнє з розкидом.

Перше, що видно: мережа зі скіпами дає майже одне й те саме на будь-якій глибині — від 0.9969 до 0.9988. Тобто глибина сама по собі задачі не псує. Псує її глибина без скіпів: 0.9778, потім 0.9466, потім 0.8869, потім 0.7448. Чим сильніше стискання, тим більше втрачено — і тим гірший результат.

Друге: розрив росте не абияк, а приблизно вдвічі з кожним рівнем: 0.0191, 0.0523, 0.1117, 0.2535. Кожен зайвий пулінг подвоює ціну відсутнього скіпа.

А тепер — власне порогова глибина. Формальний критерій у нас один: розрив більший за розкид. За ним поріг дорівнює одному рівню: уже при стисканні вдвічі розрив 0.0191 перевищує розкид 0.0112. Тобто на наших сценах скіпи вирішують від самого початку.

Практичний поріг — інша річ, і він теж вимірюваний. Якщо питати «з якої глибини без скіпів мережа втрачає більше за десяту частину якості», відповідь — три рівні: там розрив уперше перевищує 0.1. До того скіпи корисні, але без них можна жити; починаючи з трьох рівнів — уже ні.

Порівняй ці числа зі стелею роздільності з розділу 3, і картина складеться остаточно. При одному рівні стеля 0.9324, а мережа без скіпів дає 0.9778 — вище за стелю. Протиріччя тут немає: стеля рахувалась для тупого «взяти переважний клас у клітинці», а навчений декодер розумніший — він знає, що предмети опуклі й гладкі, і домальовує край правдоподібно. Порахуймо цей запас на всіх чотирьох глибинах — просто відніміть один рядок від другого:

Мережа стоїть вище за стелю скрізь, і запас навіть росте з глибиною: 0.0454 → 0.1316, майже втричі. Тобто що грубіша карта, то більше навчений декодер додає понад тупе «переважний клас у клітинці» — він домальовує форму, якої в карті вже немає. Але останній стовпчик показує, чому це не рятує: поки запас додав 0.0862, стеля втратила 0.3192 — майже вчетверо більше. Провал мережі без скіпів — це провал стелі, а не декодера: декодер працює навіть краще, просто йому дають дедалі гірший матеріал.

РозкидСкіпи стабілізують навчання

У тій самій таблиці ховається другий результат, який легко проґавити. Подивись не на середні, а на розкиди.

Мережа зі скіпами дає практично одне й те саме з будь-якого початкового наближення: розкид від 0.0005 до 0.0025, тобто третій знак після коми. Без скіпів розкид у 4-55 разів більший. Усі вісім чисел зняті на тих самих перевірних сценах 64 × 64 у двох класах «предмет / фон» — це той самий замір, що й у таблиці розділу 4, по три навчання з різних початкових ваг на кожну точку.

Причина та сама, що й у залишкових звʼязків теми 14, тільки з іншого боку. Скіп дає градієнту короткий шлях від виходу до ранніх шарів: щоб виправити край предмета, сигналу помилки не треба протискатись крізь усе дно мережі. Без скіпа цей шлях один і довгий, і від того, як лягли початкові ваги, залежить, чи мережа взагалі знайде хороше рішення.

Практичний висновок: скіпи економлять не лише якість, а й ваш час. З ними досить одного навчання, щоб оцінити ідею. Без них одне навчання нічого не каже — треба три, і навіть тоді доведеться писати «±0.03».

ЗшиванняКонкатенація проти додавання

Тема 14 уже давала нам скіп — але інший. Залишковий блок ResNet рахує x + F(x): вхід блоку додається до його виходу поелементно. U-Net вхід і вихід зшиває. Різниця здається дрібною, тож розберімо, у чому вона насправді.

Що з цього виходить на практиці? Ми навчили обидва варіанти в однакових умовах, по три зерна.

Результат несподіваний і вартий того, щоб його назвати прямо: спосіб зшивання майже не важить. Конкатенація виграє 0.0012 при розкиді 0.001 — тобто рівно стільки, скільки шум. На смузі межі перевага трохи виразніша, 0.0038, але й вона мала. А от сам факт скіпа коштує 0.1117 — у сто разів більше.

Чому ж усі пишуть U-Net саме через конкатенацію? Три причини, і жодна з них не про якість на іграшкових даних. По-перше, додавання вимагає однакової кількості каналів; в U-Net енкодер і декодер можуть мати різну ширину, і тоді доводиться вставляти згортку 1 × 1 лише заради узгодження. По-друге, конкатенація нічого не втрачає за побудовою — вона не може бути гіршою, бо додавання є її окремим випадком (згортка може навчитись просто скласти). По-третє, на справжніх задачах із десятками каналів і складнішими сценами запас потужності зазвичай окупається. Але на своїх даних це варто перевірити, а не припустити: якщо різниці немає, додавання економить 11 % ваг.

ЯкийЯкі саме скіпи важать

У мережі глибини 3 скіпів три: з рівня 0 (карта 64 × 64), з рівня 1 (32 × 32) і з рівня 2 (16 × 16). Прибираймо їх по одному й дивімось, чого бракує найбільше.

Здорова інтуїція каже: найважливіший — найдрібніший, той, що з рівня 0. Він єдиний несе край предмета в повному розмірі, піксель у піксель. Але інтуїція — не доказ, тож поміряймо.

Інтуїція підтвердилась, і з великим запасом. Прибрати найглибший скіп коштує 0.0007 — це менше за розкид, тобто його там могло б і не бути. Прибрати найдрібніший коштує 0.0388, у пʼятдесят пʼять разів більше, а на смузі межі — 0.1175 проти 0.0021.

Пояснення просте, і воно вже було в таблиці стелі. Скіп із рівня 2 несе карту 16 × 16 — а декодер і так приходить на цей рівень із карти 8 × 8, тобто різниця в роздільності всього вдвічі. Скіп із рівня 0 несе 64 × 64 проти 8 × 8 знизу — різниця у вісім разів. Чим вища роздільність скіпа, тим більше в ньому того, чого немає ніде більше.

ВмістЩо несе скіп

Досі ми міряли, що буває, коли скіпа немає. Тепер подивімось усередину навченої мережі й порівняймо дві карти, які зустрічаються в кожному блоці декодера: ту, що прийшла збоку скіпом, і ту, що прийшла знизу після ConvTranspose2d. Мережа для цього розбору дала mIoU 0.9995, тобто вона повністю навчена, і дивимось ми на робочі активації.

Чотири числа на кожну карту. Частка ненульових — скільки клітинок узагалі щось кажуть після ReLU. Дисперсія — наскільки карта контрастна. Кореляція з межею — наскільки середня карта активацій збігається з еталонною смугою межі; від −1 до +1. Висока частота — наскільки сильно карта міняється після згладжування 3 × 3, віднесено до величини самої карти; це міра дрібних деталей. Це відносний показник, а не відсоток: одиницю він переступати може й у таблиці нижче переступає (1.028). Читай його як «у скільки разів карта зерниста», порівнюючи рядки між собою, а не як «скільки сигналу зникло».

Порівняй два виділені рядки — це саме та пара карт, яку зшиває останній блок декодера. Скіп із рівня 0 має кореляцію з межею +0.351: він спалахує там, де в масці кордон. Карта, що прийшла знизу на той самий рівень, має −0.066 — тобто про положення межі вона не знає нічого. Дисперсія в неї теж удвічі менша (0.092 проти 0.191): після дворазового розтягування карта стала гладкою й невиразною.

І ще одна закономірність у стовпці кореляції: у скіпів вона росте з глибиною (0.351 → 0.433 → 0.506). Це не суперечить розділу 7. Глибша карта корелює з межею сильніше, бо в неї грубіша сітка: широка смуга в 16 × 16 накриває край упевненіше, ніж тонка лінія в 64 × 64. Але накриває вона його приблизно — з точністю до чотирьох пікселів. Для середнього mIoU цього досить, для точної межі — ні. Тому найкорисніший скіп усе одно найдрібніший.

МежаМежа — там, де все вирішується

Усі числа вище ми наводили парами: mIoU по всіх пікселях і mIoU на смузі межі. Час пояснити, чому друге число завжди більше за перше й навіщо його взагалі рахувати.

Смуга межі — це пікселі, в околі яких зустрічаються різні класи. Ми рахуємо її самі, у три рядки: беремо максимум і мінімум номера класу у квадратному околі 5 × 5 і залишаємо ті пікселі, де вони різні.

Мінімум околу тут дістається тим самим пулінгом: мінімум набору чисел дорівнює мінус максимуму їхніх протилежних значень. Така смуга накриває 12.05 % полотна — приблизно восьму частину.

Решта — сім восьмих, 87.95 % — це нутрощі предметів і чистий фон. Там не помиляється ніхто: навіть груба мережа без скіпів упевнено каже «це фон» посеред порожнього кута й «це предмет» посеред кола. Ці пікселі й розчиняють помилку: коли середнє береться по всьому полотну, сім восьмих легких пікселів тягнуть його вгору.

На смузі межі розрив більший у два-три рази: 3.04, 3.02, 2.88 і 2.17. Це не інша задача й не інша модель — це ті самі мережі, поміряні на тих самих сценах, просто без розчинення. Зверни увагу, що множник не сталий: на трьох перших глибинах він тримається біля трьох, а на четвертій падає до 2.17. Найпростіше прочитання — на глибині 4 мережа без скіпів помиляється вже не тільки на межі, тож «легкі» пікселі перестають бути легкими й розчиняють помилку слабше. Але перевірити це можна лише окремим заміром по зонах, якого ми не робили, тож лишаємо як здогад: надійне тут одне — міряти на межі варто завжди, і що краща мережа, то більше це важить.

Практичний висновок ширший за цю тему. Коли метрика усереднюється по великій однорідній масі, вона вимірює масу, а не задачу. Якщо тебе цікавить край — міряй край. Смуга межі коштує три рядки коду, а рятує від висновку «різниці майже немає» там, де різниця вдвічі-втричі більша.

ТонкеДрібні структури

U-Net народилась не в задачі «знайти кота на фото». Вона народилась у біомедичних знімках, де корисні структури тонкі: мембрана клітини, стінка судини, контур зрізу. Для таких структур усе, про що ми говорили, множиться на десять — бо в них немає нутрощів, вони самі суцільна межа.

Наш аналог такої структури — кільце: коло з вирізаною серединою. Замінимо ним трикутник і зробимо стінку завтовшки 1, 2 або 3 пікселі. Кільця всіх трьох товщин лежать в одному наборі, тож одна навчена мережа міряється відразу на всіх трьох.

Спершу подивись, скільки місця вони займають. Кільця всіх товщин разом — це 1.30 % пікселів; окремо стінка в 1 піксель — 0.30 %. Для порівняння, суцільні фігури займали 10.07 % полотна — тобто корисного сигналу тут майже увосьмеро менше, а фону навколо стільки ж.

Порівняй ці розриви з розділом 4. На суцільних фігурах тієї самої глибини розрив був 0.1117. На кільці зі стінкою в 2 пікселі він 0.5217 — майже впʼятеро більший. Мережа без скіпів на найтоншому кільці дає 0.1775: вона його практично не бачить.

Арифметика цього провалу проста, і її можна порахувати на пальцях. Мережа глибини 3 стискає полотно у вісім разів: одна клітинка карти дна відповідає квадрату 8 × 8 вхідних пікселів, тобто 64 пікселям. Скільки з них належить стінці завтовшки 2 пікселі? Смуга завширшки 2 через квадрат 8 × 8 — це близько 16 пікселів, чверть площі. Клітинка, у якій чверть — предмет і три чверті — фон, після взяття переважного класу стає фоном. Кільце зникає ще до того, як декодер узагалі почав працювати.

Тепер про втрату. Тема 29 міряла втрати на суцільних фігурах; на тонкій структурі картина інша, бо крос-ентропія дивиться на кожен піксель окремо й легко змиряється з тим, щоб загубити 0.3 % полотна. Dice так не вміє: він рахує перекриття цілої фігури, тож утрата тонкої структури бʼє по ньому одразу.

Ефект є, але скромний, і його варто назвати чесно. Додавання Dice дає +0.0351 на найтоншій стінці при глибині 2 і +0.0161 при глибині 3. На товстій стінці (3 пікселі) виграш падає до 0.005-0.002, тобто зникає в розкиді. Тобто Dice допомагає рівно там, де структура найтонша, — і тим менше, чим вона товща. Це логічно: чим більше в предмета нутрощів, тим менше крос-ентропія має шансів його проґавити.

І окремо помітно, що глибина 3 краща за глибину 2 на кільці (0.7052 проти 0.6887 на найтоншій стінці). Це вже не про скіпи: глибша мережа має ширше поле зору й краще розуміє, що перед нею кільце, а не дві дуги. Тобто стискання — не тільки шкода. Воно потрібне; шкода лише в тому, щоб не повернути втрачене.

ОригіналДеталі оригіналу

Стаття 2015 року описувала мережу з двома особливостями, які майже ніхто вже не повторює. Перевірмо обидві — раптом їх викинули даремно.

Симетрія енкодера й декодера

В оригіналі декодер дзеркальний енкодеру: скільки каналів на спуску, стільки й на підйомі. Це виглядає красиво, але коштує: більша частина ваг мережі сидить саме в декодері, бо його блоки отримують подвоєні входи після конкатенації. Зробімо декодер удвічі тоншим.

Параметрів менше на 24.7 %, а mIoU змінився на −0.0018 при розкиді 0.0023. Різниця, менша за розкид, різницею не є: симетрія не обовʼязкова. Це не дрібниця — на справжніх задачах чверть ваг означає чверть памʼяті й помітно швидший прохід. Сучасні реалізації U-Net так і роблять: тонкий декодер, товстий енкодер.

Дзеркальне доповнення на краях

Друга особливість тонша. Оригінальна U-Net працює без доповнення взагалі: кожна згортка 3 × 3 зʼїдає по пікселю з кожного боку, карта меншає, і вихідна маска виходить меншою за вхід (у статті — 388 × 388 із 572 × 572). Щоб дістати маску аж до краю зображення, автори доповнювали вхід дзеркально: відбивали смугу пікселів назовні, як у дзеркалі.

Сучасні реалізації беруть padding='same' із нулями — простіше й маска одразу потрібного розміру. Але нуль на краю означає «тут чорне», а це неправда: там просто нічого не видно. Порівняймо, поглянувши окремо на смугу завширшки 3 пікселі вздовж краю зображення — вона накриває 17.87 % полотна.

Щоб зробити цей замір чесно, потрібні дані, де предмети зрізані краєм — такі й бувають на справжніх знімках, коли клітина не вміщається в кадр. Це хороше завдання: зміни генератор так, щоб фігури виходили за межі полотна, і переміряй. Ми навмисно лишаємо це відкритим, а не робимо вигляд, що відповідь отримано.

Що ж лишилось від оригіналу в сучасних U-Net? Форма U, скіпи через конкатенацію й ідея навчання на шматках зображення — усе це на місці, і всі наші мережі теж училися на випадкових шматках 32 × 32, а мірялися на цілих сценах 64 × 64. Пішли: відсутність доповнення (незручно), сувора симетрія (дорого) і зважена втрата з розділенням дотичних клітин — задачу «два предмети поруч» тепер розвʼязують інакше, і про це тема 31.

ДаліДе U-Net сьогодні

Стаття про U-Net вийшла 2015 року й описувала сегментацію клітин на знімках електронного мікроскопа. Архітектура пережила свою задачу з великим запасом, і сьогодні її зустрічають далеко за межами сегментації. Коротко, без розгортання — кожен із цих напрямів заслуговує на власну тему.

• Медичні знімки — рідна ділянка. Судини, пухлини, зрізи томографа: структури тонкі, розмітки мало, і скіпи там дають найбільше.
• Дифузійні моделі. Мережа, яка на кожному кроці прибирає трохи шуму із зображення, майже завжди має форму U: вхід і вихід однакового розміру, посередині стискання, збоку скіпи. Про це — тема 39 у блоці 8.
• Реставрація й прибирання шуму. Вхід — зіпсоване зображення, вихід — чисте того самого розміру. Задача формою збігається із сегментацією, тільки замість класів на виході яскравості.
• Суперроздільність. Те саме, але вихід більший за вхід; скіпи переносять дрібні деталі, які не можна вигадати з нуля.
• Голови сегментації в детекторах. Тема 31 покаже, що маска окремого предмета теж рахується маленькою мережею такої самої форми.

Спільне в усіх випадках одне: вихід має розмір входу, і в ньому важливі дрібні деталі. Щойно задача виглядає так — форма U напрошується сама.

ПідсумокЩо з цього забрати

Коротко, по пунктах.

1. Скіп — це третій спосіб повернути роздільність. Не «не стискати» і не «розтягнути назад», а «взяти деталі там, де вони ще цілі».
2. Скіпи потрібні тоді, коли є що втрачати. Порогова глибина — вимірювана величина, і на своїх даних її треба міряти, а не вгадувати.
3. Скіпи зшивають, а не додають. Конкатенація лишає обидва сигнали окремими; додавання з теми 14 їх змішує.
4. Середня метрика приховує ефект. Міряй окремо на смузі межі — там живе вся різниця.
5. Скіпи роблять навчання передбачуванішим. Це окремий виграш, який видно тільки при кількох зернах.

І тепер про те, чого ми не вміємо. Наша мережа фарбує кожен піксель класом. Постав поруч два кола, які торкаються, — і на виході буде одна суцільна пляма класу «коло». Пікселі всі до одного правильні, mIoU чудовий, а на питання «скільки тут кіл?» відповіді немає. Семантична сегментація за означенням не рахує предмети: вона не має поняття «окремий екземпляр».

Детектор із блоку 5 це вміє — він видає рамку на кожен предмет, — але рамка не каже, які саме пікселі предметові належать. Виходить, у нас є дві половини відповіді, і жодна з них не повна. Тема 31 зшиває їх докупи: маска для кожного предмета окремо.