Модель навчали там, де яскравість тла бездоганно збігалася з класом (узгодженість 1.00). Після 12 епох на даних без цього звʼязку вона дала 0.1822; після 32 епох — теж рівно 0.1822. Чому довше навчання не допомогло?
Чому так. Мережа рухається туди, куди її штовхає похибка на навчальних прикладах. При узгодженості 1.00 модель, яка читає саме тло, помиляється на них майже ніколи — 0.9978, — отже градієнта, який змушував би вчити форму, просто немає. При узгодженості 0.95 пʼять відсотків прикладів лишаються помилковими, і за 20 зайвих епох модель відвойовує +0.1122. Замалою мережа бути не може: на тих самих даних без ярлика вона дає 0.9311.
Питання 2 / 8
Ти підозрюєш, що в датасеті є ярлик — ознака, якої в задачі немає, але яка вказує на клас. Що знайде цю проблему найнадійніше?
Чому так. Оглядом статистики ярлик не видно: перекіс 0.95 і перекіс 1.00 у зведеній таблиці виглядають майже однаково, а поводяться протилежно — 0.3478 проти 0.1822. Знаходить дефект тільки перевірка там, де звʼязок розірвано: якщо модель вивчила справжню ознаку, розрив звʼязку їй байдужий (0.9444 проти 0.9311).
Питання 3 / 8
Звіт каже: точність моделі 0.5767 на шести класах при рівні вгадування 0.1667. Що з цього числа НЕ можна дізнатись?
Чому так. Загальна точність — це середнє по класах. Клас, який дає нуль, забирає з нього лише 1/6, тобто 0.1667, і тому провал на шостій частині задачі в одному числі не видно взагалі. У нашому замірі за 0.5767 ховалось 0.0467 на рідкісному класі, а на одному зерні з трьох — рівний нуль. Знаходить це тільки розбивка метрики по класах.
Питання 4 / 8
Ті самі 500 прикладів, та сама частка рідкісного класу 1.5 %, той самий бюджет навчання. Змінили лише рівень шуму: 0.45 замінили на 0.06. Точність на рідкісному класі змінилась із 0.0467 на 0.4767. Що з цього випливає?
Чому так. Прикладів рідкісного класу було вісім і там, і там — змінилась лише складність задачі, а розрив зменшився вдесятеро. Отже, замір несправедливості, який нічого не знайшов, має два нерозрізненні пояснення: несправедливості немає або задача надто легка, щоб її показати. Порада «прибрати шум перед навчанням» хибна: шум тут моделює складність задачі, а не дефект даних.
Питання 5 / 8
У сегментації вага предмета ×2 дала mIoU 0.9402, а вага 1/частота (×14.9) — 0.8885. Повнота при цьому зросла з 0.9615 до 0.9870. Що сталося?
Чому так. Зважування — це обмін: повнота вгору, точність влучань вниз (0.9214 → 0.8026). Від ×2 до ×14.9 кількість хибно зафарбованих пікселів зросла з 4 до 12 на кадр, і 82 % із них сидять за один піксель від справжнього предмета — тобто помилки лягають контуром. Для дрібного предмета цей контур зʼїдає IoU швидше, ніж повнота встигає його підняти.
Питання 6 / 8
У темі 29 зважена крос-ентропія зашкодила (mIoU 0.4181 проти 0.6151), а в цій темі допомогла. Яке пояснення підперте заміром?
Чому так. Прогін ваги від ×1 до ×20 на сегментації показав максимум mIoU при ×2 (0.9402), тоді як 1/частота дає ×14.9 і 0.8885 — тобто формула стоїть за оптимумом. У класифікації та сама формула дає ×6.5 і збігається з вершиною головної метрики (0.6243). ⚠️ Важливо: ми не перезапускали модель теми 29, тож це пояснення механізму на наших даних, а не доведена причина того конкретного числа.
Питання 7 / 8
Атака на належність (membership inference) дала AUC 0.5093 після 10 епох і 0.7041 після 60. Точність самої моделі за цей час зросла з 0.1867 до 0.5473. Який висновок правильний?
Чому так. AUC — це частка пар «свій, чужий», де модель упевненіша саме в навчальному прикладі; 0.5 означає монетку. Обидва числа ростуть одним рухом: модель на 60 епохах і найкраща, і найбалакучіша, тож «навчімо гірше, зате приватніше» не є вибором. AUC не каже, скільки прикладів можна відновити, — відновлення міряють інакше: з відкритої Stable Diffusion витягли близько сотні майже точних копій навчальних зображень.
Питання 8 / 8
Детектор фейків дає 0.9992 на генераторі, на якому його навчали, і 0.5017 на іншому. Рівень вгадування — 0.5000. Що це означає для заяви «наш детектор дипфейків дає 99 %»?
Чому так. Детектор навчився ловити не «фейковість», а конкретний слід — розмитий край. Генератор із іншим слідом (шахова сітка) проходить повз нього рівно як монетка: 0.5017 при розкиді 0.0024. Думка «детектор перенавчився й треба вчити довше» хибна: на своєму генераторі він і так майже непогрішний — 0.9992, тобто вчити його нічому. Думка «фейки чужого генератора надто якісні» теж хибна: при слабшому, тобто менш помітному артефакті (0.15) перенос, навпаки, працює — 0.9458. А «заява коректна» не проходить саме тому, що 99 % поміряні на одному генераторі й нічого не кажуть про решту.