Три дерева із середніми 3, 6 і 4.5 банана. Оцінки Q починаються з нулів, ε = 0 (чиста жадібність). Що станеться?
Чому так. Жадібний агент обирає дію з найбільшим Q. Стартуючи з нулів, він бере перше дерево, отримує позитивну винагороду — і тепер його Q найбільший назавжди. У практиці ε = 0 дає середні оцінки [3, 0, 0] і жаль 1201 банан проти оракула, тоді як ε = 0.1 — жаль 134.
Питання 2 / 8
При ε = 1 оцінки Q збігаються до справжніх середніх найточніше з усіх режимів. Чому це все одно поганий агент?
Чому так. Кожне дерево пробується однаково часто, тому оцінки ідеальні — але жодне рішення на них не спирається. У практиці ε = 1 дає жаль 598 бананів проти 134 при ε = 0.1. Точна таблиця і хороша поведінка — різні речі.
Питання 3 / 8
Що означає похибка часової різниці δ = r + γ·max Q(s′,a′) − Q(s,a)?
Чому так. Це різниця двох оцінок однієї величини: старої з таблиці й нової, що спирається на один справжній крок і тому трохи ближча до істини. Оновлення Q ← Q + α·δ має точнісінько ту саму форму, що й оновлення оцінки в бандиті: «оцінка плюс крок помножити на несподіванку».
Питання 4 / 8
У світі-лінії ліворуч дерево на +3, праворуч — на +10. Ти знизив γ з 0.9 до 0.5. Що станеться з політикою?
Чому так. γ задає горизонт планування приблизно на 1/(1−γ) кроків: при 0.9 це десяток, при 0.5 — усього два. У практиці при γ = 0.9 ліворуч не йде жодна клітинка, а при γ = 0.5 їх уже пʼять: для них десять бананів через девʼять кроків коштують менше, ніж три банани через один.
Питання 5 / 8
Чому переважна більшість практичних алгоритмів вчить Q(s, a), а не V(s)?
Чому так. V(s) каже, наскільки хороша ситуація, але не каже, що робити: щоб обрати дію, треба знати, у який стан вона веде. Q(s, a) вже містить цей крок усередині, тому жадібна політика читається з таблиці напряму.
Питання 6 / 8
Головна відмінність зворотного звʼязку в RL від навчання з учителем — це…
Чому так. Учитель каже «правильна відповідь — кіт» незалежно від того, що ти відповів. Середовище каже «за твою дію отримуєш 3» — і про решту дій мовчить. Дізнатись, чи була краща дія, можна єдиним способом: спробувати її. Звідси й уся проблема дослідження.
Питання 7 / 8
У сітці з кактусами ти підняв ε з 0.05 до 0.6. Таблиця Q стала точнішою, а робот почав частіше вколюватись. Це помилка в коді?
Чому так. У практиці частка епізодів, що закінчуються кактусом, росте монотонно з 0.01 до 0.55, а збіг вивченої політики з еталонною не падає нижче 0.96. Агент знає правильний шлях і майже ніколи ним не йде. Дослідження не безкоштовне.
Питання 8 / 8
Навіщо в RLHF навчають окрему модель винагороди, а не оптимізують «корисність» напряму?
Чому так. Мітки замінили на переваги: людям показують пари відповідей і питають, яка краща, а на цих порівняннях вчать модель винагороди. Вона й видає число, яке мовна модель максимізує звичайними методами RL. Це та сама ідея — агент учиться на наслідках, а не на готових правильних відповідях.