DBSCAN на дошці оголошень позначив 26 оголошень міткою −1. Що це означає?
Чому так. Мітка −1 — це шум: у радіусі eps навколо точки менше ніж min_samples сусідів, і вона не потрапила в чужий окіл. З даними все гаразд — просто там, де вона стоїть, порожньо. На дошці ці 26 оголошень виявились майже чистими шахраями (25 із 26), тобто шум ніс корисну інформацію, а не сміття.
Питання 2 / 8
Ти збільшуєш eps і не чіпаєш min_samples. Що станеться з кількістю кластерів і кількістю шумових точок?
Чому так. Більший радіус означає, що кожна точка бачить більше сусідів: ядерних стає більше, шуму менше, а сусідні згустки зʼєднуються між собою. У крайньому положенні лишається один кластер на всі дані. Зворотний край так само поганий: при дуже малому eps ядерних точок немає взагалі й уся вибірка стає шумом.
Питання 3 / 8
У радіусі eps навколо точки лежать вона сама і ще чотири точки. Параметр min_samples = 5. Чи ядерна ця точка в scikit-learn?
Чому так. У scikit-learn точка входить у власний окіл, тому min_samples=5 означає «сама плюс чотири сусіди». Помилка на одиницю тут не викидає винятку — вона просто тихо зсуває межу щільності, і кластери виходять іншими, ніж ти очікував.
Питання 4 / 8
На витягнутих смугах DBSCAN дав 100 % точок на своїх місцях проти 58 % у k-means, на вкладених кільцях — 100 % проти 60 %. Який висновок правильний?
Чому так. Обидва числа справжні, але вони описують лише два з трьох випадків. На третьому наборі — щільна купка поруч із розсіяною хмарою — той самий DBSCAN із тими самими параметрами дав 70 %, бо єдиний радіус не може підійти двом різним щільностям одразу. Навіть найкраще підібраний eps дає там 88 % — усе одно менше за k-means.
Питання 5 / 8
Чим ієрархічна кластеризація відрізняється від k-means у питанні «скільки груп брати»?
Чому так. Дерево будується один раз і містить усі розбиття одразу: горизонтальний зріз на будь-якій висоті дає своє k, і його видно очима. Але вибір нікуди не зникає — він перемістився: тепер обирати треба звʼязок, і цей вибір впливає на результат сильніше, ніж вибір k у k-means.
Питання 6 / 8
На двох витягнутих смугах одиночний звʼязок дав 100 %, а звʼязок Ворда — 66 %. На даних із різною щільністю навпаки: Ворд 96 %, одиночний 65 %. Про що це говорить?
Чому так. Звʼязок задає, що таке «відстань між групами», і від цього залежить уся будова дерева. Одиночний дивиться на найближчу пару точок, тому росте ланцюжком — блискуче на смугах і катастрофічно на реальних даних, де він збирає одного велетня (на нашій дошці 1 094 оголошення з 1 100) і дві порошинки. Ворд мінімізує суму квадратів усередині груп — те саме, що й k-means.
Питання 7 / 8
На дендрограмі 28 оголошень зріз на висоті 1.6 і зріз на висоті 2.0 дають те саме розбиття на дві групи. Що це означає?
Чому так. Розбиття міняється тільки тоді, коли зріз перетинає чергову перемичку. Широкий проміжок без злиттів (тут від 1.52 до 2.81) означає, що дві групи довго не хотіли зливатись — тобто вони добре відокремлені. Саме такі «широкі сходинки» на дендрограмі й підказують розумну кількість груп.
Питання 8 / 8
У тебе таблиця на 200 000 рядків. Який із трьох методів не запуститься на звичайному ноутбуці і чому?
Чому так. Щоб знайти найближчу пару груп, агломеративний метод тримає матрицю попарних відстаней — приблизно n²/2 чисел. Для 200 тисяч рядків це близько 160 ГБ, і жодна оптимізація цього не рятує. k-means лінійний за рядками, а DBSCAN із просторовим індексом працює приблизно за n·log n, тому обидва на таких обсягах живі.