Ієрархічна кластеризація та DBSCAN

Попередня тема закінчилась трьома картинками, на яких відповідь була очевидно неправильною. Дві довгі смуги, які k-means розрізав упоперек, — 58 % точок на своїх місцях. Коло всередині кільця — 60 %. Щільна купка поруч із розсіяною хмарою — 89 %. Людське око бачить правильну відповідь за півсекунди, а метод її не бачить узагалі.

Причина не в налаштуваннях. Вона в самій будові k-means: кожна точка йде до найближчого центра, тому межа між кластерами — завжди пряма, а кластер — завжди приблизно кругла грудка. Плюс друга незручність: кількість груп k доводиться назвати наперед, до того як ти щось про дані дізнався.

01 / Дві відповідіДві відповіді на одну невдачу

Обидві проблеми мають розвʼязок, і розвʼязки ці зовсім різні.

DBSCAN викидає з опису поняття центра. Замість «де середина групи» він питає «де точки стоять густо» — і нарощує кластер від сусіда до сусіда, куди б той не тягнувся. Смуга, кільце, підкова: якщо ланцюжок сусідів веде туди, кластер піде туди. Заразом він уміє те, чого k-means не вміє принципово, — сказати про окрему точку «це не кластер, це шум».

Ієрархічна кластеризація відповідає на другу проблему. Вона не видає одне розбиття. Вона будує дерево: спочатку кожен обʼєкт сам по собі, далі найближча пара зливається, далі наступна — аж поки все не стане однією групою. Кількість груп обираєш ти, але після побудови, дивлячись на дерево, а не наосліп до неї.

Працюємо на тих самих даних, що й у минулій темі. Наскрізний приклад — дошка оголошень про вживані телефони з теми 08: 1 100 оголошень із відомою ціною, дві ознаки — логарифм ціни й рік випуску, обидві приведені до z-оцінок. Плюс три синтетичні набори, на яких k-means провалився: витягнуті смуги, вкладені кільця, різна щільність. Ті самі точки, що й у темі 11, — щоб порівняння було чесним.

02 / ЩільністьКластер — це там, де густо

Уся ідея DBSCAN (density-based spatial clustering of applications with noise — кластеризація за щільністю з урахуванням шуму) тримається на одному спостереженні: усередині кластера точки стоять близько одна до одної, а між кластерами — порожньо. Не «кругло», не «навколо центра» — просто густо.

Щоб перетворити це на алгоритм, потрібні два числа, і задаєш їх ти.

• eps (радіус околу) — наскільки близько має стояти точка, щоб вважатись сусідкою. Це відстань у тих самих одиницях, у яких лежать ознаки: у нас — у z-оцінках.
• min_samples (мінімум сусідів) — скільки точок має бути в цьому радіусі, щоб місце вважалось густим.

Далі кожна точка отримує одну з трьох ролей, і ці три слова — весь словник методу.

Візьмімо ті самі десять оголошень, на яких у минулій темі крутились ітерації k-means, і роздамо їм ролі. Радіус eps = 1.2 (нагадаю: одиниця тут — одне стандартне відхилення), min_samples = 3.

03 / АлгоритмЯк розростається кластер

Ролі роздано — далі алгоритм майже тривіальний. Він обходить точки одну за одною:

Прокрутімо це на наших десяти. Перша точка — A1, вона ядерна, відкриваємо кластер 1 і кладемо в чергу її сусідів A4 і A5. A4 ядерна — дописуємо її сусідів A1, A5, A7. A5 ядерна — дописує A6, A7, A8. Черга крутиться, поки не вичерпається, і кластер 1 виходить такий: A1, A4, A5, A6, A7, A8. Далі беремо A2 — не ядерна, позначаємо шумом тимчасово. A3 — те саме. A9 — теж не ядерна. Аж ось A10: ядерна, відкриваємо кластер 2, у чергу йдуть A2 і A3 — обидві не ядерні, тому нікого далі не тягнуть, і кластер 2 = A10, A2, A3. A9 так і лишається шумом.

Зверни увагу на два наслідки, які видно вже на десяти точках.

Перший: кластер може мати будь-яку форму. Він росте ланцюжком, від сусіда до сусіда, і жодного «центра» ніхто не рахує. Довга змія завтовшки в два кроки — законний кластер DBSCAN і неможливий кластер k-means.

Другий, дрібніший і неприємний: гранична точка може дістатись різним кластерам. Якби A2 лежала в колах двох різних ядерних точок із різних кластерів, її забрав би той, до кого черга дійшла першою, — тобто результат залежав би від порядку рядків у таблиці. Ядерних точок це не стосується: вони розподіляються однозначно. На практиці граничних точок мало, але якщо два запуски на перетасованих даних дали трохи різні мітки — причина зазвичай саме тут.

04 / ПараметриДва повзунки, дві катастрофи

Тепер найважливіше про DBSCAN: усе тримається на двох числах. Кількість кластерів він і справді не питає — але eps і min_samples задають її неявно, і крайні значення дають дві протилежні катастрофи.

Візьмімо ті самі дві витягнуті смуги, які завалили k-means, і додамо до них пʼятнадцять розкиданих поодиноких оголошень — щоб було на що подивитись у графі «шум». Разом 145 точок: 130 у двох смугах і 15 самих по собі.

Обидва параметри тягнуть в один бік, але по-різному. eps вирішує, які точки взагалі бачать одна одну; min_samples — наскільки густо має бути, щоб місце вважалось кластером. Більший min_samples при тому самому радіусі означає більше шуму й менше кластерів.

Типова порада для min_samples: бери щонайменше подвоєну кількість ознак. У нас ознак дві, отже 4–5 — і саме тому в усіх прикладах цієї теми стоїть пʼятірка. Порада груба, але вона хоч якось привʼязує число до даних.

05 / Вибір epsЗвідки брати eps

З eps складніше, бо це відстань, і «правильної» відстані ніхто не знає. Стандартний прийом такий:

Сенс простий. Поки крива йде полого, ми рухаємось по точках, які сидять у густих місцях: до четвертого сусіда їм рукою подати. Коли крива задирається вгору — почались точки, у яких сусідів поблизу немає. Висота коліна і є та відстань, яка ще вважається «близько».

06 / ШумШум — це відповідь

Тепер про властивість, якої немає в жодного методу з попередньої теми. DBSCAN не зобовʼязаний віднести кожну точку до кластера. У scikit-learn такі точки дістають мітку −1.

Звучить як вада — «алгоритм не впорався». Насправді це чесність. Коли k-means приписує дике оголошення до найближчого сегмента, він не додає знання, а ховає його: у групі «дешеві старі» тепер сидить телефон за 130 грн, який не схожий узагалі ні на що.

Подивись, що з цього виходить на справжніх даних. Запускаємо DBSCAN на всіх 1 100 оголошеннях дошки з eps = 0.3 і min_samples = 5. Результат такий: 12 кластерів і 26 оголошень у шумі. І ось найцікавіше число всієї теми: із цих 26 оголошень 25 позначені в таблиці як шахрайські. Алгоритм цієї колонки не бачив.

Читається це так. Шум DBSCAN майже не помиляється: з 26 піднятих тривог хибна одна. Але й ловить він мало — 25 шахраїв зі 139, тобто 18 %. Це ціни-приманки на кшталт 130 і 190 грн і завищені 45 320 та 83 500 грн: те, що стоїть на самому краю. Звичайного шахрая з ціною «трохи нижче ринку» жодна щільність не виловить, бо він лежить у гущі.

07 / ВадаОдна щільність на всіх

Головна вада DBSCAN схована в тому самому місці, що й перевага: eps у нього один на весь простір. Метод припускає, що всі справжні кластери мають приблизно однакову густину. Коли це не так, вибирати доводиться між двома поразками. Обидва способи виразно кращі за жеребкування, але жоден не наближається до того, що дає розмітка: далі в курсі, коли дійдемо до моделей із учителем, та сама задача розвʼязується вчетверо точніше.

Це рівно той третій випадок із минулої теми — щільна купка й розсіяна хмара поруч, де k-means дав 89 %. З параметрами, які ідеально спрацювали на смугах і кільцях (eps = 0.6, min_samples = 5), DBSCAN дає на ньому 70 %: щільну купку знаходить бездоганно, а розсіяну хмару рве на уламки й 30 її точок зі 150 оголошує шумом.

Можна підібрати eps під розсіяну хмару — 0.85. Тоді кластерів рівно два, шуму лише 9 точок, а на своїх місцях 88 %. Це найкраще, що DBSCAN взагалі може видати на цих даних, — і воно все одно трохи гірше за k-means. Причому дійти до цього числа можна, тільки підглядаючи у правильну відповідь, якої в реальній задачі немає.

08 / ДеревоДерево замість розбиття

Другий метод теми починається з іншого питання. Не «де густо», а «що з чим схоже найбільше».

Такий напрямок — від окремих точок догори — зветься агломеративним (agglomerative, від «нагромаджувати»). Буває й зворотний, дивізивний: почати з однієї групи й ділити її. На практиці майже завжди беруть агломеративний, бо він простіший і передбачуваний.

Результат — не набір міток, а дендрограма (dendrogram, «деревна діаграма»). Читається вона так:

• кожен листок унизу — одне оголошення;
• кожна перемичка — злиття двох груп;
• висота перемички — відстань між групами в момент злиття. Низька перемичка означає «злилися схожі», висока — «злилися вимушено, бо більше нікого не лишилось».

А тепер найкорисніше. Проведи горизонтальну лінію на будь-якій висоті — і кожна вертикаль, яку вона перетне, стане окремою групою. Одне дерево, і скільки завгодно розбиттів. Кількість груп обирається після побудови, і обирається очима.

09 / LinkageЧим міряти відстань між групами

В описі методу є одне слово, повз яке легко проскочити: «знаходимо дві найближчі групи». А що таке відстань між групами? Між двома точками вона очевидна. Між купкою з семи точок і купкою з дванадцяти — ні.

Відповідей чотири, вони звуться звʼязком (linkage), і вибір між ними міняє результат сильніше, ніж будь-що інше в методі.

Найважливіший із цих чотирьох рядків — перший, і зветься це ланцюжковим ефектом. Одиночному звʼязку досить, щоб дві групи зʼєднала одна ланцюжкова доріжка з точок: далі він проковтне обидві. Це рівно те, що робить кластер DBSCAN довільної форми, — і рівно те, через що одиночний звʼязок розсипається на реальних даних. Ось наша дошка, ієрархічна кластеризація, три групи:

А тепер те саме на синтетиці, де правильна відповідь відома, — і виявиться, що переможець міняється місцями з невдахою.

10 / ЦінаСкільки це коштує

За зручність «одразу вся ієрархія» доводиться платити, і платня росте квадратично. Щоб знайти найближчу пару, треба знати всі попарні відстані — а їх для n обʼєктів приблизно n²/2.

Тобто ієрархічна кластеризація — метод для тисяч рядків, не для мільйонів. На сотнях тисяч вона просто не запуститься на звичайній машині. У DBSCAN та сама квадратична біда в наївній реалізації, але її лагодить просторовий індекс: scikit-learn шукає сусідів у радіусі через KD-дерево й на низьких розмірностях працює приблизно за n·log n. Тому DBSCAN на мільйоні рядків — реально, а дендрограма на мільйоні — ні.

І ще одна практична дрібниця, яку варто знати наперед. Ієрархічна кластеризація не вміє приписати новий обʼєкт до вже готових груп: щоб додати один рядок, треба перебудувати дерево. У k-means для цього досить порівняти відстані до центрів. DBSCAN теж не має такого механізму — у scikit-learn у нього немає навіть методу predict.

11 / РазомТри форми, три методи

Час скласти все докупи. Ось три набори даних, на яких провалився k-means, і три методи на кожному з них. Девʼять станів — перебери всі й подивись, хто де виграє.

Підсумок у трьох рядках, і жоден із них не про перемогу:

• Витягнуті смуги й кільця. DBSCAN — 100 % і 100 %, одиночний звʼязок — те саме. k-means і Ворд — 56–66 %, тобто нічого. Форма довільна вимагає методу, який дивиться на сусідів, а не на центри.
• Різна щільність. Ворд 96 %, k-means 89 %, DBSCAN 70 %, одиночний звʼязок 65 %. Порядок перевернувся повністю: те, що вигравало щойно, тепер програє найгірше.
• Жодна конфігурація не виграє скрізь. Ані одна пара (eps, min_samples), ані один звʼязок. Це не недогляд авторів методів — це властивість задачі, у якій немає правильної відповіді.

12 / ВибірЩо обирати й що далі

Ось три методи в одній таблиці — не «який кращий», а що кожен припускає й на чому ламається.

Практичний порядок дій, який працює в більшості випадків: почни з ієрархічної на підвибірці в кілька тисяч рядків, подивись на дендрограму — вона покаже, скільки груп узагалі варто шукати. Далі, якщо групи схожі на грудки, візьми k-means на всіх даних із цим k. Якщо на дендрограмі видно щось витягнуте або якщо цікавлять саме дивні обʼєкти — бери DBSCAN і підбирай eps за коліном.

Лишилось одне питання, яке ми весь час обходили: усі картинки цієї теми двовимірні, бо намалювати можна лише два виміри. А оголошення описується сімома числами, клієнт банку — сотнею. Дивитись на кластери в семи вимірах ніхто не вміє — і саме тому наступна тема про метод головних компонент: як стиснути багато ознак у дві так, щоб на них можна було подивитись і побачити те, що справді є в даних. А після неї — пошук аномалій, куди веде мітка −1 із цієї теми.