Світ даних дедалі менше схожий на акуратні таблиці й дедалі більше — на мережі: соціальні графи, молекули, веб-сторінки, транспортні системи. Канал IBM Technology пропонує системний огляд того, як графові нейронні мережі (Graph Neural Networks, GNN) дають змогу штучному інтелекту працювати з такими структурами — від базових понять до ключових архітектур.
Чому таблиць більше не вистачає
Класичні моделі машинного навчання очікують «плоскі» дані: рядки — об’єкти, стовпці — ознаки. Але в реальних задачах часто важливі не лише властивості об’єктів, а й те, як вони пов’язані між собою.
Графи природно описують такі ситуації:
- Вузли (nodes/vertices) — сутності (користувачі, сторінки, молекули, пристрої).
- Ребра (edges) — зв’язки між ними (дружба, посилання, хімічні зв’язки, канали зв’язку).
Формально граф (G) — це пара множин: вузлів і ребер, де кожне ребро — це пара вузлів. Структуру з’єднань зручно задавати матрицею суміжності: у клітинці ((i, j)) стоїть 1, якщо вузол (i) з’єднаний з вузлом (j). Для орієнтованих графів (наприклад, «студент → викладач») напрямок має значення: зв’язок може існувати в один бік, але не в інший.
Графи бувають:
- Однорідні (homogeneous) — один тип вузлів і один тип ребер.
- Різнорідні (heterogeneous) — кілька типів вузлів і зв’язків (наприклад, студенти, викладачі, курси, з різними типами відносин між ними).
Щоб такі структури можна було «згодувати» нейромережі, їх перетворюють на вбудовування (embeddings) — щільні вектори малої розмірності, які кодують і властивості вузлів/ребер, і їхнє положення в графі. Вбудовування можуть будуватися для:
- окремих вузлів;
- ребер;
- цілого графа (наприклад, для класифікації молекул).
Механіка GNN: повідомлення, агрегація, оновлення
Ключова ідея графових нейромереж — message passing, або передавання повідомлень між вузлами.
Процес у типовій GNN виглядає так:
-
Створення повідомлень
Кожен сусід вузла (A) формує для нього повідомлення: закодовану інформацію про себе (вектор ознак, ваги ребер тощо). -
Агрегація
Вузол (A) об’єднує всі вхідні повідомлення. Для цього використовують операції: - сума;
- середнє;
- максимум;
-
або більш складні схеми з вагами (attention).
-
Оновлення представлення
На основі агрегованого повідомлення вузол оновлює свій вектор-вбудовування через навчувану трансформацію (лінійне перетворення + нелінійна активація).
Цей процес повторюється пошарово:
- на першому шарі вузол «бачить» лише безпосередніх сусідів;
- на другому — сусідів сусідів;
- на наступних — дедалі ширший контекст.
Так модель поступово вчиться одночасно ловити локальні патерни (структура околу вузла) і глобальну структуру графа.
Основні архітектури GNN: від GCN до GIN
Різні типи графових нейромереж відрізняються тим, як саме вони агрегують інформацію від сусідів і наскільки «далеко» можуть дивитися в граф.
Graph Convolutional Networks (GCN): згладжування сусідів
GCN — класична архітектура, що переносить ідею згорток (як у CNN для зображень) на графи.
- Кожен вузол отримує згладжене агреговане представлення своїх сусідів.
- На кожному шарі:
- агрегуються вбудовування сусідів з попереднього шару;
- результат множиться на матрицю ваг поточного шару;
- застосовується нелінійна активація.
GCN добре підходять для напівконтрольованої класифікації вузлів, коли відомі мітки лише для частини графа.
GraphSAGE: вибіркове семплювання великих графів
GraphSAGE (Graph Sample and Aggregate) розв’язує проблему масштабування.
Замість того, щоб враховувати всіх сусідів, модель:
- семплює підмножину сусідів для кожного вузла;
- агрегує їхні вбудовування;
- конкатенує результат з власним вбудовуванням вузла;
- пропускає об’єднаний вектор через матрицю ваг і активацію.
Такий підхід дозволяє працювати з дуже великими графами — наприклад, соціальними мережами з мільйонами вузлів.
Graph Attention Networks (GAT): не всі сусіди однаково важливі
У GAT вводиться механізм уваги (attention) до сусідів:
- для кожної пари «вузол–сусід» обчислюється коефіцієнт уваги (\alpha_{vu}), який показує важливість цього сусіда;
- коефіцієнти ініціалізуються як навчувані параметри й оновлюються під час тренування;
- усі (\alpha) додатні й нормалізовані (їхня сума дорівнює 1);
- вбудовування сусідів спочатку лінійно трансформуються, потім зважуються на (\alpha_{vu}) і агрегуються.
Так вузол навчається фокусуватися на найважливіших зв’язках, а не рівною мірою враховувати всіх сусідів.
Graph Isomorphism Network (GIN): максимальна виразність
GIN позиціонується як одна з найвиразніших архітектур GNN.
Її особливості:
- замість складних агрегацій використовуються:
- сума вбудовувань сусідів;
- додавання власного вбудовування вузла (з можливим масштабуванням);
- пропускання результату через багатошаровий перцептрон (MLP).
- Така проста, але ін’єктивна (однозначна) агрегація дозволяє краще розрізняти різні структури графів.
Багато GNN, особливо GCN, мають обмеження: при використанні середнього або максимуму як агрегації різні графові структури можуть колапсувати в однакові вбудовування. Це те, що намагається виявити тест Вайсфайлера–Лемана (WL test) — класичний метод перевірки, чи є два графи структурно однаковими.
GIN розробляли так, щоб їхня виразність відповідала потужності WL-тесту: вони здатні розрізняти ті графи, які простіші GNN (особливо GCN) часто плутають.
Графові трансформери: глобальна увага в мережах
Трансформери, які стали стандартом у мовних моделях, адаптували й до графів.
Graph Transformers використовують глобальну увагу:
- будь-який вузол теоретично може «дивитися» на будь-який інший, а не лише на безпосередніх сусідів;
- це важливо, коли:
- потрібно враховувати довготривалі залежності в графі;
- структура складна й «шумна».
Основні кроки:
- Початкові вбудовування вузлів формують матрицю (H).
- До (H) застосовують три лінійні перетворення, отримуючи:
- запити (Q),
- ключі (K),
- значення (V).
- Для кожної пари вузлів обчислюється оцінка уваги на основі схожості (Q) і (K), з можливим масштабуванням.
- На відміну від стандартних трансформерів, у графових додається структурний зсув (bias):
- чи з’єднані вузли;
- на якій відстані в графі;
- який тип ребра їх пов’язує.
- Отримані ваги уваги використовуються для зваженого комбінування векторів (V), після чого застосовується softmax.
- Використовується багатоголова увага (multi-head attention):
- кілька незалежних «голів» уваги працюють паралельно;
- їхні виходи конкатенуються й проходять через проєкційну матрицю (W_O).
- Далі йде feed-forward мережа (FFN) з двох повнозв’язних шарів і нелінійністю (наприклад, ReLU).
- На кожному етапі застосовуються резідуальні з’єднання й нормалізація шару, що стабілізує навчання й дозволяє будувати глибші моделі.
Такий підхід дає змогу моделі одночасно враховувати глобальний контекст графа й його структуру, закодовану в зсуві уваги.
Що обрати: короткий орієнтир по моделях
Різні архітектури GNN спираються на спільну ідею message passing, але по-різному реалізують агрегацію та «радіус огляду» графа:
- GCN — згладжують представлення сусідів, добре підходять для напівконтрольованої класифікації.
- GraphSAGE — семплюють сусідів, масштабуються на великі графи.
- GAT — вводять увагу до сусідів, дозволяючи моделі виділяти важливі зв’язки.
- GIN — максимізують виразність, краще розрізняють різні структури графів.
- Graph Transformers — працюють із глобальною увагою, придатні для складних і «довгих» залежностей у графах.
Разом ці підходи формують інструментарій, який дозволяє сучасним моделям ШІ працювати не лише з «плоскими» даними, а й з тим, як об’єкти взаємодіють між собою в реальних мережах.
Джерело
Graph Neural Networks Explained: A Clear Guide to GNN Basics & Models — IBM Technology