Сейчас в сфере ИИ все более активно обсуждаются проблемы доверия к алгоритмам машинного обучения. Как понять, почему сложный алгоритм выдает тот или иной результат? Что если ИИ ставит неверный диагноз пациенту, принимает плохое финансовое решение или выносит неверный приговор? Как определить, почему алгоритм ошибся, если это нейросеть с сотнями миллионов параметров? Для решения этих вопросов развиваются методы повышения интерпретируемости алгоримтов машинного обучения: изобретаются способы объяснения и методы встраивания интерпретируемости в модели. Однако, зачастую хорошо интерпретируемые методы (дерево решений, метод ближайших соседей и др.) показывают качество ниже, чем state-of-the-art модели (нейросети), и на практике необходимо искать компромисс между понятностью и качеством.

Последние годы модели графовых нейронных сетей показывают лучшие результаты в различных прикладных областях: анализ социальных сетей, поиск лекарств, рекомендательные системы, а также в биологии, химии, финансах и др. Число параметров у графовой нейросети существенно меньше чем у традиционной нейросети, но вся сложность, в том числе для интерпретации, кроется в нерегулярной структуре самих графов. Надавно появились фундаментальные графовые модели, которые способны обучаться на множестве различных графов по аналогии с большими языковыми моделями (LLM).

Актуальным является вопрос доверия к ИИ с точки зрения уязвимости к атакам. В интернете можно найти различные видео, на котором человек надевает футболку со специальным изображением и становится «невидим» для камеры с распознаванием лиц. Существует множество типов атак и уязвимостей, в том числе еще никем не обнаруженных. В связи с этим свойство интерпретируемости моделей приобретает еще большее значение.

Примерные темы исследовательских работ:

Разработка интерпретируемых графовых нейронных сетейСуществующие сейчас методы интерпретации графовых нейросетей довольно ограниченны и мало полезны на практике. Более актуальными видятся самоинтерпретируемые модели, способные выдавать объяснения результатов своей работы по ходу процесса обучения. Примеры таких подходов – нейронный анализ и метод обучения прототипов. Методы выглядят перспективно, однако страдают от нестабильности и высокой вычислительной сложности алгоритмов, в связи с чем необходимо их усовершенствование или поиск новых решений.
Исследование фундаментальных графовых моделейФундаментальные графовые модели (graph foundation models, GFM) появились недавно как аналог больших моделей для графовых данных. В отличие от стандартных графовых нейронных сетей, GFM предобучается на разннобразных графовых данных, обобщает их и далее может быть использована для разных типов задачи: классификация вершин, графов, предсказание ребра и т. д. [1]. Например, показано, что предобученная на одном графе модель GraphAny показывает более высокое качество инференса на других графах по сравнению с обучением только на 1 целевом графе [2]. Пока что это свойство emergency, характерное для LLM, для GFM только начинает изучаться и представляет большой интерес. Актуальными являются вопросы интерпретируемости и устойчивости к атакам для таких моделей.
 
[1] Liu, Jiawei, et al. «Towards graph foundation models: A survey and beyond.» arXiv preprint arXiv:2310.11829 (2023).
[2] Zhao, Jianan, et al. «Graphany: A foundation model for node classification on any graph.» arXiv preprint arXiv:2405.20445 (2024).
Поиск ботов в социальных медиа с помощью графовых нейросетейВо многих социальных сетях некоторые аккаунты используются для совершения вредных действий: рассылки спама, создания искусственных потоков сообщений (например, с целью влияния на общественное мнение), мошенничества. Для обнаружения таких аккаунтов анализируется их сообщения, паттерны активности, а также взаимодействия с остальными участниками сети, выраженные графом. Графовые нейронные сети успешно используются для анализа таких графов и поиска вершин-ботов, однако те постоянно совершенствуются и маскируются, в связи с чем задача не теряет актуальности.

Научные интересы:

  • Искуственный интеллект — доверенный ИИ (trusted AI), объяснимый ИИ (explainable AI)
  • Машинное обучение — графовые нейронные сети (Graph neural networks)
  • Сложные сети (complex networks) — алгоритмы сбора (crawling), модели случайных графов (random graphs), вложение графов (graph embedding)