Основное направление на ближайшие 1-2 года — повышение интерпретируемости алгоритмов машинного обучения, в частности графовых нейросетей.

Сейчас в сфере ИИ все более активно обсуждаются проблемы доверия к алгоритмам машинного обучения. Как понять, почему сложный алгоритм выдает тот или иной результат? Что если ИИ ставит неверный диагноз пациенту, принимает плохое финансовое решение или выносит неверный приговор? Как определить, почему алгоритм ошибся, если это нейросеть с сотнями миллионов параметров? Для решения этих вопросов развиваются методы повышения интерпретируемости алгоримтов машинного обучения: изобретаются способы объяснения и методы встраивания интерпретируемости в модели. Однако, зачастую хорошо интерпретируемые методы (дерево решений, метод ближайших соседей) показывают качество ниже, чем state-of-the-art модели (нейросети), и на практике необходимо искать компромисс между понятностью и качеством.

Последние годы модели графовых нейронных сетей показывают лучшие результаты в различных прикладных областях: анализ социальных сетей, поиск лекарств, рекомендательные системы, а также в биологии, химии, финансах и др. Число параметров у графовой нейросети существенно меньше чем у традиционной нейросети, но вся сложность интерпретации кроется в нерегулярной структуре самих графов и такие методы объяснения только начинают появляться.

Актуальным является вопрос доверия к ИИ с точки зрения уязвимости к атакам. В интернете можно найти различные видео, на котором человек надевает футболку со специальным изображением и становится «невидим» для камеры с распознаванием лиц. Существует множество типов атак и уязвимостей, в том числе еще никем не обнаруженных. В связи с этим свойство интерпретируемости моделей приобретает еще большее значение.

Примерные темы исследовательских работ:

• Исследование и разработка методов повышения интерпретируемости графовых нейронных сете.
• Исследование и разработка методов построения объяснимых графовых нейронных сетей.
• Анализ атак отравления и уклонения на графовые нейронные сети и исследование методов защиты от них.

Научные интересы:

• Искуственный интеллект — доверенный ИИ (trusted AI), объяснимый ИИ (XAI)
• Машинное обучение — графовые нейронные сети (Graph neural networks)
• Сложные сети (complex networks) — алгоритмы сбора (crawling), модели случайных графов (random graphs), вложение графов (graph embedding)
• Биоинформатика — задачи, связанные с анализом графов