Машинное обучение является мощным инструментом. Однако, статистические подходы, которые заложены в его основу по умолчанию приводят к наличию различных уязвимостей и дефектов, которые могут приводить к некорректному функционированию системы в реальных условиях. Решениям подобных проблем занимается направление доверенного машинного обучения. На данный момент классический подход состоит в изолированном рассмотрении каждой из проблем.
Это направление посвящено изучению способов одновременного обеспечения нескольких аспектов доверия в ИИ-системах: безопасности, защищенности, приватности, интерпретируемости, этичности и др. Аспекты доверия взаимосвязаны и могут усиливать или ослаблять друг друга. Исследования направлены на выявление оптимальных комбинаций методов доверия, экспериментальную оценку синергий и диссинергий, а также построение математических моделей достижимых комбинаций.
Кому подойдет:
- Тем, кого интересуют междисциплинарные исследования и кто хочет получить опыт на стыке теории и практики ИИ;
- Тем, кто хочет решать фундаментальные задачи, необходимые для внедрения ИИ в критическую инфраструктуру (медицину, финансы, промышленность и др.);
- Тем, кто ищет баланс между теоретической и прикладной составляющими исследований.
Основные направления работы:
| № | Направления | Описание |
|---|---|---|
| 1. | Экспериментальное изучение синергии и дисинергии аспектов доверия | ● Создание бенчмарков и стандартных сценариев проверки комбинаций методов доверия; ● Выявление скрытых уязвимостей при совместном применении методов. |
| 2. | Математическое исследование конфликтов и достижимых комбинаций доверия | ● Формализация многопараметрической оптимизации доверия; ● Моделирование границ достижимости различных аспектов доверия. |
Примеры тем для дипломных работ
Экспериментальное направление:
- Исследование различных стратегий распределения приватного бюджета между слоями нейронных сетей.
- Динамический анализ приватности модели с учетом изменения конфиденциальности данных в процессе обучения и дообучения.
- Разработка методов сниженной детализации интерпретации, уменьшающих степень утечки приватной информации без потери пользовательской информативности.
Математическое направление:
- Математическая модель компромисса между точностью и приватностью в методах дифференциальной приватности.
- Разработка функции потерь, позволяющая обучить модель со свойством выявления данных вне обучающей выборки.
- Анализ достижимости одновременного выполнения более двух аспектов доверия в простых нейронных сетях (линейные слои, малые размерности).
Примеры тем для кандидатских работ
Экспериментальное направление:
- Разработка оптимальной стратегии распределения бюджета приватности для модели ML с длительным жизненным циклом.
- Одновременное противодействие атакам отравления и уклонения.
- Разработка методов обучения интерпретируемых моделей, не приводящих к повышению уязвимости к атакам уклонения.
Математическое направление:
- Математическая теория конфликтов аспектов доверия в ИИ-системах.
- Многопараметрическая оптимизация нейронных сетей при многокомпонентной функции потери.
- Модели и методы количественной оценки совместимости аспектов доверия.
Используемые в работе технологий/библиотек:
PyTorch, Torchvision, PyTorch Geometric, Scikit-learn, NumPy, Matplotlib, ONNX, ART, фреймворки Центра доверенного ИИ ИСП РАН.
Актуальность и более подробное введение в тематику направления:
Сегодня ИИ используется во многих сферах: медицина, финансы, промышленность, беспилотные устройства. Даже простая модель на PyTorch может принимать решения, которые влияют на здоровье человека или безопасность машин. Поэтому важно, чтобы модели были:
- Корректны — не давали неожиданных ошибок из-за естественных процессов во время эксплуатации систем;
- Защищенными — не поддавались злонамеренным атакам;
- Приватными — не раскрывали персональные данные;
- Интерпретируемыми — чтобы специалисты могли понять, почему модель приняла то или иное решение;
- Этичными — чтобы решения модели не были предвзятыми или дискриминирующими.
В научной среде классический подход в доверенном ИИ традиционно рассматривают каждый аспект доверия изолированно. Фиксируется узкая постановка задачи и решается в выбранных ограничениях. Ключевая проблема в том, что для реальной системы необходимо, чтобы система ИИ удовлетворяла сразу большой группе аспектов доверенного ИИ.
Самым простым решением является простое совмещение методов обеспечения каждого аспекта при разработке в рамках единого процесса разработки системы, но на практике оказывается, что улучшение одного аспекта доверия иногда снижает другой. Например, объяснимость модели может сделать её более уязвимой к атакам.
В этом направлении исследуется и формируется научный фундамент того, как сочетать и обеспечивать сразу несколько аспектов одновременно. Это требует как эмпирических исследований по выявлению противоречий, так и формировании математических теории для формализации конфликтов.
После эмпирической и математической формализации конфликта следующая задача это разработка новых методов и методик доверенного ИИ, которые являются основой для создании автоматизированных систем тестирования и разработки доверенных систем ИИ, которой занимается направление “Разработка инструментов и оптимизация проверок моделей ИИ”