Asperitas – платформа, предназначенная для хранения данных и совершения сложных ресурсоёмких вычислений по запросу. Дистрибутив включает в себя одноимённую облачную среду (№5921 в Едином реестре российского ПО), а также PaaS- и IaaS- оркестраторы (Michman и Clouni). В число облачных решений ИСП РАН входит также Fanlight (№6066 в Едином реестре российского ПО) – платформа для организации web-лабораторий. Решения разработаны в Отделе информационных систем ИСП РАН.

ОБЛАЧНАЯ СРЕДА ASPERITAS

Облачная среда Asperitas на базе Openstack и Ceph создана на основе совместного проекта с компанией Dell. Предназначена для вычислений с большими доступными ресурсами. Базируется на открытых современных технологиях, которые являются основными для построения больших приватных облачных систем. Подход к развёртыванию облачной среды из локальных источников реализован в виде заранее подготовленной виртуальной машины, обладающей всеми необходимыми инструментами для запуска процесса развёртывания.

Asperitas – это:

  • Отчуждаемость решений (возможность воссоздания инфраструктуры в изолированной среде с полным контролем над ней за счёт использования открытых стандартов, свободного ПО и научных разработок ИСП РАН).
  • Высокий уровень безопасности (среда построена на базе уменьшенной кодовой базы и использует собственные решения по усилению безопасности).
  • Управление виртуальными сетями и вычислительными кластерами с использованием систем Keystone, Neutron, Nova (аналог Amazon EC2).
  • Блочное хранение данных, а также расширяемое объектное хранилище на основе распределённой файловой системы Ceph.
  • Возможность адаптации под решение конкретных классов задач (решение задач механики сплошных сред, анализ больших данных, анализ программ на уязвимости и др.).

УНИВЕРСАЛЬНЫЙ ОРКЕСТРАТОР MICHMAN

(https://github.com/ispras/michman)

Michman − инструмент оркестрации сервисов уровня PaaS в облачной среде для анализа больших данных, задач машинного обучения, решения распределённых задач на кластере и хранения больших объёмов данных. Поддерживает автоматическое развёртывание кластеров с настроенными системами. Позволяет пользователям создавать кластеры в изолированных проектах и отслеживать актуальную информации о статусе развёрнутых сервисов и кластеров. Инструмент активно развивается, в будущих версиях планируется добавить поддержку систем Kubernetes и Slurm Workload Manager, а также возможность мониторинга развёрнутых приложений.

Michman предоставляет возможность по запросу развёртывать в облаке виртуальные кластеры с набором сервисов уровня PaaS:

  • Кластер для анализа больших данных с полностью настроенными системами Apache Spark, Apache Hadoop, Apache Ignite и Jupyter Notebook, а также с произвольным количеством вычислительных узлов;
  • СУБД для хранения больших объемов данных: PostgreSQL, Apache Cassandra, CouchDB, ClickHouse, Redis. Для ряда СУБД поддерживается развёртывание в распределённом режиме.
  • Система хранения и обмена файлами NextCloud.

Michman – это:

  • Сервис с системой пользователей, изолированных групп и REST API.
  • Хранение информации о развёрнутых кластерах, сервисах, их актуальных статусах и точках доступа.
  • Хранение шаблонов кластеров, готовых к развертыванию.
  • Развёртывание сложных распределённых систем со всеми доступными комбинациями сервисов по запросу.
  • Контроль зависимостей между различными сервисами и их версиями.
  • Локальное развёртывание без использования сети Интернет.
  • Хранение подробной информации о доступных сервисах, их версиях и конфигурируемых параметрах.
  • Удобное добавление поддержки новых сервисов при помощи REST API.
  • Интеграция с облачными системами виртуализации уровня IaaS.

Вместе с Asperitas и Michman в дистрибутив входит инструмент Clouni (https://github.com/ispras/clouni), который позволяет транслировать шаблоны TOSCA Simple Profile YAML в сценарии развёртывания уровня IaaS на базе Ansible.

ПЛАТФОРМА FANLIGHT

Платформа для организации web-лабораторий Fanlight создана в результате участия ИСП РАН в программе «Университетский кластер» и в международном проекте Open Cirrus (учреждён HP, Intel и Yahoo!). Предназначена для развёртывания SaaS-инфраструктур для вычислительных web-лабораторий средствами Docker Compose. Построена на контейнерных технологиях и предоставляет виртуальные рабочие места в модели DaaS (Desktop as a Service). Доступна для пользователей на сайте fanlight.ispras.ru. Поддерживает только приложения, разработанные для ОС на базе ядра Linux.

Fanlight – это:

  • Высокая эффективность работы с облачными вычислениями благодаря использованию контейнеров:
  • комфортная работа с тяжёлыми инженерными CAD-CAE приложениями, требующими поддержки аппаратного ускорения 3D-графики для сложной визуализации;
  • поддержка выполнения MPI, OpenMP, CUDA приложений за счет доступа к HPC-кластерам, многоядерным процессорам и графическим ускорителям NVIDIA.
  • Расширенные вычислительные возможности на уровне PaaS за счёт подключения аппаратных ресурсов (HPC/BigData кластеры, системы хранения, сервера с графическими ускорителями);
  • Возможность кастомизации под заданную прикладную область за счёт интеграции специализированных расчётных прикладных пакетов. В частности, есть опыт внедрения:
  • в области МСС: OpenFOAM, SALOME, Paraview и др.;
  • в области Gas&Oil: tNavigator, Eclipse, Roxar, Tempest и др.
  • Работа через любой тонкий клиент (включая мобильные устройства) без вспомогательного ПО.
  • Развёртывание на сервере, вычислительной ферме, в облаке (с уровня IaaS) или в собственном облачном ЦОД.

Опыт внедрения

Вычислительный кластер на базе Asperitas используется для анализа информационных потоков во фреймворке Talisman и для работы других технологий ИСП РАН (в частности, для анализа ОС Android с помощью Svace). Реализованы совместный проект с компанией Huawei (анализ больших графов с помощью технологий обработки больших данных) и инфраструктура поддержки жизненного цикла ОС Tizen, позволяющая организовать процесс совместной разработки компонентов ОС и автоматизировать регулярную сборку и тестирование образов. Кроме того, осуществляется ряд работ при участии Минобрнауки РФ.

Возможности платформы Fanlight использовались в ряде совместных проектов по развёртыванию web-лабораторий с ФГУП «РФЯЦ-ВНИИЭФ», ООО «РРС-Балтика», ИПМ им. М.В. Келдыша РАН (разработка технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства), а также с Лабораторией механики сплошных сред ИСП РАН (https://unicfd.ru).