В апреле 2017 года ресурсы двух центров коллективного пользования – Межведомственного суперкомпьютерного центра Российской академии наук (МСЦ РАН) в Москве и Сибирского суперкомпьютерного центра Сибирского отделения РАН (ССКЦ СО РАН) в Новосибирске – были объединены в территориально распределенный вычислительный комплекс, а начиная с июля этого года их соединил высокоскоростной защищенный канал передачи данных (10 Гбит/с). Высокопроизводительный защищенный канал связи создан специалистами группы компаний РСК, компаний «С-Терра СиЭсПи» и «Милеком», а также Института вычислительных технологий СО РАН.
Использование качественно нового защищенного канала связи позволит российским ученым еще эффективнее решать актуальные задачи в области фундаментальных и прикладных наук, включая такие передовые направления исследований, как цифровые и интеллектуальные технологии, высокотехнологичное здравоохранение, повышение экологичности и эффективности энергетики, развитие авиапромышленного комплекса и освоение космического пространства, искусственный интеллект (AI, Artificial Intelligence), машинное и глубокое обучение (ML/DL – Machine Learning, Deep Learning), работа с большими данными (Big Data) и другие. Многие из расчетных задач содержат конфиденциальную информацию, поэтому создание защищенного канала передачи данных между двумя суперкомпьютерными центрами было необходимо для расширения возможностей эффективного использования объединенных вычислительных ресурсов. В дальнейшем это позволит объединять и другие российские региональные суперкомпьютерные центры в единую защищенную сеть передачи данных.
«Ключевые задачи нашего центра – обеспечивать новые возможности для проведения исследований и разработок, предоставлять исследовательским коллективам РАН мощные ресурсы для решения различных научных и прикладных задач, а также обеспечивать организацию наиболее эффективной работы российских ученых из разных регионов страны. Введение в эксплуатацию защищенного канала передачи данных между МСЦ РАН и ССКЦ СО РАН, после недавней модернизации объединенных в территориально распределенный суперкомпьютерный комплекс, полностью соответствует текущим потребностям и растущим запросам наших пользователей не только в повышении скорости обработки данных, но и в обеспечении высокого уровня защиты конфиденциальной информации», – отметил Борис Михайлович Шабанов, директор Межведомственного суперкомпьютерного центра Российской академии наук.
«В тех случаях, когда расчетные задачи наших пользователей требуют гораздо больших вычислительных ресурсов, чем может предоставить ССКЦ, мы обеспечиваем возможности для использования дополнительных мощностей путем перераспределения нагрузки и запуска приложений на суперкомпьютерном комплексе МСЦ РАН. Организованный между нашими центрами защищенный канал передачи данных обеспечивает полную конфиденциальность передаваемой информации в соответствии с требованиями научных организаций и других наших заказчиков», – подчеркнул Борис Михайлович Глинский, исполнительный директор ЦКП «Сибирский Суперкомпьютерный Центр» ИВМиМГ СО РАН.
В результате проведенного тестирования была продемонстрирована возможность передавать данные по защищенному каналу со скоростью до 4 ТБ в час (около 9 Гбит/c) между двумя центрами, расположенными друг от друга на расстоянии порядка 3000 км. Защита информации обеспечивается в соответствии с отечественными криптографическими алгоритмами ГОСТ Р 34.10-2012, ГОСТ Р 34.11-2012, VKO_GOSTR3410_2012_256, ГОСТ 28147, реализованными в криптошлюзах С Терра на базе унифицированных высокопроизводительных серверов «РСК Торнадо». В дальнейшем в МСЦ и ССКЦ планируется реализация защищенной VDI-инфраструктуры для организации эффективной удаленной работы с ресурсами суперкомпьютерных центров в условиях растущих киберугроз.
Защита высокопроизводительного канала передачи данных реализована на базе специализированного шлюза безопасности «С-Терра Шлюз 10G», который сочетает в себе инновационные технологии обработки сетевых пакетов и ГОСТ-шифрование по стандартным протоколам IPsec. Достижение высоких показателей производительности шифрования передаваемых данных стало возможным благодаря, в том числе, эффективной балансировке VPN-шлюзом вычислительной нагрузки между ядрами современных процессоров Intel Xeon.
Модернизация МСЦ РАН и ССКЦ СО РАН
Уместно напомнить, что ранее в этом году группа компаний РСК, ведущий в России и СНГ разработчик и интегратор высокоплотных решений для сегмента высокопроизводительных вычислений (HPC – high-performance computing) и центров обработки данных (ЦОД), модернизировала суперкомпьютерные системы в МСЦ РАН (Москва) и ЦКП ССКЦ СО РАН (Новосибирск). Они стали основой территориально распределенного вычислительного комплекса, суммарная пиковая производительность которого превысила 1,1 ПФЛОПС (петафлопс - квадриллион операций с плавающей запятой в секунду, или 1000 терафлопс). Российские ученые из учреждений РАН в Москве и Новосибирске, а также из других регионов страны, получили возможности для использования ресурсов не только одного, но и, при необходимости, сразу двух суперкомпьютерных центров одновременно.
МСЦ РАН является одним из самых мощных суперкомпьютерных центров коллективного пользования в России в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров. Ресурсами Центра пользуются 184 группы исследователей, решающие задачи фундаментальной и прикладной направленности. В ходе модернизации суммарная пиковая производительность обновленного суперкомпьютерного парка МСЦ РАН, реализованного на базе вычислительных систем «РСК Торнадо» и RSC PetaStream с жидкостным охлаждением, выросла на 40%. В итоге общая производительность вычислительных ресурсов МСЦ РАН превысила 900 ТФЛОПС (терафлопс - триллион операций с плавающей запятой в секунду).
В настоящее время услугами ЦКП ССКЦ пользуются 24 института Сибирского отделения РАН (около 200 пользователей). После установки в марте 2017 года новой суперкомпьютерной кластерной системы НКС-1П на базе решения «РСК Торнадо» с жидкостным охлаждением общие вычислительные ресурсы ЦКП ССКЦ СО РАН были увеличены почти в два раза – на 71% до уровня 197 ТФЛОПС.
С технической точки зрения, оба проекта в суперкомпьютерных центрах РАН в Москве и СО РАН в Новосибирске уникальны тем, что это первое в мире внедрение серверных вычислительных узлов с жидкостным охлаждением в режиме «горячая вода» на базе самых мощных 72-ядерных процессоров Intel® Xeon Phi™ 7290 (были представлены в ноябре 2016 г.), а также на основе 16-ядерных процессоров Intel® Xeon® E5-2697А v4. Кроме того, в ходе реализации этих уникальных проектов впервые в России и СНГ коммуникационные подсистемы двух кластерных комплексов были реализованы на основе высокоскоростного межузлового соединения Intel® Omni-Path со скоростью передачи данных 100 ГБит/с.
Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО «РСК БазИС». Она позволяет осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) – это программно-определяемые компоненты, позволяющие существенно упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.
