В Центре коллективного пользования «Сибирский кольцевой источник фотонов» готов к работе Центр обработки данных (ЦОД) с вычислительным кластером производительностью 390 терафлопс FP64, серверным и сетевым оборудованием, а также системой хранения данных. Комплекс обеспечивает обработку экспериментальных данных в реальном времени и хранение больших объемов информации в установках класса «мегасайенс».
Проект вычислительного кластера и ЦОД в ЦКП «СКИФ» реализован группой компаний РСК. Кластер включает 24 сервера «РСК Торнадо» с производительностью 182 терафлопс, оснащенных системой жидкостного охлаждения РСК, что обеспечивает энергоэффективность, надежность и бесшумную работу. Дополнительно установлены два сервера с GPU, добавляющие 208 терафлопс производительности.
Установки класса «мегасайенс» генерируют огромные объемы данных, для которых требуются мощные системы хранения и вычислительные узлы. Сетевая инфраструктура позволяет одновременно получать данные с 30 станций СКИФ, а существующий кластер обрабатывает данные первой очереди. В перспективе планируется интеграция с суперкомпьютерами других российских установок через Национальную исследовательскую компьютерную сеть (НИКС).
«Это не первый наш опыт создания ЦОД, работающего в связке с установкой «мегасайенс». Например, ранее наша компания разработала, внедрила и несколько раз модернизировала суперкомпьютер «Говорун» для обработки данных, получаемых в ходе экспериментов на коллайдере NICA в Объединенном институте ядерных исследований (ОИЯИ) в Дубне. Стоит отметить, что созданный для ЦКП «СКИФ» суперкомпьютер по производительности превосходит многие вычислительные системы, установленные в других отечественных научных центрах. Его архитектура базируется на современных процессорах и GPU‑ускорителях. Создана объемная система хранения. Высокоскоростная и низколатентная сеть комплекса – «интерконнект» – позволяет решать широкий спектр задач с использованием самых разных вычислительных методов. Кроме того, в этот проект заложены возможности для его модернизации и наращивания мощностей», – объяснил Александр Московский, генеральный директор группы компаний РСК.
Станции ЦКП «СКИФ» работают круглосуточно, генерируя данные в зависимости от метода исследования. Некоторые методики требуют значительных вычислительных ресурсов, другие – больших объемов памяти. Например, фазово-контрастная томография может создать до 5 терабайт данных за сутки. ИТ‑инфраструктура включает многоуровневую систему хранения: «горячее» хранилище для обработки данных в реальном времени, «теплое» и «холодное» – для долгосрочного хранения.
ЦОД в ЦКП «СКИФ» оснащен системой хранения «теплых» данных на 900 ТБ и компонуемо-распределенной системой хранения горячих данных на 368 ТБ. Высокоскоростная сеть передает данные с детекторов на серверы со скоростью до 200 Гбит/с, что значительно быстрее Wi‑Fi. Вычислительный кластер СКИФ имеет уникальную архитектуру управления ресурсами, позволяющую создавать виртуальные машины с необходимыми параметрами для задач экспериментов.
«Это динамически компонуемая система, позволяющая пользователям настраивать вычислительные ресурсы (процессорные ядра, графические ускорители, оперативную память, хранилище) для экспериментальных задач. Виртуальные машины заданной конфигурации создаются программно, а после эксперимента ресурсы освобождаются, а данные безопасно мигрируют в основную систему хранения», – рассказал начальник отдела ИТ ЦКП «СКИФ» Владимир Потеряев.
ЦОД расположен в корпусе электрохозяйства, оборудован системой климатоподготовки и бесперебойного питания мощностью 300 кВт для эффективной работы оборудования.
Источник: наука.рф
