Совсем недавно утихли обсуждения и разговоры о том, что Казахстан приобрел самый мощный в Центральной Азии суперкомпьютер, который будет установлен в новом дата-центре МЦРИАП РК (Министерство цифрового развития инновации и аэрокосмической промышленности РК). “Машина”, естественно – очень дорогая, но главное, чтобы она работала и приносила пользу как можно большему числу людей. А между тем, далеко не все казахстанцы имеют представление о том, что из себя представляет суперкомпьютер, и каковы перспективы использования подобных инновационных технологий – как для частных компаний, так и для студентов, для стартапов, науки, экологии, да и для всей страны в целом.
Рассказать о высокопроизводительных вычислительных машинах, предназначенных для решения сложных и ресурсоемких задач, помочь разобраться в терминах и понятиях и даже провести экскурсию по Дата-Центру согласился предприниматель Тахир Такабаев, который вот уже 15 лет занимается облачными технологиями, он построил в Алматы коммерческий независимый ЦОД, с мощностью энэргоузла 1,2 МВТ и вместимостью 120 шкафов. Тахир Маратович кандидат физико-математических наук, имеет тридцать лет научно-педагогического стажа, им опубликовано свыше 20 научных работ. В разные годы возглавлял Компьютерный Центр Института Математики (АН КазССР), ДИТ (Депортамент Информационных Технологий) нацкомпаний и крупных коммерческих структур.
Вместе с ним мы пройдем по его Дата-Центру, чтобы понять, как он устроен, а потом поговорим о проблемах, перспективах использования и многих других интересных вещах.
Что представляет собой «суперкомпьютер» (hPC)?
hPC – аббревиатура, которая расшифровывается как High-Performance Compting – высокопроизводительные вычисления.
По сути супер-компьютер – это объединение в единую систему большого количества мощных серверов с различными опциями: CPU ,GPU, сетью и хранилищами. В работе может быть 1000 серверов и больше.
Помещается такой «монстр» в особые серверные шкафы, расположенные в гермо-зоне – специально обустроенном герметично закрывающемся помещении, в котором создаются особые условия для работы. Такие, как постоянная температура от +15 градусов, но не более +25 на входе в оборудование, хорошая вентиляция, стабильное обеспечение электроэнергией, без скачков напряжения и внезапных отключений. Обязаительно и обеспечение системой пожаротушения.
Серверное помещение для суперкомпьютера заключает в себе, как минимум, 50 серверных шкафов 42U – это отраслевой стандарт. К примеру суперкомпьютер Ломоносов в МГУ размещен в 104-х серверных шкафах.
Циркуляцию воздуха, обдув и стабильную температуру обеспечивают мощные кондиционеры, установленные по периметру здания.
Поскольку Дата-Центр потребляет большое количество электроэнергии, у него есть и собственная трансформаторная подстанция.
Тахир Маратович: «Мы потребляем количество электроэнергии сравнимое с большим ЖК, со всеми его лифтами, кондиционерами и т.д». Очень важно понимать расходы на электроэнергию. Потребление 1 мВт, это 720 000 квт*ч ежемесячно. При нынешних тарифах по 30 тенге за 1 квт*ч, только расходы на электроэнергию составляют около 20 млн тенге.
Установлен генератор мощностью 1 МВт, который срабатывает, если в городе по какой-либо причине отключается электричество.
От трансформаторной подстанции электропитание поступает в ЦОД. Это так называемое «грязное питание». Оно довольно нестабильно, поскольку бывает как падение напряжения, так и кратковременные отключения электроэнергии.
«За этим следят дежурные. Дело в том, что городские электросети «моргают» по нескольку раз в сутки. И дежурные докладывают в служебном чате, что была «моргушка». Бывает даже до 15 «моргушек» подряд», – поясняет Тахир Маратович.
Бесперебойное поступление электропитания для работы Дата-Центра обеспечивают особые стабилизаторы (UPS), вместе с системой аккумуляторных батарей, размещенных в специальных батарейных кабинетах. Это так называемое «чистое» питание.
Ко всем установкам, серверам и приборам подходит огромное количество кабелей, которые уложены в металлические лотки, выдерживающие вес до 2 тонн.
Шкафы с серверами располагаются в гермо-зоне не только для создания постоянной температуры и вентиляции, но и с целью пожарной безопасности. Поскольку к серверам подходят экстремально большие электротоки, не исключены возможности возгорания.
Для их предотвращения, в ЦОД работает особая система автоматического пожаротушения, которая срабатывает при задымлении или повышении температуры. В такой ситуации герметично закрытое помещение, заполняется инертным газом и горение прекращается.
В самых ключевых точках установлены видеокамеры.
Кроме того ведется технический мониторинг и данные передаются дежурным инженерам, которые следят за работой всех систем.
Вот, вкратце, как работает Дата-Центр.
Корр: «Но ведь это только вершина айсберга? Не все так просто»?
Тахир Маратович: «Вся эта сложная система требует постоянного качественного обслуживания специалистами: обслуживание серверов, техобслуживание систем охлаждения, своевременная замена аккумуляторных батарей и т.д. Хорошие специалисты во всем мире стоят дорого.
Кроме того, даже самый мощный процессор быстро устаревает. Закон Мура никто не отменял. Проходит, допустим, 2 года и появляется более совершенный, более мощный. Часть серверов ориентирована на мощность процессоров (CPU), часть используют видеокарты (GPU). Если устаревает сеть, процессор, графическая карта, то устаревает и весь суперкомпьютер. А после 5 лет любой процессор, считавшийся супермощным, становится дорогим хламом. И его надо заменять, иначе он будет вытягивать деньги из бюджета компании владельца, став тем самым не локомотивом а дорогим тормозом в развитии технологий.
Следовательно, обслуживание, специалисты, замена устаревшего оборудования, оплата электроэнергии и пр. требуют значительных финансовых вложений.
Поэтому, с первых дней работы необходимо по максимуму использовать суперкомпьютер, загрузив его задачами с хорошей финансовой отдачей. При этом амортизация должна составлять более 20-30% в год.
Когда я двенадцать лет назад пытался найти деньги на свой проект, все представители банков «крутили у виска» и чуть ли не смеялись мне в след. Чиновники из ряда курирующих отрасль ведомств и вовсе признали проект бесперспективным. Дать определенную сумму согласился только один из банков. Эта сумма была сравнительно небольшой, но позволила начать развитие. С тех пор наш Дата-Центр работает и постепенно увеличивает мощности (жаль, что не так быстро, как хотелось бы).
Хотел бы отметить помощь АО Даму. Это государственное предприятие, созданное специально для поддержки начинающих стартапов. В их портфеле инструментов поддержки МСБ, есть Программа субсидирования займов. То есть половину процентов банковского коммерческого кредита оплачивает АО Даму. В моем случае, эта Программа сработала на 100%. Без их помощи я возможно бы и не решился на проект.
В настоящее время идет монтаж нового серверного зала на 26 шкафов 42U. Подведенная мощность к каждому шкафу 20 кВт. Охлаждение обеспечат 12 рядных кондиционеров по 30 кВт каждый».
Корр: «А где еще установлены суперкомпьютеры и на сколько продуктивно они используются»?
Тахир Маратович: «Самый крупный Дата-центр Казахстана расположен в городе Павлодаре. Он принадлежит АО Казахтелеком. Там эксплуатируется 300 шкафов.
Для сравнения самый крупный ЦОД Индии вмещает 10 000 шкафов. Это о масштабах, так сказать. Но в Павлодаре нет Суперкомпьютера.
Исторически в РК были установлены два суперкомпьютера в современном понимании – в КБТУ и в КазНТУ. Суперкомпьютер в КБТУ был куплен в свое время за 3 млн долларов. В КазНТУ суперкомпьютер был подарен корейской организацией международного сотрудничества KOICA. Но они уже морально устарели. И по правде говоря – особых лавров не снискали. Их потенциал так и не был реализован.
На данный момент в РК анонсированы три суперкомпьютера. Один в МЦРИАП, один в Казахтелекоме .
Также hPC появился у КазНУ, который пару лет назад был передан Казахстану в дар от КНР. Тогда было передано 400 серверов с CPU и 40 с GPU. По договору с китайской стороной, КазНУ должен сам оборудовать Дата-Центр. В настоящее время работа идет, но сроки уже поджимают. Не так давно их представители приходили посмотреть, как работает наш Дата-Центр, чтобы использовать существующий опыт и избежать ошибок. Вместе мы обсудили перспективные задачи и проблемы отрасли.
Если вспомнить, то несколько десятилетий назад для студентов специальности «Прикладная математика» был очень полезным опыт работы на Вычислительном Центре с машинами ЕС 1022 и БЭСМ, которые тогда считались суперкомпьютерами своего времени.
Надеюсь у КазНУ получится сделать hPC некоей стартовой площадкой для студентов в наше время.
Как я уже говорил, срок жизни суперкомпьютера составляет, в среднем 5 – 6 лет. А они возятся с установкой уже больше двух лет. За этот промежуток времени сеть infiniband, на которой построен этот hPC, прекратила свое развитие.
Так что пока, к сожалению, мы снова наблюдаем, как вхолостую растрачивается творческий потенциал и время».
Что касается суперкомпьютеров в МЦРИАП и АО Казхтелеком, то по ним мало детальной технической информации. Лучше дождаться официального старта и начала решения практических задач. Тогда поймем, что за техническое чудо купил Казахстан. Ведь платить за них придется из бюджета РК».
Тема оказалась весьма серьезной и обширной. О том, какие проблемы существуют в данной области, а так же о перспективах использования супер-компьютеров – читайте в ближайших выпусках.
