Вместе с Тахиром Такабаевым мы продолжаем о разговор о суперкомпьютерах и перспективах их применения в Казахстане. Теперь, когда мы немного разобрались в терминологии, у нас возникло несколько вопросов.
Напоминаю, Тахир Такабаев, предприниматель, кандидат физико-математических наук, с тридцатью годами научно-педагогического стажа, имеет свыше 20 публикаций научных работ, построил в Алматы коммерческий независимый ЦОД, с мощностью энэргоузла 1,2 МВТ и вместимостью 120 шкафов.
Корр: «Поясните, пожалуйста, нашим читателям, что такое Дата-Центр и предполагает ли он обязательное наличие суперкомпьютера»?
Тахир Маратович: «Суперкомпьютер, это вычислительный кластер. А дата-центр, это место хранения и работы суперкомпьютера.
Суперкомпьютер (hPC) – это условное название большого вычислительного кластера. Сегодня он супер, а завтра уже не супер. Существует так называемый ТОП 500 (его можно найти на разных ресурсах), и этот список будет плавающий, сегодня одни входят, завтра их место уже занимают другие.
В суперкомпьютер, или вычислительный кластер входит большое количество серверов, объединенных в единую систему для повышения производительности, при этом производительность каждого из серверов суммируется. Серверы размещаются в специализированных шкафах стандарта 42U.
Еще одна ключевая тема – распараллеливание вычислений. Условно говоря, любая математическая задача разбивается на очень большое множество параллельно решаемых подзадач типа X+Y=Z. За счет именно параллельного решения всех подзадач, суперкомпьютер решает миллиарды таких уравнений в секунду. Производительность любого hPC измеряется в единицах FLOPS (float operation per second) – количество операций плавающей точкой (с вещественными числами) в секунду. В настоящее время счет идет уже не на миллиарды флопс, а на миллиарды миллиардов простых вычислений в секунду.
Сейчас все школьники знают, что компьютером управляет Центральный Процессор – CPU, который, технически, состоит из большого количества транзисторов объединенных определенным способом. Способ объединения транзисторов в CPU называется архитектурой Процессора. До недавнего времени в ИКТ преобладали CPU с архитектурой x86 ( как на наших обычных ПК), сейчас все больше распространяются CPU на базе ARM, начавшие своё развитие с мобильных процессоров. CPU разбивается на ядра. Например, у смартфонов уже 8. У серверных процессоров до 64 ядра. Каждое ядро CPU, это один небольшой полноценный процессор, который может решать весь спектр задач.
Помимо CPU, в практике hPC широко применяются GPU – графический процессор. Процессор управляющий графической картой. Изначально этот тип процессоров использовался только для обработки графических изображений на обычных ПК. Изображения на ПК, как известно, состоят из большого количества точек. Каждой точке надо обсчитать координаты, цвет. Условно X+Y=Z. Вот эти задачи и обсчитывали GPU состоящие из нескольких ядер. Так называемых CUDA ядер (это термин компании NVIDIA).
Ядра GPU более простые чем у CPU. Прогресс развития GPU пошел в сторону увеличения количества ядер GPU решающих простейшие математические задач. Например, если у компьютеров процессоров компании AMD – 128 универсальных ядер. У GPU – свыше 15 тыс. простых ядер, которые могут в основном «считать». Тогда как, CPU, может еще и обрабатывать данные, условно говоря «думать», например, сравнить два каких-то числа. Вот почему никакой ИИ без CPU невозможен в принципе.
hPC из списка TOP 500 объединяют как правило по 30-150 000 обычных CPU (каждый из которых состоит из 128 ядер). Процесс увеличения производительности нелинеен. Часть из этих процессоров работают на управление самим кластером. То есть, если вы объединили условно 400 серверов с 2мя CPU в каждом, то на вычисления работают только 700 CPU. С увеличением количество серверов, количество обслуживающих CPU увеличивается. Массовые сервера работают на двух CPU. Но встречаются и серверы с 4-8 CPU.
На фото вы можете увидеть, как выглядел Суперкомпьютер FUGAKU – недавний лидер списка ТОП 500. Он объединял мощности почти 160 000 CPU по 48 ядер. То есть, в вычислениях использовались около 8 млн ядер.
Современный Суперкомпьютер устроен из CPU и GPU, у них есть обычные сервера и так называемые видео сервера, у которых по 8 больших графических карт. То есть, суперкомпьютер – это множество серверов с большим количеством CPU и GPU, соединенных между собой высокопроизводительной сетью. Параметры сети тоже изменяются, что-то устаревает, что-то приходит более быстрое. Если взять суперкомпьютер КБТУ, то там была сеть infiniband, а сейчас уже используется стандарт fiber channel ethernet. Это другие стандарты, другое оборудование. Причем срок смены поколений сетевых технологий обычно 5-6 лет.
Очевидно, что Суперкомпьютер не может работать под управление обычной ОС типа Windows. Даже серверной OS Windows такое количество процессоров “не по зубам”. То есть, Суперкомпьютером управляет своя версия ОС. Поэтому и специалисты нужны соответствующие. Таких специалистов на рынке не так уж и много.
Резюмируем мой краткий эскурс. Суперкомпьютер характеризуется количеством серверов, количеством CPU и GPU, количеством шкафов и мощностью энергоузла».
Корр: «Когда вы говорили о крупнейшем в Казахстане павлодарском Дата-Центре, вы сказали, что суперкомпьютера там нет».
Тахир Маратович: «Дата-Центр это, всего лишь, – место для хранения и работы. Видимо, в Павлодаре они используют его для других целей».
Корр: «А в вашем Дата-Центре мы видим именно суперкомпьютер»?
Тахир Маратович: «У меня есть небольшой вычислительный кластер. Но сейчас это уже не суперкомпьютер, поскольку ему 10 лет, то есть морально он устарел».
Корр: «Но внешне выглядит он так же, как суперкомпьютер? И разговаривая о суперкомпьютере и показывая Дата-Центр мы не особо погрешили против истины?
Тахир Маратович: «Принципиальная схема моего кластера такая же как у самых известных hPC».
Корр: «А теперь давайте вернемся к перспективам использования суперкомпьютеров в Казахстане. Насколько мы отстаем от соседей в этом плане»?
Тахир Маратович: «Казахстанские ИКТ в целом двигаются неплохо. Есть успехи в Правительственных сервисах. В Финтех секторе. Но основная критика специалистов и граждан идет от того, что могло быть намного лучше.
В части наполнения Казнет, Казахстан отстает от многих стран. Например, количество веб сайтов в рунете 15 млн, а у нас 159 тыс. От РФ по мощностям ЦОД мы отстаем в 30-40 раз. Поэтому, строительство дата-центров в Казахстане признано стратегически важным. Это, кстати, стало подчеркиваться и руководством Республики. Факт отставания очевиден.
Кроме того, сколько различного видео казахстанцы выкладывают на You Tube? Потому что это бесплатно. У Казахстана нет своей подобной платформы. Поэтому внутренние каналы связи для You Tube бесплатно, а для казахстанских разработчиков надо платить. Естественно, они стоимость содержания проектов перекладывают на пользователей, которые предпочитают бесплатные сервисы. А если санкции или нас по какой-то причине отключат? В этом случае огромное количество информации просто пропадет, будет недоступно для нас. Все это останется там и будет заблокировано.
Наши дети смотрят чужую анимацию, они играют в чужие игры. И это тоже говорит о многом».
Корр: Какие задачи: технологические, научные, экологические, социальные могут быть поставлены для решения на казахстанских суперкомпьютерах?
Тахир Маратович: «В современном Казахстане не сформирован пул задач, ждущих своего решения на большом кластере.
Во всем мире существует рынок решения задач на суперкомпьютерах. Большой объем мощностей используют под свои задачи банки, нефтяники, сейсмологи, гидрометеорологи».
Если же говорить про суперкомпьютеры, то к примеру суперкомпьютер в КБТУ занимал 10 шкафов. Если сравнивать с Московским Ломоносовским, то он занимает 104 шкафа и они собираются строить второй.
Что уж говорить про сравнение с такими hPC как Фугаку (японский суперкомпьютер Fugaku — один из самых быстрых в мире). В этом направлении нам еще «фугачить и фугачить», так сказать.
Говоря о Суперкомпьютерах, нельзя обойти стороной вопрос денег. Ранее я рассказывал, что только по оплате электричества и амортизационным расходам содержание мегаватного Дата-Центра обойдется в 30 миллионов тенге ежемесячно. То есть, один миллион тенге в день(!).
Отечественные СМИ озвучивали стоимость казахстанских Суперкомпьютеров в пределах 50 млн долларов США. Учитывая тот факт, что срок жизни Суперкомпьютера 5-6 лет, чтобы окупить такое железо, надо амортизацию закладывать в пределах одного миллиона долларов ежемесячно. Учитывая тот факт, что на данный момент Казахстан разом заполучил целых три hPC, почти все в той или иной степени связаны с госрасходами, три наших суперкомпьютера должны приносить как минимум три миллиона долларов США ежемесячно, просто чтобы окупить себя. Это без учета расходов на эксплуатацию ЦОД и на зарплату персонала. Мне кажется очевидным, что Суперкомпьютер – это очень дорогое удовольствие даже в масштабах страны, простой которого означает на юридическом языке «ущерб государству в особо крупном размере». Чтобы Суперкомпьютер окупался, прежде чем его устанавливать, надо подумать о задачах, которые он будет решать. Это задачи нефтехимии, гидрометеорологии, экологии, образования. Весь этот спектр задач актуален для Казахстана».
Корр: Давайте поговорим о потенциальных задачах для наших Суперкомпьютеров. У вас в соцсетях поднимается довольно много проблем нашего города и экологии, в частности. Как эти задачи могут быть реализованы – на ваш взгляд?
Тахир Маратович: «Я каждый день хожу на работу пешком и очень многое замечаю. Есть несколько задач для Алматы, которые можно решить с помощью вычислительного кластера или суперкомпьютера.
Например, численное моделирование воздушного бассейна города. Акимат много говорит о так называемом цифровом двойнике города. От них нужны постоянные пояснения – как они понимают этот термин. Я понимаю это как то, что на 3d карту города накладываются различные слои – инженерные сети, дома, роза ветров, источники загрязнения.
Однако речь не только о способах виртуализации и привязке информации к 3d карте. Для анализа воздушного бассейна важна математическая модель. С учетом многих параметров. Скорее всего это будет несколько систем нелинейных или квазилинейных дифференциальных уравнений.
Например, можно ли разрешить строительство здания в 40 этажей или высотного ЖК? Если в 3d модель вставить такой объект, то сразу можно рассчитать многие параметры возмущений, воздушные потоки. Где будет застаиваться воздух, а где будет «труба»? Изменения трафика автомобильного движения, на расстоянии до 5-10 км от объекта. Загрузку инженерных сетей. Да мало ли что. Было бы желание и были бы деньги на такие расчеты.
Еще очень интересная задача – расчет трафика авто по городу. Конечно нужна 3d карта и ее привязка к «GIS». Лучше open source GIS, тип OGIS, Grass GIS и т.д, но это мое личное мнение.
В городе ежедневно ездит миллион автомобилей. У каждого – свой режим передвижения. Суперкомпьютер может реализовать картинку движения всех этих машин, показать сколько и какого бензина потребляют муниципальные автомобили, сколько коммерческие, такси, грузовики, строительная и дорожная техника. Можно просчитать сколько вредных выбросов в атмосферу города делает каждый из автомобилей.
Но наиболее актуально просчитать возникновение пробок и замедление трафика в зависимости от изменений в дорожной сети, или от точечных изменений в системе регулирования движения. Всех раздражают огромные пробки. А почему они возникают? Где неправильно отрегулирован светофор, где неопытный регулировщик «вырастил» пробки во всех направлениях, где идет ремонт дороги?
Недавно одна из женщин-депутатов возмутилась пешеходной зоной на улице Зенкова, у Зеленого базара. Часть движения перекрыта и сразу пошли пробки. Прежде чем выдавать разрешение, наши чиновники из Акимата могли бы на численной модели этого района (которую еще надо создать), рассчитать последствия новаций. А заодно просчитать сколько двоукиси углерода попадет в атмосферу из-за пробок в этом квартале. Причем расчет можно сделать на коммерческой основе. Чем не монетизация Суперкомпьютера»?
Корр: «Получается, что главное – это задачи»?
Тахир Маратович: «Да! Главное для hPC, это – задачи. Я построил независимый коммерческий ЦОД, чтобы доказать нашим чиновникам, что Дата-Центры, это – не нечто заоблачное для РК. Сегодня наши клиенты 4 банка и 14 операторов связи. Я отстоял свои технические решения в спорах со специалистами.
Что я еще могу сказать по задачам численного моделирования на наших отечественных Суперкомпьютерах? Понятно, что задачи нефтяников, геодезистов, сейсмиков, гидрометеорологов при наличии численных моделей могут загрузить достаточно большой объем мощностей.
А ведь есть еще и огромные возможности для Системы среднего и высшего образования.
Очень интересное задание – рендер. Допустим, вам надо пересчитать из 3d в 2d. В Казахстане 500 тыс. студентов. Если каждый из них сделает в качестве курсовой работы 15 мин анимации, то это будет отечественный мультфильм длиной в 125 тыс. часов. Понятно, что это будет не идеально. Но вы сделайте 20-30 моделей: девушка, джигит, лошадь, всадник знаковые здания в разных городах. А если провести конкурс на лучший ролик? За первое место – квартира, за второе – автомобиль и т.д. Студенты тогда сутками будут работать.
И еще задача для суперкомпьютера – ликвидация проблемы так называемого цифрового неравенства. У нас далеко не все студенты имеют свой компьютер, планшет или ноутбук с ШПД к Интернет. А давайте студентам не ноутбуки раздавать, как это сделал Акимат в период пандемии, раздав 2000 ПК (где они сейчас?), а облачный, виртуальный десктоп. То есть десктоп, оболочка которого находится в ЦОД, а монитор в виде смартфона и планшета или простого ноутбука играет роль монитора виртуального десктопа. Смартфоны есть у всех + мощный дата-центр и пусть работают. Такая технология называется VDI. Это ведь окупится! Чем дарить малоимущему студенту ноутбук за 1000 долларов, лучше ему оплатить за VDI, а смартфон или планшет есть у всех.
Если VDI учащихся соединить с мощными GPU, то у всех будет доступ к мощной графической станции и те кто хочет может создавать анимационный контент. Вы знаете, в мультфильмах, из других стран, степняки выдаются в виде Тугарина, или дикого неотесанного варвара. Я бы на месте МЦРИАП, Минкультуры, МОН, создал десятки цифровых 3d образов красивого джигита на коне, юрты и убранства, девушки. Тогда 500 000 казахстанских студентов и 2,5 млн школьников на своих VDI могли бы создавать анимацию с этими персонажами.
Не секрет, что школьники и студенты пользуются открытым интернетом. И чего там только нет! «Синий кит», еще что-то опасное. Но ведь можно сделать так, чтобы они только через ваш шлюз заходили. Все образовательные ресурсы должны быть на суперкомпьютере. И всё, никаких вредоносных сайтов. Централизованную систему с виртуальными десктопами легче защитить от внешних атак.
Еще одна задача для суперкомпьютера – синхронный перевод с казахского и обратно. Вы знаете, когда я общаюсь с китайскими партнерами, они все включают Гугл переводчик и имеют полноценный перевод обычного диалога. С казахским языком такого нет. У нас 30 лет говорят о проблеме развития Казахского языка, но нормальных он-лайн переводчиков нет. Обработка аудиофайлов не требует больших мощностей. Но если будет вестись много диалогов. То Суперкомпьютер это как раз то, что может обработать все диалоги».
Корр: «И в завершении нашей беседы, как бы вы коротко подытожили наш разговор?»
Тахир Маратович: «Можно много говорить на тему загрузки Суперкомьютера. Пока хочу выделить, что, если нынешние счастливые обладатели этого дорогого железа смогут загрузить его соответствующими задачами, то мы возможно получим импульс к развитию отечественных ИКТ. Если будет господдержка реальных работ, будут ставиться действительно важнейшие задачи, а ресурсы суперкомпьютера станут доступны огромному количеству казахстанцев, все от этого только выиграют. Желаю казахстанским hPC технологиям роста и успешного внедрения в экономику».
