Основният фокус на проекта е подпомагане на иновациите и стимулиране на връзките между академичните среди и фундаменталните научни изследвания с приложните бизнес задачи и проблеми. Очаква се Discoverer да стимулира научни и приложни изследвания, базирани на използването на технологии за високопроизводително компютърно моделиране, оптимизация и симулация.

Реализиране на проекта

Проектирането, изграждането и пускането в експлоатация на първия български петаскейл суперкомпютър може да се раздели на осем фази:

• Първата фаза на проекта включва проектиране и изграждане на Център да данни.
• Втора фаза - проектиране и изграждане на мегават и половина захранване от три независими трасета и монтиране на два броя UPS със общ капацитет 1.3 мВт/час.
• Трета фаза - проектиране и изграждане на водно охлаждане и прецизна климатизация, както и спестяване на електроенергия чрез free cooling технология.
• Четвърта фаза - доставка и монтаж на оборудване, необходимо за изграждане на суперкомпютърната система DISCOVERER.
• Пета фаза - инсталиране на всички операционни системи и конфигуриране на двете мрежи InfiniBand 200 Gbps и management 1-10 GBps.
• Шеста фаза - постигане на резултат за влизане в първите 100 в списъка на ТОП 500 на най-бързи суперкомпютри по света. Това е официалният сертифициращ орган, удостоверяващ, че разполагаме със суперкомпютър.
• Седма фаза - инсталиране на софтуерите необходими за работа както на учените, така и на частния сектор (ALYA,GROMACS, Quantum Espresso, NAMD и др.).
• Осма фаза - инсталиране и конфигуриране на секюрити инфраструктурата и започване на реална оперативна дейност.

Описание на хардуера

Discoverer се състои от 12 компютърни шкафа (rack) BullSequana XH2000 с директно течно охлаждане с до 32 блейда (blade). Discoverer разполага с 376 блейда от тип BullSequana X H2410. Блейдовете са два типа - 358 от тях стандартни с 2 x AMD EPYC процесора на нод = 2256 AMD EPYC процесора (2,6 GHz нормална честота) и 256 GB RAM памет и 18 fat нода с 1128 GB RAM памет.

Discoverer разполага общо с 2256 CPU x 64 ядра/CPU = 144 384 ядра. Общият размер на RAM паметта достига над 300 TB. Бърз дисков масив базиран на DDN (>20GBps r/w IO) с общ капацитет от 2 PB. Връзката между нодовете се осъществява посредством Infiny Band 200Gbps HDR, конфигурирана в топология infiniband dragonfly +.

Discoverer разполага и с два компютърни шкафа с въздушно охлаждане, където са разположени два мениджмънт, два логин нода и спомагателна (управляваща) инфраструктура.

Софтуерно осигуряване

Системният софтуер е базиран на Linux RedHat 8.5 различни видове контейнери docker, podman, singularity. Изградена е и DEVOPS среда включваща GITlab, Jenkins и др.

Софтуерните пакети, компилирани на Discoverer, са повече от четиридесет на брой от различни научни и приложни области. Ето описание на най-използваните пакети:

Молекулна динамика, молекулярна механика и молекулярни взаимодействия

• GROMACS е двигател за извършване на симулации на молекулярна динамика и минимизиране на енергията. Това са две от многото техники, които принадлежат към областта на изчислителната химия и молекулярното моделиране. Молекулното моделиране показва общия процес на описване на сложни химични системи от гледна точка на реалистичен атомен модел, с цел да се разберат и предскажат макроскопични свойства въз основа на подробни познания в атомен мащаб.
• NAMD е паралелен, обектно ориентиран код за молекулярна динамика, предназначен за високопроизводителна симулация на големи биомолекулни системи. Подготовката и анализът на симулацията е интегриран в пакета за визуализация VMD. NAMD е пионер в използването на хибридно пространствено и силово разлагане, техника, използвана от повечето мащабируеми програми за биомолекулни симулации, включително Blue Matter.

Квантова химия

• Quantum Espresso е интегриран пакет от компютърни кодове за електронни структурни изчисления и моделиране на материали в наномащаб. Тя се основава на теорията за функционалната плътност, плоските вълни и псевдопотенциите. Функциите на основния план на вълната DFT на QE се осигуряват от компонента PWscf (самосъобразно поле на равнинна вълна).

Понастоящем Quantum Espresso може да извършва следните видове изчисления:

• енергия в основно състояние и едноелектронни (Kohn-Sham) орбитали
• атомни сили, напрежения и структурна оптимизация
• молекулярна динамика на повърхността на Борн-Опенхаймер в основно състояние, също с променлива клетка
• избутана еластична лента (NEB) и динамика на метода на струна на Фурие (SMD) за енергийни бариери и пътеки на реакция
• макроскопска поляризация и крайни електрически полета чрез съвременната теория на поляризация (Berry Phase).
• CP2K е софтуерен пакет за квантова химия и физика на твърдо тяло, който може да извършва атомистични симулации на твърдо състояние, течност, молекулярна, периодична, материална, кристална и биологични системи. CP2K е набор от модули, събиращи различни методи за молекулярно симулиране на различни нива на точност, от ab-initio DFT до класически хамилтониани, преминаващи през полуемпирично NDDO приближение. Използва се рутинно за прогнозиране на енергии, молекулярни структури, вибрационни честоти на молекулярни системи, реакционни механизми и е идеално подходящ за извършване на изследвания на молекулярната динамика.

Изчислителна флуидна динамика

• OpenFOAM (Open source Field Operation And Manipulation") е набор от инструменти на C++ за разработване на персонализирани числени решаващи средства и помощни програми за пред-/постобработка за решаване на проблеми с механика на континуума, включително изчислителна динамика на флуидите (CFD). Той има голяма потребителска база в повечето области на инженерството и науката както от търговски, така и от академични организации. OpenFOAM има широка гама от функции за решаване на всичко - от сложни флуидни потоци, включващи химични реакции, турбуленция и пренос на топлина до динамика на твърдите тела и електромагнетика.

Цели и бюджет

Целта на проекта e проектиране, изграждане и пускане в експлоатация първият български петаскейл суперкомпютър, както и да се събере екип от висококвалифицирани специалисти, които да могат да го поддържат, да обслужват и да стимулират връзките между бизнеса и научните среди. Създаването на Discoverer е финансирано чрез съвместна инвестиция от около 11,5 млн. евро от СП EuroHPC и Република България. Суперкомпютърът ще предоставя HPC услуги на широк кръг потребители в България, Балканския регион и Европа.

Проектът е насочен както към академичните и публични клиенти, така и към бизнеса, като за пръв път могат да се включат малки и средни предприятия. Discoverer ще подкрепи разработването на приложения в науката, публичния сектор и индустрията в области като здравеопазване, екология, селско стопанство или разработка на нови материали, например за подпомагане на откриването на нови лекарства или полимер, както и за извършване на симулации на климата с висока разделителна способност, така и симулации на сеизмична активност и оценка на екологичните ефекти от замърсявания на околната среда.

Желаещите да използват капацитета на машината внасят свои проектни предложения, които се разглеждат от специално сформиран Постоянен експертен съвет от специалисти в областта на високопроизводителните изчисления, както и от съответните научни общности. Проектите ще бъдат разглеждани за съответствие с възможностите на машината и наличните ресурси и ще бъдат одобрявани и класирани съгласно приоритетите и сроковете за изпълнение.

Изграждане на комплекса

Зад реализирането Dicoverer стоят над 15 години експертиза, опит и визия на български специалисти и организации. Проектът е изпълнен от консорциум "Петаскейл суперкомпютър - България" с водещ партньор "София Тех Парк". Той е завършен от проектиране и първа копка на центъра за данни до реална оперативна дейност в рамките на една година. Всъщност България се оказва единствената държава от изброените по-горе, която трябва да изгради суперкомпютърен център, започвайки на практика от нулата.

Като най-голямо предизвикателство от "София Тех Парк" посочват именно времевата рамка, както и логистичните проблеми, свързани с ковид пандемията. Въвеждането в експлоатация е било ограничено във времето, тъй като за участие в класацията TOP 500 са налице едва две дати годишно. Все пак специалистите от "София Тех Парк" и Atos - фирмата, доставила техниката, успяват за първата дата - 28 юни 2021 г.

Discoverer се състои от 1128 възела със 144 386 ядра и над 300 TB RAM. Общото тегло на оборудването надвишава 30 тона. Суперкомпютърът е базиран на платформата на Atos BullSequana XH2000.

Планове и перспективи

По време на официалното въвеждане е експлоатация на Discoverer през октомври Петър Статев, председател на надзорния съвет на "София Тех Парк", обяви, че през 2022 г. предстои оборудване на суперкомпютъра с видеопроцесори, което ще повиши ефективността му в задачи, свързани с изкуствен интелект. По думите на Статев обратната връзка, получена от индустрията, показва, че са налице много заявки, свързани с умни градове и "зеления" преход на транспорта, което налага извършването на тази стъпка.

"С EuroHPC Discoverer България може да насърчи научните изследвания и да бъде по-добре интегрирана в паневропейските иновационни екосистеми", уверена е еврокомисарят с ресор "Иновации, изследвания, култура, образование и младеж" Мария Габриел. "Това ще стимулира много интензивни изследвания на данни в области като медицина, индустрия или сигурност. Този нов суперкомпютър ще помогне на европейските потребители да стимулират научни изследвания и иновации, независимо къде се намират в Европа."

Българският петаскейл суперкомпютър Discoverer представлява стратегическа, национална компютърна инфраструктура, имаща за цел да стимулира научните и приложни разработки в областта на високопроизводителните изчисления. Discoverer е също и част от европейското семейство суперкомпютри и техните екипи. Като такъв той ще бъде значим инструмент за дигиталната трансформация на българската индустрия и общество, като в същото време ще изпълнява съвместни изследвания и технологично развитие с европейски и регионални партньори.