W czasie konferencji Supercomputing 2024 w Altancie (USA) ogłoszone zostały wyniki nowej edycji konkursu IO500, najszybszych systemów przechowywania danych na świecie. System przechowywania danych PCSS dla klastra Proxima zajął 10. miejsce w kategorii “10 Node Production List”. Poprzednio, system PCSS dla klastra Altair, notowany był na tej liście w czerwcu 2024. Nowy system jest całkowicie autorską konfiguracją opracowaną w PCSS przez Dział Technologii Zarządzania Danymi w Pionie Technologii Przetwarzania Danych PCSS, w wykorzystaniem infrastruktury pozyskanej i zbudowanej w ramach projektu Krajowy Magazyn Danych.
W obliczu rosnącego zapotrzebowania na szybką obsługę dostępu do danych, dla systemów, usług i aplikacji AI, producenci sprzętu serwerowego, systemów pamięci masowych, sieci oraz inżynierowie w centrach danych zmagają się z wyzwaniami, w zakresie wydajności I/O o niespotykanej dotąd skali. Wyzwaniem nie jest wyłącznie pozyskanie odpowiednio szybkiego sprzętu dla przechowywania danych – obecnie w dużej mierze opierającego się o pamięci flash, ale także zapewnienie szybkiego interconnectu sieciowego oraz wdrożenie skalowalnego oprogramowania dla zarządzania danymi.
Nie inaczej dzieje się w przypadku PCSS, który jest operatorem i zarządza infrastrukturą chmurową, HPC, AI oraz systemami przechowywania danych o ogromnej skali (20+ PFLOPS, 400+PB). Jedną z motywacji do poszukiwania coraz to szybszych rozwiązań, architektur i konfiguracji dla systemów przechowywania danych jest rewolucja w zakresie systemów, usług i aplikacji AI, której silnikiem jest wprawdzie infrastruktura obliczeniowa wyposażona w akceleratory i dużą pojemność pamięci operacyjnej, jednak paliwem są właśnie dane i systemy dostarczające dane do jednostek GPU.
W dniach 17-22 listopada w Altancie w USA odbywa się największa konferencja HPC na świecie – Supercomputing 2024. Równolegle do rankingów najszybszych systemów obliczeniowych – listy TOP500 i Green500 – rok rocznie ogłaszana jest także lista I500 – która porównuje najszybsze systemy przechowywania danych dla systemów HPC i centrów danych. Gorącym tematem tej konferencji, jest oczywiście budowa infrastruktury dla aplikacji, usług i systemów sztucznej inteligencji (AI).
Tym bardziej cieszy więc, iż system PCSS zajął 10. globalnie miejsce w kategorii IO500 “10 Node Production List”; ta wysoka pozycja potwierdza, że systemy PCSS odpowiadają potrzebom współczesnych aplikacji i usług AI i HPC oraz systemów chmurowych.
System przechowywania danych dla klastra HPC Proxima oparty jest o otwartą infrastrukturę serwerów pamięci flash i wysokowydajnej sieci Infiniband oraz otwarte oprogramowanie Lustre.
Należy podkreślić, że system ten jest całkowicie autorską konfiguracją opracowaną w PCSS, przez kolegów z Działu Technologii Zarządzania Danymi w Pionie Technologii Przetwarzania Danych. Pozostałe systemy w pierwszej 10-tce listy “10 Node Production List” są systemami vendorskimi, włączając Intel DAOS, DDN Exascaler (komercyjna wersja oprogramowania Lustre), czy Weka.
Wysokie miejsca rozwiązania PCSS opierającego się o system Lustre demonstrują silną pozycję PCSS wśród Europejskich i światowych centrów danych oraz potwierdza kompetencje PCSS w zakresie projektowania wysokowydajnych systemów przechowywania danych i systemów obliczeniowych.
Zaistnienie na liście IO500 systemów PCSS demonstruje także wagę infrastruktury danych i infrastruktury obliczeniowej wykorzystanych do przeprowadzenia testów pozycjonujących w rankingu IO500. Infrastruktura ta została pozyskana dzięki realizacji projektów KMD – Krajowy Magazyn Danych (POIR.04.02.00-00-D010/20-00) oraz PRACE-LAB2 (POIR. 04.02.00-00-D010/20).
Jesteśmy tym bardziej dumni w wyników tegorocznego rankingu IO500, że na światowej liście najefektywniejszych systemów danych znalazł się także drugi system PCSSu (pozycja 12. listy “10 Node Production List”) oraz dwa systemy Politechniki Wrocławskiej (pozycja 14. na “10 Node Production List” i pozycja 24. na “Production list”) a także ACK Cyfronet AGH (pozycja 12. listy “Production List”), które wspólnie z PCSS realizowały projekty KMD i PRACE-LAB2 tworząc sfederowaną infrastrukturę rozmieszczoną w 10 ośrodkach obliczeniowych i sieciowych w Polsce.
Obecność PCSS w prestiżowym gronie ośrodków Europejskich, Amerykańskich, Japońskich i Koreańskich wskazuje także na silną pozycję międzynarodową PCSS oraz potwierdza naszą gotowość do aktywnego udziału w “rewolucji AI”, która wobec ekstremalnego wzrostu konsumowanych i wytwarzanych danych wymaga ekstremalnie szybkich rozwiązań dla systemów zarządzania danymi. Taka wysokowydajna infrastruktura danych w wielkiej skali będzie budowana w naszym kraju równolegle do planowanej budowy sieci fabryk AI (ang. AI Fabric).
Więcej informacji:
- Zestawienie IO 500 10 Node Production ISC24 List: https://io500.org/list/sc24/ten-production
- Projekt Krajowy Magazyn Danych: https://kmd.pionier.net.pl/
