Nowy system przechowywania danych dla klastrów obliczeniowych PCSS

2014-06-11

Nowy system przechowywania danych dla klastrów obliczeniowych PCSS
Na początku czerwca 2014 r. zakończono rozbudowę przestrzeni dyskowej dla katalogów domowych użytkowników systemów obliczeniowych PCSS. Dzięki rozbudowie pojemność systemu przechowywania danych zwiększona została do 720 TB, a jego wydajność wzrosła do ~8 GB/s i ~100 000 IOPS.
System zbudowano z dwóch macierzy dyskowych NetApp E5500 o dużej przepustowości i pojemności oraz macierzy NetApp EF540 wyposażonej w dyski SSD obsługujące dużą liczbę operacji I/O. Ponadto system składa się z sześciu serwerów IBM x3650M4 oraz dwóch przełączników FC Brocade z 96 portami 16Gbit/s.

System przechowywania zarządzany jest przez skalowalny, niezawodny, współdzielony, klastrowy systemu plików IBM GPFS, działający na systemie operacyjnym Redhat Enterprise Linux 6. Przestrzeń przechowywania danych udostępniona jest dla klastrów HPC poprzez protokół cNFS (klastrowa implementacja NFS oparta o GPFS) oraz redundantną sieć 10Gbit Ethernet.

Pliki użytkowników składowane są na pamięciach dyskowych, a meta-dane systemu plików na pamięciach SSD. System dostarcza dużą pojemność przechowywania (720TB), wydajność składowania i dostępu do plików (8GB/s) oraz obsługę dużej liczby równoczesnych operacji I/O (100 000 IOPS).
Dla użytkowników nowe możliwości systemu oznaczają m.in. większą dostępną przestrzeń przechowywania danych odpowiadające wyzwaniom aplikacji Big Data a także szybsze uruchamianie zadań obliczeniowych w klastrach HPC i zapisywanie wyników obliczeń do katalogu domowego.

Skalowalność zmodernizowanego systemu odpowiada także wymaganiom klastrów obliczeniowych PCSS wyposażonych w ponad 11 000 procesorów oraz złożonej strukturze danych użytkowników obejmującej obecnie ponad 100 milionów plików.

Rozbudowa systemu przechowywania została sfinansowana w ramach projektu PL-Grid Plus.

Kolejne etapy rozbudowy systemu przechowywania danych obejmą powiększenie pojemności i wydajności systemu przechowywania danych roboczych zadań obliczeniowych (Lustre) oraz dalszą rozbudowę systemu przechowywania dla katalogów domowych użytkowników HPC o dodatkowe serwery buforujące dane dla klastrów HPC umieszczonych w drugim centrum danych PCSS.