IBM-Forschung: Neue Speicherarchitektur kann die Verarbeitungsgeschwindigkeit bei Analytikanwendungen verdoppeln

Next-Generation-Storage-Designlösung gewinnt die "Storage Challenge" auf dem Kongress Supercomputing 2010

(24.11.10) - Auf der Supercomputing 2010-Konferenz hat IBM Details eines neuen Speicher-architektur-Designs aus der IBM Forschung vorgestellt, das sehr große Datenmengen doppelt so schnell wie bisher möglich auswertbar macht. Besonders geeignet für Cloud-Computing-Anwendungen und rechenintensive Workloads wie Digital Media, Finanzanalytik und Data Mining kann die neue Architektur wertvolle Stunden an Berechnungszeit bei komplexen Compute-Jobs einsparen, ohne dass Anwender sehr große Infrastruktur-Investitionen dafür tätigen müssten.

Analytikanwendungen über extrem große Datenbestände laufen zu lassen, wird für Unternehmen zunehmend wichtiger. Dabei kann die Speicherkapazität aber nur in begrenztem Maß steigen. Daher benötigen Unternehmen alternative Lösungen, um die Herausforderungen im Datenwachstum, im steigenden Flexibilitätsbedarf bei Workloads und im schnellen Bereitstellen von System-ressourcen für unterschiedliche Workloads zu bewältigen.

Die neue "General Parallel File System - Shared Nothing Cluster"-Architektur (GPFS-SNC) wurde dafür entwickelt, eine höhere Verfügbarkeit durch neue Clustering-Technologien, dynamisches File-System-Management und neue Datenreplizierungsverfahren zu erreichen. Durch "Shared Nothing" kann ein höheres Niveau an Verfügbarkeit, Leistung und Skalierbarkeit erzielt werden. GPFS-SNC ist eine verteilte Computing-Architektur, in der jeder Knoten "autark" ist. Aufgaben werden zwischen diesen unabhängigen Systemen verteilt und kein Knoten muss auf den anderen warten.

Die heutige IBM GPFS-Technologie ist bereits ein Kernbestandteil von IBM HPC-Systemen, dem IBM Information Archive, IBM Scale-Out NAS (SONAS) und der IBM Smart Business Compute Cloud. Die Weiterentwicklungen der IBM Labore wie GPFS-SNC erlauben eine weitere Ausdehnung dieser Angebote auf künftige, sehr große Herausforderungen im Datenbereich.

Beispielsweise setzen Finanzinstitute komplexe Algorithmen zur Risikoanalyse ein. Sie stützen sich dabei auf die Auswertung von Datenbeständen in Petabyte-Größe (1 Petabyte = 1 Mio Gigabyte). Dadurch, dass zugrunde liegende Dateien in Milliardenstückzahl über mehrere IT-Plattformen und Speichersysteme rund um die Welt verteilt sein können, erfordern diese wichtigen Anwendungen signifikante IT-Ressourcen und Kostenaufwände. Unter dem Einsatz des neuen GPFS-SNC-Designs können solche Anwendungen künftig effizienter werden, da das Design ein gemeinsames Dateisystem und einen gemeinsamen Namespace über verschiedene IT-Plattformen bereitstellt. Damit kann der Verarbeitungsprozess vereinfacht werden und der Speicherbedarf weiter reduziert. (IBM: ma)