bwDataArchiv - Wissenschaftliche Datenarchivierung

Projektbeschreibung

Heute gibt es keine Wissenschaft ohne digitale Daten. Daten von wissenschaftlichen Experimenten, von Messungen, Analysen und Simulationen, sollen am KIT langfristig aufbewahrt werden. Die Aufbewahrung dieser digitalen Daten ist nicht nur aus rechtlichen Gründen wichtig, sondern verpflichtet auch schon aufgrund der historischen Werte der Daten. Am Steinbuch Centre for Computing (SCC) des KIT wird die Menge dieser Daten in der nächsten Zeit stark ansteigen, unter anderem aufgrund der Rolle des KIT als Archivstandort für Baden-Württemberg. Innerhalb des vom Ministerium für Wissenschaft Forschung und Kunst (MWK) in Baden-Württemberg geförderten Landesprojekts „bwDataArchiv“ wird das SCC seine technische Infrastruktur für die langfristige Archivierung von wissenschaftlichen Daten aus Forschungseinrichtungen und Bibliotheken, sowie von Daten der Großrechner des Höchstleistungsrechenzentrums Stuttgart (HLRS) weiter ausbauen. Im Rahmen des Projekts bwDataArchiv sollen Technologien entwickelt und eingesetzt werden, die eine strukturierte, verlässliche und sichere Langzeitspeicherung von mehr als einem Exabyte bis 2020 ermöglichen.

Im Projekt bwDataArchiv sind unter anderem die folgenden Fragestellungen von Interesse:

  • Wie vereinfacht man den Prozess der Datenarchivierung auch für IT-ferne Wissenschaftsgemeinden (Communities)?
  • Welche sicherheitsrelevanten Aspekte spielen bei Langzeitspeicherung eine Rolle?
  • Wie kann die Datenintegrität effizient in Archiven von hunderten Petabytes sichergestellt werden?

Projektlaufzeit

1.1.2014 - 31.12.2016

Ziele

Im Projekt sollen etablierte und zuverlässige Techniken zur digitalen Langzeitspeicherung ausgewählt und in den Betrieb überführt werden. Ziel ist der Aufbau einer technischen Infrastruktur zur Langzeitspeicherung und die Etablierung eines Dienstes als Basis für verlässliche Langzeitarchivierung von wissenschaftlichen und kulturrelevanten Daten.

Die Entwicklung des neuen Dienstes soll bis 2015 so weit vorangeschritten sein, dass Daten von abgeschlossenen Projekten des HLRS aufgenommen und verlässlich archiviert werden können. Im ersten Schritt wird die Beschaffung der erforderlichen Hard- und Software durchgeführt und der initiale Dienst für das HLRS bereitgestellt. Anhand der ersten Erfahrungen soll der Dienst im Projekt für weitere Nutzer etabliert werden und im Hinblick auf Integrität, Nutzbarkeit und Verfügbarkeit im zweiten Schritt weiterentwickelt werden.

Förderung und Kooperationen

Das bwDataArchiv-Projekt wird vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg gefördert und arbeitet eng mit den DFG Projekten RADAR, dem Landesprojekt bwDataDiss, im Rahmen des Helmholtz Projekts LSDMA mit verschiedenen wissenschaftlichen Communities sowie den internationalen Projekten EUDAT, Human Brain Project (HBP) und dem Worldwide LHC Computing Grid (WLCG) zusammen.

Ansprechpartner

Jos van Wezel - Karlsruher Institut für Technologie (KIT)