StorNext nos permite escalar fácilmente nuestro archivo, por lo que podemos respaldar nuevas misiones de satélites y recopilar datos adicionales a largo plazo.
Airbus Defence and Space lanza un archivo a escala de petabytes para datos de satélite con almacenamiento escalable StorNext
Cómo archivar petabytes de datos de satélite
La Agencia Espacial Europea (ESA) va a lanzar dos satélites para cada misión de Sentinel; a los pocos años del inicio del programa, ESA tendrá en órbita cuatro satélites Sentinel. Cada satélite envía más de 1 PB al año, durante un período de 15 años. Conservar todos estos datos requería un nuevo archivo. "No solamente archivamos los datos de instrumentos, sin procesar, de nivel 0, sino también los datos procesados por el Segmento terrestre de datos de utilidad de ESA, que genera productos de nivel 1 y nivel 2", indica Mark Curtis, experto en diseño técnico de Airbus Defence and Space. "Para proporcionar un archivo a largo plazo para todos esos datos, necesitábamos una solución de almacenamiento que se pudiera escalar hasta decenas de petabytes."
Cómo gestionar millones de archivos, aprovechando el ahorro de cinta
"Cuando hay cuatro satélites en órbita, tendremos que archivar 40.000 archivos al día", comenta Curtis. "Necesitábamos un sólido sistema de archivos que pudiera admitir decenas de millones de archivos". Y además necesitaba soportar una amplia variedad de tamaños y tipos.
"El control de los costes es fundamental, ya que necesitamos almacenar decenas de petabytes de datos para las misiones de los Sentinel", dice Curtis. "La cinta es muy económica: Cada cartucho de cinta puede almacenar una cantidad inmensa de datos de forma económica, y las bibliotecas de cinta requieren menos potencia y refrigeración que los sistemas de almacenamiento de velocidad más rápida". Y la cinta es muy apropiada para aplicaciones en las que fluyen grandes volúmenes de datos.
Creación de un archivo de múltiples niveles escalable con StorNext
El equipo de Airbus seleccionó una solución StorNext de múltiples niveles, incluyendo los archivos en cinta StorNext AEL6000, dispositivos de metadatos, así como caché de disco: todo ello activado mediante StorNext. Se eligió StorNext en parte por las experiencias anteriores con Quantum en Infoterra, un proveedor de imágenes de Google Earth que ahora forma parte de Airbus Defence and Space.
"Quantum siempre ha respondido a nuestras solicitudes de mejora de sus soluciones", indica Curtis. "En el caso de StorNext 5, Quantum incorporó aportaciones nuestras y de otras empresas, que contribuyeron a crear una solución de almacenamiento más potente".
Inicialmente, el archivo admite 18 PB de datos, pero puede escalar hasta 37 PB. "StorNext nos permite escalar fácilmente nuestro archivo", explica Curtis, "por lo que podemos respaldar nuevas misiones de satélites y recopilar datos adicionales a largo plazo".
Cómo permitir el procesamiento y el acceso continuos de datos de alta velocidad
"Nuestra configuración actual admite un rendimiento de 1,1 GB/s con el sistema de archivos StorNext", dice Curtis. "Como consecuencia de esto, podemos procesar rápidamente todos los datos, procesados y sin procesar, que recibimos, y recuperarlos rápidamente cuando sea necesario". En muchos casos, el equipo de Airbus puede recuperar archivos individuales del archivo en menos de un minuto, y las conexiones de Fibre Channel significan que grandes transferencias también se entregan rápidamente. El sistema soporta una gama completa de sistemas operativos, que incluye tanto a Linux como a Windows.
Cómo proteger los datos mientras se mantienen niveles de plantilla reducidos
Las funciones de la gestión de la vida extendida de los datos (Extended Data Life Management o EDLM) contribuye a proteger los datos. "Las funciones de EDLM basadas en políticas del archivo de cinta de StorNext contribuye de manera proactiva a mantener la integridad de los datos de las cintas a largo plazo", explica Curtis. "Si surge un problema con una cinta, StorNext automáticamente migra datos a una cinta mejor, sin que nuestros administradores tengan que mover un dedo. EDLM ofrece una inmensa ventaja".
"Los costes administrativos con StorNext son muy bajos", afirma Curtis. "Con la solución de Quantum, dos de nosotros podemos ocuparnos fácilmente de este archivo de petaescala, cada vez mayor, de datos de satélites".
Obtener flexibilidad para un crecimiento de datos imprevisto
StorNext también contribuye a satisfacer las necesidades en continuo cambio. Es de esperar que un sistema de satélites de retransmisión de datos, por ejemplo, aumente las necesidades de datos más allá de las previsiones originales. "Afortunadamente, StorNext nos permite escalar fácilmente nuestro entorno. Podemos añadir nuevos sistemas de archivos —y transferirlos a LTO-7—para satisfacer estas necesidades de recopilación de datos nuevos sin una revisión extraordinaria", comenta Curtis.
"A medida que ESA lance la siguiente serie de satélites Sentinel, las necesidades de almacenamiento podrían cambiar de nuevo", dice Curtis. "Con la solución de StorNext, estamos preparados".