Con StorNext, sabíamos que podíamos satisfacer nuestra necesidad inmediata de almacenar 400 TB de datos de satélite al mismo tiempo que ganábamos capacidad para aumentar en varios petabytes durante la próxima década.
ACRI-ST avanza en la compresión de la Tierra con datos de satélite y almacenamiento ampliable StorNext
ACRI-ST, con sede en el sureste de Francia, desempeña un papel clave en el procesamiento y archivado de datos satélite críticos de la Agencia Espacial Europea (AEE). La empresa comenzó como una pequeña organización de investigación y desarrollo, agregando gradualmente capacidades de archivado y reprocesamiento. En la actualidad, opera centros de datos que conservan y proporcionan acceso a la información desde varios satélites diferentes.
La posibilidad de una investigación científica de vanguardia
ACRI-ST permite a los investigadores de todo el mundo recurrir a más de 20 años de información y ofrece servicios de procesamiento de datos para ayudar a optimizar la investigación. "Comenzar con datos de satélite brutos llevaría mucho tiempo a los investigadores", dice Gilbert Barrot, Director Ejecutivo de Información de ACRI-ST. "Necesitarían ordenar una enorme cantidad de imágenes de gran tamaño antes de realizar el análisis". En cambio, los servidores de ACRI-ST procesan las imágenes en bruto de una región de interés y proporcionan directamente los datos que necesitan los investigadores.
Preparación para un crecimiento de datos a escala de petabytes
Para prepararse para un nuevo satélite de la AEE, el Sentinel-3, el equipo de ACRI-ST necesitaba un nuevo entorno de almacenamiento que pudiera manejar petabytes de datos, no las decenas de terabytes habituales de proyectos anteriores. "Necesitábamos una solución que se adaptase a nuestras necesidades inmediatas y escalase, de manera rentable, a medida que recopilamos cada vez más datos de satélite", dice Barrot. Al mismo tiempo, el equipo de ACRI-ST tuvo que asegurarse de que los científicos internos y los externos y los investigadores externos tenían un acceso rápido a los datos.
La implementación de StorNext para la velocidad y la escalabilidad
El equipo de ACRI-ST escogió una solución de almacenamiento por niveles StorNext de Quantum para archivar los datos de satélite, proporcionar un acceso para los investigadores y ayudar a los flujos de trabajo de valor añadido de ACRI-ST. StorNext ofrece un entorno por niveles que proporciona una combinación óptima de escala y acceso de alta velocidad, y es compatible con entornos Linux y Windows.
"La mezcla de cintas y discos en un solo entorno nos da lo mejor de los dos mundos", afirma Barrot. "Podemos mantener una caché de datos inmediatamente disponible en el disco al mismo tiempo que almacenamos la mayoría del depósito en una cinta más económica. Con StorNext, sabíamos que podíamos satisfacer nuestra necesidad inmediata de almacenar 400 TB de datos de satélite al mismo tiempo que ganábamos capacidad para aumentar en varios petabytes durante la próxima década".
Ampliación del archivo
ACRI-ST ya está aprovechando la escalabilidad de la plataforma StorNext. En 2016, la organización ganó una licitación para apoyar al Earth Observation Data Archiving Service (EODAS) de la AEE, que archiva todos los datos de satélite para misiones pasadas y actuales de la AEE (excepto los satélites Sentinel). ACRI-ST tenía que proporcionar 6 PB para datos históricos más 2 PB para misiones en directo.
Para satisfacer los nuevos requisitos, el equipo de ACRI-ST amplía su archivado de Quantum. "La AEE quería un archivado robusto que pudiese facilitar la recuperación y distribución de datos masivos. La solución de archivado de Quantum era perfecta", comenta Barrot. "Añadimos capacidad de forma sencilla y económica al mismo tiempo que seguimos manteniendo un menor espacio ocupado en los centros de datos". ACRI-ST también creó un entorno casi idéntico en Luxemburgo, en su filial adwaïsEO, que sirviese como archivo principal. Los datos se procesan en Luxemburgo y las copias se envían a la oficina francesa para una protección remota.
Protección a largo plazo de datos de satélite valiosos
El archivo de ACRI-ST aprovecha la capacidad de StorNext Active Vault para automatizar por completo la manipulación de media, y los datos de las cintas están protegidos por las capacidades de Extended Data Life Management (EDLM) del archivo. EDLM detecta los primeros signos de desgaste de las media y mueve automáticamente los archivos a nuevas cintas para conservarlos durante largos periodos de tiempo. El soporte del archivo del sistema de archivos de cinta lineal (LTFS) permite a los investigadores leer datos directamente sin necesidad de utilizar soluciones de Quantum, y su soporte para el Cloud proporciona opciones flexibles para el futuro.