Necesitábamos un sistema de almacenamiento robusto que pudiera escalarse para manejar conjuntos de datos masivos almacenados en diversos tipos de medios. También necesitábamos una solución estable que pudiera soportar nuestro funcionamiento las 24 horas del día, los 7 días de la semana.
Administración del acceso a petabytes de datos
El software de administración de datos de Quantum administra el archivo de datos de observación de la Tierra
Todos los días los satélites del Sistema de Observación de la Tierra de la NASA transmiten terabytes de datos acerca de la tierra, los océanos y la atmósfera. Los datos se ponen a disposición de los investigadores del clima en todo el mundo a través del Sistema de Observación de la Tierra y el Sistema de Información de la NASA (Earth Observing System Data and Information System, EOSDIS), que es uno de los proyectos de datos más ambiciosos jamás vistos. El almacenamiento de esta información insustituible se ha encomendado al software de administración de datos de Quantum.
Escalamiento del crecimiento de datos
Desde que se puso en línea en 1999, el EOSDIS de la NASA se ha convertido en uno de los depósitos de datos más grandes y más activos de todo el mundo. Todos los días, recibe 3 terabytes de datos nuevos, distribuye 2 terabytes de información existente a investigadores en todo el mundo y otorga acceso a cientos de miles de usuarios a más de 20 millones de archivos que contienen más de un petabyte de información.
Los componentes centrales de EOSDIS fueron desarrollados por los sistemas geoespaciales y de imágenes de Raytheon. "Estos datos son un recurso nacional que proporcionará grandes conocimientos sobre cómo está cambiando la Tierra,” afirma el director técnico del proyecto en Raytheon. "Almacenar, organizar y poner a disposición de los investigadores estos datos son tareas críticas y suponen un gran desafío”.
La envergadura de la tarea requería que el sistema estuviera estructurado de forma que las aplicaciones pudieran escribir datos y leerlos directamente desde bibliotecas de cintas automatizadas. "... necesitábamos un sistema de almacenamiento robusto que pudiera escalarse para manejar conjuntos de datos masivos almacenados en diversos tipos de medios", explica el director técnico del proyecto en Raytheon. "También necesitábamos una solución estable que pudiera soportar nuestro funcionamiento las 24 horas del día, los 7 días de la semana".
Acceso a datos de alto rendimiento con disco y cinta
Una clave para el éxito de EOSDIS consistía en desarrollar un sistema para administrar el caché en disco de alta velocidad que mantuviera los metadatos disponibles continuamente para búsquedas rápidas en millones de archivos y petabytes de datos primarios que se almacenan en cinta. El software de administración de datos de Quantum une todo el sistema y permite que los usuarios tengan acceso eficaz.
El software de administración de datos de Quantum transforma las bibliotecas de cinta en un almacenamiento masivo en línea de acceso directo, lo que permite que los usuarios, administradores y aplicaciones archiven petabytes de datos. El software de administración de datos de Quantum presenta las bibliotecas de cinta automatizadas como un dispositivo y un punto de montaje de UNIX, de tal forma que los usuarios pueden tener acceso a los archivos que residen en las bibliotecas de cinta de la misma forma que lo harían con los dispositivos de disco. El software de administración de datos de Quantum administra el caché en disco, mantiene los metadatos en línea en grupos de servidores de alta disponibilidad y se escala para administrar eficazmente una cantidad ilimitada de archivos.
"El sistema completo nos permite el uso más eficiente posible con nuestros recursos de almacenamiento", agregó el director técnico del proyecto en Raytheon. "Nos brinda un alto rendimiento, un entorno de almacenamiento con gran capacidad de recuperación, fácil acceso a los datos desde todas nuestras aplicaciones y nos permite aprovechar enormemente los recursos. Todas las tareas de recuperación de archivos, la organización para caché en discos, la entrega en forma de archivo o la duplicación de un conjunto de medios se realizan en segundo plano". Para los usuarios que tienen acceso a los datos a través del sitio web de EOSDIS, los datos aparecen como si estuvieran almacenados en una misma base de datos.
El soporte de Quantum que ayudó con la arquitectura del sistema y proporcionó servicio continuo fue fundamental para el éxito del proyecto. El director técnico del proyecto en Raytheon concluye: "El compromiso general de los proveedores primarios con este proyecto ha sido una de las claves de su éxito".