ISC es un evento mundial anual en el que los usuarios de computación de alto rendimiento (HPC) y los proveedores de tecnología se reúnen para discutir las perspectivas de HPC en diferentes áreas. Un área particular que nos preocupa a todos es el pronóstico del tiempo. En los últimos años, la demanda de una mayor precisión en el pronóstico del tiempo ha aumentado significativamente. El desarrollo de HPC juega un papel importante en este proceso.
Desafíos y Requisitos
La predicción meteorológica numérica (NWP) es una técnica utilizada para predecir el movimiento atmosférico y los fenómenos meteorológicos durante un cierto período de tiempo. Su flujo de predicción implica la recopilación de datos de observación meteorológica, el preprocesamiento de datos, la realización de modelos informáticos y el posprocesamiento de datos. El cómputo modelo es una aplicación típica de HPC que se caracteriza por un cómputo intensivo de E/S + y exige un alto rendimiento de cómputo, red y E/S de los clústeres de HPC. El sistema Weather Research and Forecasting (WRF) se muestra a continuación:
Diagrama de flujo del sistema de modelado WRF
A medida que el volumen de datos meteorológicos sigue creciendo, la previsión meteorológica plantea requisitos cada vez más diversos y exigentes en términos de almacenamiento de datos y rendimiento de E/S. Los siguientes aspectos resaltan la necesidad de capacidades mejoradas:
- Recopilación de datos: Terabytes e incluso cientos de terabytes de datos se recopilan a través de radares, estaciones de observación y sensores remotos satelitales, etc., lo que requiere un procesamiento de gran ancho de banda de archivos grandes.
- Preprocesamiento de datos: el proceso de cambio climático requiere cargas de trabajo híbridas de alto ancho de banda e IOPS de nivel medio.
- Cómputo de modelos: se requiere lectura y escritura híbrida de E/S pequeña de archivo grande y E/S grande de archivo grande para resolver conjuntos de ecuaciones utilizando capacidades de almacenamiento de alto rendimiento y computación simultánea.
- Posprocesamiento de datos: Se requiere lectura aleatoria de E/S pequeña de archivos grandes y escritura secuencial como modo principal para visualizar los resultados de computación del modelo para presentarlos a los expertos. Esto también requiere un alto rendimiento de IOPS (> 100 000).
- Presentación: la presentación de resultados en terminales (como Internet) en forma de imagen, animaciones y páginas web necesita escritura secuencial y lectura aleatoria como modo principal, para lo cual es suficiente un rendimiento de E/S más bajo.
Desarrollo de pronósticos meteorológicos con Huawei OceanStor Pacific Scale-Out Storage
Huawei lanzó OceanStor Pacific Scale-Out Storage para cumplir con estos requisitos y ofrecer servicios de datos de nivel PB altamente escalables, de alto rendimiento y alta confiabilidad para NWP y sistemas de software de aplicaciones. Esto se desarrolló después de un análisis cuidadoso de las necesidades comerciales de los clientes y los patrones de E/S del software comercial.
OceanStor Pacific Scale-Out Storage ofrece las siguientes ventajas:
- Arquitectura avanzada: arquitectura escalable totalmente simétrica, compatible con la expansión de la capacidad en línea y la actualización para adaptarse a los requisitos de expansión durante los próximos 5 años.
- Cargas de trabajo híbridas y simultaneidad de E/S de alto rendimiento: admite un gran ancho de banda e IOPS dentro de un sistema de almacenamiento, lo que permite que los clientes privados de datos (DPC) se combinen con MPI-I/O y se ajustan a los requisitos de E/S concurrentes de NWP.
- Base de datos unificada: un sistema de almacenamiento cumple con los requisitos de recopilación de datos, computación del modelo primario, posprocesamiento y servicios de datos. También ofrece un procesamiento un 35 % más rápido porque admite interfaces de archivos, objetos y big data a través de software de organización en niveles sin necesidad de copiar datos. Además, un sistema de almacenamiento es compatible con SSD, HDD y almacenamiento Blu-ray, lo que proporciona servicios de aplicaciones fluidos con rendimiento a nivel de SSD y uso de espacio a nivel de HDD, lo que reduce el CAPEX en un 40 %.
- Protección de resiliencia de datos: software de gestión, almacenamiento, red y cómputo de propiedad exclusiva que garantiza la resiliencia de la información.
NWP impulsado por la innovación
La ciencia y la tecnología transforman las industrias, como lo demuestra la mejora de la eficiencia de NWP Huawei OceanStor Pacific Scale-Out Storage ofrece:
- Rendimiento mejorado de acceso al almacenamiento del modelo WRF: la combinación de DPC con MPI-I/O puede distribuir completamente las cargas de trabajo a cada nodo de E/S y mejorar el rendimiento de la precisión del pronóstico casi 10 veces en un área de 1 km.
- Mejora significativa de la eficiencia de las tareas en entornos de clústeres a gran escala: el tiempo de cómputo disminuye con un aumento en los nodos de cómputo. Además, el tiempo total se reduce en 1/3 en comparación con antes en un entorno con 64 nodos y 40 núcleos para cada nodo. Esto es gracias a la mejora del rendimiento de E/S.
- Eficiencia de búsqueda de datos mejorada: un sistema de gestión y organización de datos basado en metadatos cumple con los estándares y regulaciones de datos de la industria y las necesidades de los usuarios. Este sistema utiliza funciones de búsqueda de metadatos, lo que mejora en gran medida la búsqueda de datos y la eficiencia de la gestión.
El pronóstico del tiempo juega un papel crucial en nuestra vida diaria. Una pequeña mejora en la precisión del pronóstico puede tener un impacto significativo en la sociedad. Las innovaciones científicas y tecnológicas pueden cambiar el mundo. Huawei está comprometido con el avance de la aplicación de HPC en campos como el pronóstico del tiempo con el objetivo de impulsar un cambio significativo.
