El análisis de los datos raramente ha sido más digno de ser noticia. A lo largo de la pandemia del coronavirus Covid-19, los gobiernos y organismos como la Organización Mundial de la Salud (OMS) han producido una corriente de estadísticas y modelos matemáticos.
Las empresas han puesto en marcha modelos para probar escenarios posteriores al cierre, los planificadores han examinado los flujos de tráfico y los viajes de transporte público, y las empresas utilizan la inteligencia artificial (IA) para reducir la carga de trabajo de los equipos de atención al cliente, que se encuentran en una situación difícil, y para manejar una demanda récord de comercio electrónico.
Todo eso hace que haya más demanda de almacenamiento.
Incluso antes de Covid-19, los analistas de la industria de Gartner señalaron que la expansión del negocio digital «resultaría en un crecimiento sin precedentes de datos no estructurados dentro de la empresa en los próximos años».
La analítica avanzada necesita una potente computación para convertir los datos en conocimientos. El aprendizaje automático (ML) y la IA llevan esto a otro nivel porque estos sistemas necesitan conjuntos de datos ricos para la formación y un acceso rápido a los nuevos datos para las operaciones. Estos pueden llegar a múltiples petabytes.
Claro, todas las aplicaciones ricas en datos ejercen presión sobre los sistemas de almacenamiento, pero las demandas pueden ser diferentes.
«Las aplicaciones de uso intensivo de datos tienen múltiples arquitecturas de almacenamiento. Se trata de los KPI específicos [key performance indicators] de la carga de trabajo específica», dice Julia Palmer, vicepresidenta de investigación de Gartner. «Algunas de esas cargas de trabajo requieren una menor latencia y otras requieren un mayor rendimiento».
AI, ML y grandes datos: Demandas de almacenamiento
Todos los grandes proyectos de datos e inteligencia artificial deben combinar rendimiento, capacidad y economía. Pero esa mezcla variará, dependiendo de la aplicación y de dónde se encuentre en su ciclo de vida.
Los proyectos basados en datos no estructurados, especialmente imágenes y video, involucran grandes archivos individuales.
Además, las aplicaciones de la IA que incluyen la vigilancia y el reconocimiento facial, la investigación geológica, científica y médica utilizan archivos de gran tamaño y por lo tanto necesitan un almacenamiento a escala de petabytes.
Es posible que las aplicaciones basadas en datos de sistemas comerciales, como las ventas o la planificación de recursos empresariales (ERP), sólo necesiten unos pocos cientos de megabytes para ser eficaces.
Las aplicaciones basadas en sensores que incluyen tecnologías de mantenimiento, reparación y revisión en el transporte y la generación de energía podrían llegar a los bajos cientos de gigabytes.
Mientras tanto, las aplicaciones basadas en el aprendizaje de máquinas de computación intensiva y las redes neuronales densas necesitan un alto rendimiento y una baja latencia, dice Palmer de Gartner. Pero también necesitan acceso a almacenamiento escalable y de bajo costo para volúmenes potencialmente grandes de datos.
Las aplicaciones de IA y ML tienen también ciclos distintos de demanda de almacenamiento. La fase de aprendizaje o capacitación es la más intensiva en datos, y más datos hacen un mejor modelo. Y el almacenamiento necesita mantenerse al día con los motores de computación que ejecutan el algoritmo. El entrenamiento del modelo necesita un alto rendimiento y una baja latencia.
La IOPS no es la única medida
Una vez que el sistema está capacitado, los requisitos pueden ser modestos porque el modelo sólo necesita examinar los datos pertinentes.
Aquí, la latencia se vuelve más importante que el rendimiento. Pero esto representa un desafío para los departamentos de TI porque las soluciones de almacenamiento convencionales suelen tener dificultades para funcionar bien tanto para la entrada/salida (E/S) secuencial como para la aleatoria.
Para el análisis de datos, los típicos flujos de trabajo por lotes necesitan maximizar el uso de los recursos informáticos para acelerar el procesamiento.
Como resultado, los grandes proyectos de datos y análisis funcionan bien con datos distribuidos, señala Ronan McCurtin, vicepresidente para Europa del Norte de Acronis.
«Es mejor tener un almacenamiento distribuido para el análisis de datos y, por ejemplo, aplicar las tecnologías Hadoop o Spark para el análisis de grandes datos. En este caso, el analista puede resolver problemas con limitaciones de memoria y ejecutar tareas en muchas máquinas. El entrenamiento/interferencia de AI/ML requiere un rápido almacenamiento en SSD».
Pero la tecnología de estado sólido suele ser demasiado costosa para grandes volúmenes de datos y la retención a largo plazo, mientras que la necesidad de replicar volúmenes para el procesamiento distribuido añade un costo adicional.
Como señala Stephen Gilderdale, director senior de Dell Technologies, las organizaciones han pasado de centrarse principalmente en la planificación de recursos empresariales (ERP) y la gestión de relaciones con los clientes (CRM) a hacer un mayor uso de los datos no estructurados.
Y la analítica también ha avanzado. Ya no es simplemente un estudio de datos históricos, «mirando hacia atrás para avanzar». En su lugar, la analítica predictiva y en tiempo real, incluyendo los datos de los sensores, está creciendo en importancia.
Aquí, los volúmenes de datos son menores, pero el sistema tendrá que procesar los datos muy rápidamente para devolver la información al negocio. Los diseñadores de sistemas necesitan asegurarse de que la red no sea el cuello de botella. Esto está impulsando a los arquitectos a mirar el procesamiento de borde, a menudo combinado con almacenamiento y computación en nube centralizada.
Enfoques de almacenamiento de AI/ML, y limitaciones
Para cumplir con los requisitos impuestos por la IA/ML, los gerentes de TI deben escoger y mezclar entre los siguientes tipos de almacenamiento:
- Alto rendimiento – NVMe y flash.
- Disco giratorio de alta capacidad y rendimiento, tal vez combinado con flash / caching avanzado.
- Almacenamiento en frío y fuera de línea – disco de capacidad optimizada, almacenamiento en nube, cinta.
La analítica y la IA/ML son candidatos naturales para el almacenamiento por niveles, ya que permiten a los diseñadores de sistemas poner los recursos más caros y de mejor rendimiento lo más cerca posible de los recursos de computación, pero aún así utilizan el almacenamiento de gran capacidad para los datos de archivo.
Las arquitecturas también dependerán del tipo de datos que maneje un sistema. Gartner, por ejemplo, sugiere que la IA/ML que utiliza datos no estructurados podría utilizar NVM-sobre-fibra, memoria persistente y sistemas de archivos distribuidos, y eso probablemente será en las instalaciones, o utilizando una arquitectura de nube híbrida.
Los proyectos de análisis de datos, mientras tanto, es más probable que utilicen archivos y almacenamiento de objetos convergentes y modelos híbridos. Eso es para que puedan escalar, pero también para aprovechar las economías del almacenamiento en nube a largo plazo. Los proyectos de análisis pueden procesar datos de unas pocas horas o de varios años, dependiendo de las cuestiones comerciales, por lo que ser capaz de recargar datos más antiguos de forma rápida y económica tiene su propio valor.
El análisis en tiempo real necesita que las fuentes de datos, la computación y el almacenamiento estén estrechamente vinculados. Esto está impulsando a las organizaciones a utilizar los hiperescaladores basados en la nube – principalmente Amazon Web Services (AWS), Microsoft Azure y Google Cloud Platform – para niveles de rendimiento de computación y almacenamiento, así como para múltiples ubicaciones físicas.
Sin embargo, no existe una solución tecnológica universal y es inevitable un cierto grado de compromiso. «Las cargas de trabajo de la IA son diversas y algunas son fundamentalmente diferentes de cualquier otra carga de trabajo que la organización pueda haber tenido en el pasado», dice Palmer.
Analítica e Inteligencia Artificial: ¿Construir o comprar?
Los grandes proyectos de inteligencia artificial y de negocios (BI) necesitarán una inversión significativa en almacenamiento, computación y redes. Esto ha llevado a algunos negocios a mirar hacia la nube, y a otros a comprar en análisis «como un servicio».
Pero para la mayoría, aventurarse en aplicaciones ricas en datos será una mezcla de capacidades existentes y nuevas.
«Comprar tecnología es fácil, pero la IA, el ML y la analítica rara vez llegan u operan en ambientes perfectos y prístinos», advierte Nick Jewell, director de evangelización y habilitación de productos de la firma de análisis de datos Alteryx. «La realidad es que la mayoría de los sistemas de perspicacia se construyen en arquitecturas que tienen dependencias existentes o un legado de algún tipo.»
Los CIOs también necesitan decidir si la IA y la analítica avanzada son un proyecto, o una elección estratégica a largo plazo para el negocio.
Los proyectos discretos, especialmente cuando los datos ya están en la nube, podrían hacer un buen uso de una nube o de una solución subcontratada. Pero si la empresa quiere impulsar el valor a largo plazo de la analítica, y más tarde la IA, necesita conectar sus datos existentes a las plataformas de análisis. Para ello, la arquitectura de almacenamiento tendrá que estar a la altura.
