A medida que 2022 se acerca, el ecosistema de big data se encuentra en un estado de transición de flujo que muy bien puede redefinir todo lo que sabe, o pensaba que sabía, sobre él. La nube sigue siendo su pieza central inequívoca, pero se acerca cada vez más al borde. La inteligencia artificial sigue siendo su favorito de los medios, pero pronto podría ceder ese lugar a la computación cuántica. Las estructuras de datos son más frecuentes que nunca, pero también lo es el surgimiento del concepto de malla de datos.
La única constante en estos movimientos colectivos e individuales son los datos mismos. La valoración de los datos para la empresa es más cara que nunca ya que, según el director ejecutivo de Indico Data, Tom Wilde, “la realidad es que todas las empresas del mundo ahora son una empresa de datos. No me importa si es un negocio de camiones, farmacéutico o asegurador. Eres una empresa de datos, te guste o no. Y la medida en que maneje sus datos jugará un papel muy importante en su competitividad en el futuro «.
Domesticar los datos organizacionales (y el big data, en particular) para el próximo año involucrará a las empresas que se ayuden a sí mismas a aprovechar las numerosas oportunidades que brindan los enfoques antes mencionados para procesar, analizar, almacenar e integrar big data. Eso está claro.
Lo que es algo sorprendente es el resultado final de administrar hábilmente Big Data con estas capacidades líderes. La aparición de un mercado de datos, que facilita un intercambio fluido de big data dentro y entre organizaciones, se está convirtiendo rápidamente en una realidad con la ayuda de la gestión de datos componibles y sus fundamentos tecnológicos.
“En ciertos casos no se trata tanto de comprar y vender; se trata más de unir [data]”, Reconoció Saptarshi Sengupta, Director de Marketing de Producto de Denodo, sobre esta tendencia. «Pero luego, hay casos en los que se trata de comprar y vender datos».
El mercado de datos
El ascenso de un mercado de datos, que tipifica la consumerización de big data con paralelismos con otros mercados como el de Amazon o el de Reuters para empresas financieras, ha sido un ideal de larga data. Finalmente está llegando a buen término gracias a los enfoques descritos a continuación para estructuras de datos, mallas de datos, capas de servicios de datos, metadatos activos y computación perimetral. En su máxima expresión, un mercado de datos es una oportunidad sin igual para monetizar datos para consumidores de ideas afines. “Son las empresas: Fortune 100, Fortune 500”, reveló Purnima Kuchikulla, Directora de Éxito del Cliente de Privacera. “Estos tipos ya están liderando el mercado de datos. Quieren vender datos. Son vendedores; son compradores; compran y luego quieren venderlo de nuevo «.
Ya sea que el intercambio de datos sea para fines de monetización directa o para casos de uso interdepartamental entre unidades de negocios, cuantos más datos hayan preparado las organizaciones para este propósito, más ventajoso será. “Además de todo esto, están vendiendo conjuntos de datos; no están vendiendo una sola tabla de datos ”, especificó Kuchikulla. «Lo venden como un conjunto de datos que forma parte de un dominio». Como planteó Sengupta, esos intercambios de conjuntos de datos también pueden ser entre diferentes dominios en la misma organización. Describió un sistema universitario que ha implementado un «sistema de apoyo a la toma de decisiones» en el que la escuela «tiene un montón de campus diferentes y de esos campus hay profesores, personal, estudiantes y todo el mundo está mirando datos. Esos datos pueden ser sobre libros, bibliotecas, cursos que se ofrecen, registro, inscripción, etc. Es más como un modelo de consumo de datos a través de un sitio web o portal en particular «.
La malla de datos
Conceptualmente, una malla de datos es un enfoque arquitectónico que es a la vez similar y de ayuda a una estructura de datos empresarial, que Gartner denominó la principal tendencia estratégica para 2022. Esta última es un medio holístico de conectar todos los datos en una organización, independientemente de su ubicación. por lo que son accesibles a pedido. A pesar de los diversos enfoques de implementación, han surgido varias competencias para definir un tejido de datos. «Hay una competencia de catálogo de datos, una competencia de metadatos activos, la capa semántica, todos los materiales de integración de datos, preparación de datos, etcétera», enumeró Sengupta.
Una malla de datos se basa en este enfoque de arquitectura distribuida al incluir información específica del dominio sobre la creación, el almacenamiento y la catalogación de datos para que sea aplicable a los usuarios en todos los dominios. «Le brinda cierto nivel de persistencia y almacenamiento de dónde pueden residir sus datos, pero no está escrito en piedra», explicó el cofundador de Calyptia, Anurag Gupta. Los atributos específicos de dominio de las mallas de datos abordan las diferencias semánticas para el uso entre departamentos al tiempo que proporcionan medidas de gobernanza para exponer datos. Las mallas son supervisadas con frecuencia por equipos centralizados. Según Gupta, «una malla es casi representativa de su sistema nervioso central, donde todos sus datos están almacenados de esta manera procesable, listos para ser enviados a varios destinos finales».
La capa de servicio de datos
Tener activos de datos descentralizados conectados y controlados uniformemente para su entrega a múltiples ubicaciones (y usuarios) es posiblemente la definición de un mercado de datos. No obstante, este paradigma, ni el de las estructuras de datos y las mallas de datos, no funcionaría sin lo que el director de atención al cliente de Commit, Nathan Cayzer, llamó una «capa de servicio». Con una alusión obvia a la Arquitectura Orientada a Servicios de la nube, las capas de servicio en tiempo real son fundamentales para entregar datos a los usuarios finales dentro y entre organizaciones. “Una capa de servicio en tiempo real le permite materializar respuestas en tiempo real o casi en tiempo real para el usuario final”, mencionó Cayzer. Dichas capas de servicio admiten, o son a su vez respaldadas por, las siguientes construcciones de gestión de datos:
- Entrega de datos: La visibilidad instantánea de los datos que proporcionan las capas de servicio puede presentar los datos correctos para la acción correcta. “En finanzas o banca, le permite obtener una instantánea en tiempo real de la actividad actual en una casa comercial en lugar de tener que esperar [batch jobs]—Señaló Cayzer.
- Data Lakehouses: Implementados principalmente en entornos de nube, los data lakehouses amalgaman las mejores facetas de los data warehouses y los lagos de datos para incorporar mecanismos formales para la gobernanza y la semántica de datos “para poner todas las diferentes fuentes de datos, ya sean estructuradas, semiestructuradas o no estructuradas, juntas de manera que puede ejecutar el código de las consultas de agregación ETL y la capa de servicio a los clientes, todo en un solo lugar ”, señaló el director de ingresos de Commit, Max Nirenberg.
- Súper bases de datos: La ventaja fundamental de este instrumento es que “estamos hablando de petabytes de datos y esto puede consolidar múltiples casos de uso en una sola base de datos: desde OLTP, OLAP, análisis, búsqueda y más”, dijo Cayzer. «Es más eficiente en lugar de distribuirse en varias bases de datos y máquinas».
Metadatos activos
Gartner ha adoptado la noción de invertir el valor de los metadatos desde implementaciones de linaje de datos pasivos hasta acciones de baja latencia en entornos de producción. En algunos casos, esta funcionalidad implica que las organizaciones «usen metadatos para hacer algún tipo de IA o ML», comentó Sengupta. «Básicamente, examina sus metadatos y sus archivos de registro y los convierte en inteligencia artificial y aprendizaje automático para que pueda recomendar qué tipo de actividades surgirán de eso».
A veces, hacerlo implica determinar la mejor forma de integrar datos. En otras ocasiones, esta capacidad incluye “etiquetado dinámico que representa metadatos sobre cómo fluyen los datos desde un dispositivo de borde a, digamos, su malla de datos”, denotó Gupta. “Estos metadatos son vitales porque pueden representar factores importantes como un equipo y qué equipo posee qué porción de datos. Con el aumento de las preocupaciones por la privacidad, desea asegurarse de que la porción de datos se encuentre bajo el cumplimiento y la gobernanza adecuados «.
Infraestructura perimetral
La capacidad de intercambiar fácilmente datos de baja latencia en el borde de la nube (como datos meteorológicos, actualizaciones de tráfico o desarrollos de fabricación) dentro de un mercado de datos amplía su valor empresarial. Hacerlo depende de «llevar la infraestructura informática y de almacenamiento al borde para habilitar la infraestructura para el mundo posterior a la nube», especificó el director de tecnología de Cloudian, Gary Ogasawara. Aunque las implementaciones de borde generalmente transmiten algunos datos a nubes centralizadas, los casos de uso cada vez mayores para este modelo arquitectónico incluyen:
- Vídeo transmitido en vivo: Desde casos de uso de seguridad hasta compras sin contacto, la transmisión de video se está volviendo omnipresente. Por lo general, se basa en la computación cognitiva para filtrar imágenes de operaciones normales para videos de seguridad, por ejemplo.
- Detección de fraude: Mejorar la detección de fraudes de pago en ubicaciones físicas a través del procesamiento de borde «beneficia al usuario final y al proveedor al hacerlo en tiempo real», observó Ogasawara.
- Personalización: En entornos minoristas, el procesamiento de borde crea oportunidades para personalizar las experiencias de los clientes en ubicaciones físicas, «como el comercio electrónico en Amazon», divulgó Ogasawara, que es lucrativo en un mercado de datos.
Composabilidad
Los desarrollos en una malla de datos, capa de servicio de datos, metadatos activos y computación de borde mejoran la gestión de big data con controles granulares para difundir datos, a pedido, en tiempo real. A veces, esa entrega abarca la venta de datos dentro del mercado de datos, un concepto que es lo suficientemente amplio como para incluir el intercambio de datos entre departamentos para una acción oportuna también. Sin embargo, en lo que respecta a su interrelación, estos desarrollos se derivan del principio de componibilidad en la base de la resiliencia empresarial adaptable (y la capitalización) para los años venideros.
La capacidad de composición es un enfoque modular para diseñar las entradas anteriores porque “las organizaciones se están dando cuenta de que no es realista tener un estándar empresarial único para datos y análisis”, reflexionó el director ejecutivo de Franz, Jans Aasman. “En 2022 y más allá, las empresas adoptarán un enfoque similar al de Lego para las soluciones de análisis e inteligencia artificial donde … [they’re] se utiliza en múltiples aplicaciones diferentes para conectar los conocimientos de los datos con las acciones comerciales en toda la empresa «.
Sobre el Autor
Jelani Harper es una consultora editorial que presta servicios al mercado de la tecnología de la información. Se especializa en aplicaciones basadas en datos centradas en tecnologías semánticas, gobernanza de datos y análisis.
Suscríbase al boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: @ InsideBigData1 – https://twitter.com/InsideBigData1