Los datos siempre han sido un activo importante en los negocios, sin embargo el valor de los datos se redefinió con la aparición de los grandes datos. La combinación de datos estructurados y no estructurados procedentes de múltiples fuentes proporciona un inmenso valor a las empresas que remodelan sus productos, servicios, modelos de negocio, modelos de ingresos y mucho más.
Sin embargo, la aparición de grandes datos no se produce de forma aislada, sino que está vinculada a los avances que se producen en otras tecnologías. Las características de los grandes datos – volumen, variedad, velocidad y valor – son consumidas o apoyadas por estas tecnologías. Estas tecnologías incluyen el almacenamiento de datos, la computación en nube, la cadena de bloques, la IA, la IO y otras. En muchos casos, se trata de una relación bidireccional; es decir, los avances en las tecnologías mejoran el procesamiento de grandes datos y los resultados, mientras que el panorama mejorado de los grandes datos mejora los resultados de estas tecnologías o las empuja a seguir innovando.
La relación entre estas tecnologías y los grandes datos sigue evolucionando, lo que hace que algunos de los casos de uso que antes se consideraban poco razonables sean viables. Esta relación se explora más a fondo para algunas de las tecnologías clave que están cambiando el panorama mundial de la informática y los negocios:
- La computación en nube y los grandes datos – La computación en nube está haciendo posible la escalada de grandes datos. El procesamiento distribuido de grandes datos requiere una compleja infraestructura y herramientas para ser establecido. Escalar la gran infraestructura de datos hacia arriba o hacia abajo en base a las necesidades de procesamiento de datos ha sido un desafío que la computación en nube ha abordado con su elasticidad. Más allá de la infraestructura escalable y el almacenamiento, la computación en nube ofrece capacidades ampliadas que incluyen un gran motor de datos, bases de datos, capacidades de procesamiento de corrientes y servicios que utilizan grandes datos de manera eficaz, como los servicios de aprendizaje automático.
- Cadena de bloques y grandes datos – Como con cualquier solución de datos, los grandes datos también se enfrentan al desafío de construir la verificabilidad y la confianza. Hay muchos casos de uso en el mundo real, incluyendo identificaciones de fraude, decisiones de hipotecas y otros que pueden consumir grandes datos de manera efectiva. Sin embargo, la falta de confianza y verificabilidad puede llevar a problemas mucho más grandes que limiten la adopción. Blockchain, con sus características de confianza como protocolo de red a través de la descentralización, inmutabilidad y transparencia a través de cualquier tipo de red de cadenas de bloques, resuelve estos retos de manera efectiva. La escalabilidad y los costos de almacenamiento asociados con el uso de las redes de cadenas en bloque pueden abordarse mediante la integración de las redes en cadena y fuera de cadena mientras la tecnología avanza para resolverlos dentro del diseño.
- IO y grandes datos – Esta relación parece simple comparada con otras. La IO produce una enorme cantidad de datos a una velocidad vertiginosa. Los dispositivos se están multiplicando a un ritmo exponencial y, con eso, los datos crecen más rápido que nunca. Para dar sentido a estos datos, grandes datos vienen al rescate, proporcionando la capacidad de transmitir, almacenar y procesar los datos para obtener resultados significativos. Sin embargo, aquí es donde entra en juego la complejidad. Dentro de la adopción de estas tecnologías, los grandes datos también pueden necesitar permitir estas integraciones con capacidades para alimentar los datos en cadena de bloques o incluso potenciar el motor de IA. Estén atentos a algunos desarrollos emocionantes con estas integraciones.
- Inteligencia artificial y grandes datos – La inteligencia artificial, específicamente con capacidades de aprendizaje de máquinas, puede producir análisis predictivos extremadamente útiles para las empresas y los gobiernos. Sin embargo, para que los algoritmos se diseñen correctamente y no produzcan resultados sesgados con una alta varianza, esto requiere datos generalmente a gran escala. Una vez diseñados, los datos se necesitan nuevamente para probar y validar estos algoritmos y luego para el entrenamiento continuo. Los datos en producción, en los que los algoritmos deben funcionar, también deben ser transformados y procesados para trabajar con el algoritmo. Estos datos son en su mayoría datos grandes, dado el valor que se obtiene al combinar el flujo de datos estructurados y no estructurados a través de múltiples fuentes.
Como cualquier otra tecnología, los grandes datos tienen dos caras. Necesita inversiones significativas, con un rápido aumento de datos no estructurados. Es difícil autentificar los grandes datos para no violar ningún aspecto de la privacidad. Es difícil calibrar e ignorar los cambios que puede traer a la sociedad, incluyendo los negativos. Ya estamos viendo que el mundo se está polarizando más, impulsado por el uso de esta tecnología. Sin embargo, en última instancia, se trata de hacer lo correcto y establecer un mecanismo para promover el uso de la tecnología para hacer lo correcto y degradar lo incorrecto. Personalmente me hubiera gustado ver un marco de políticas más definido para los grandes datos a un nivel más amplio, incluyendo a los gobiernos nacionales, de la forma en que vemos que se hace para tecnologías como la cadena de bloques y la IA.
Los grandes datos tienen un enorme potencial. Sin embargo, las organizaciones y entidades gubernamentales que intentan aprovechar este potencial también deben prestar atención a la relación que los grandes datos comparten con las otras tecnologías. Si se aprovecha eficazmente, el valor combinado que ofrecen los grandes datos y las demás tecnologías como la IO y Blockchain puede ser significativamente mayor. Esto requiere que se hagan inversiones para combinar las tecnologías e impulsarlas colectivamente a través de las fases de ideación y ejecución.