En esta función especial de invitado, Christian Romming, director ejecutivo de Etleap, cree que hay demasiado en juego como para permitir que un descuido provoque una brecha de seguridad o un tiempo de inactividad. Etleap es una empresa de canalización de datos gestionados que presta servicios a empresas como Moderna, PagerDuty y Morningstar. Christian fundó Etleap en 2013 después de una carrera en ingeniería de datos. Es originario de Noruega con títulos en informática de la Universidad de Warwick y la Universidad de Stanford.
¡Felicidades! Hizo su investigación, evaluó varias opciones de almacenamiento de datos en la nube (CDW), obtuvo la aceptación y las aprobaciones correctas en toda su organización y está listo para avanzar en Snowflake, Redshift, Delta Lake u otro CDW. Las nuevas oportunidades de inteligencia comercial (BI), análisis y aprendizaje automático ahora están claramente a la vista. Los CDW tienen ventajas en velocidad, eficiencia y costo en comparación con sus predecesores en las instalaciones. Pero aún queda mucho trabajo por delante, y las decisiones que tome ahora pueden significar la diferencia entre días, meses o años para lograr ese éxito.
Si bien el mundo de extracción, transformación y carga (ETL) ha evolucionado desde sus raíces en las instalaciones, la creación y administración de canalizaciones de datos que entregarán datos listos para análisis a los consumidores de datos aún pueden requerir muchos recursos. A continuación se presentan cinco formas de reducir esos requisitos de recursos y acortar su línea de tiempo para un lanzamiento exitoso de CDW.
1. Encuentre un conector para cualquier fuente de datos
Es posible que tenga un equipo profundo y sólido de ingenieros de datos que haya escrito código para integraciones de código fuente en el pasado. Incluso puede que les guste este trabajo, aunque la mayoría está feliz de dejar atrás este trabajo a menudo tedioso. Independientemente, esta es una de las mayores oportunidades para acelerar la migración de su almacén de datos. Muchos equipos antes que usted han necesitado conectores para bases de datos, archivos, aplicaciones o flujos de eventos. Hay varias herramientas de conector preconstruidas disponibles que cubren la mayoría de las fuentes de datos de la mayoría de las organizaciones. Y claro, probablemente también tenga algunas fuentes de datos que son exclusivas de su industria o incluso de su empresa. Pero al igual que con los conectores preconstruidos, se beneficiará de la experiencia de un proveedor con marcos y experiencia específica en el manejo de fuentes personalizadas.
2. Automatiza la infraestructura
Al mudarse a la nube, ha dejado el mundo de administrar servidores físicos en un centro de datos, pero aún puede abrumar a su equipo con el trabajo de infraestructura si no tiene cuidado. Administrar el movimiento recurrente y la preparación de datos requiere la programación de tareas y sus dependencias, el aprovisionamiento de clústeres de cómputo, la optimización del costo y el rendimiento, y más. Existen diferentes opciones para liberar a su equipo de este tiempo de ingeniería, desde orquestadores de código abierto y opciones sin servidor hasta herramientas de canalización totalmente administradas.
3. Democratizar la producción de datos
Es común pensar en la democratización de datos principalmente como el resultado de un proyecto CDW exitoso. Proporcionar tableros y conjuntos de datos a más consumidores de datos es sin duda clave para una organización alfabetizada en datos. También es importante capacitar a los productores de los datos, aquellos más familiarizados con su significado e historia. En ausencia de esto, queda un equipo central responsable de seleccionar los datos y entregarlos con significado y valor a los consumidores de datos. Pasarán incontables horas investigando cada dominio y fuente de datos o terminarán generando un CDW que los usuarios no pueden entender y en el que no confían. Un mejor enfoque es brindarles a los expertos del dominio herramientas sin código para construir directamente canalizaciones y preparar datos para análisis.
4. No ignore el tiempo de resolución de problemas
Mientras planifica una migración a un CDW, es fácil centrar toda su atención en el esfuerzo de ingeniería de datos necesario para lanzar el CDW. Sin embargo, sus ingenieros de datos con frecuencia pueden dedicar tanto tiempo a la resolución de problemas como a cualquier otra cosa. Hay herramientas para monitorear y puede escribir código para alertas de errores. Aún más efectivas son las ofertas de canalización completamente administradas que brindan estas funciones listas para usar y pueden resolver problemas antes de que lleguen a su equipo. Estos cinco consejos aumentarán el tiempo de actividad de su CDW, que es el alivio de tiempo definitivo para sus ingenieros de datos. Y también es clave para alcanzar el valor, que depende de la confianza y adopción de los consumidores de datos.
5. Espera lo inesperado
A estas alturas puede que estés pensando que la automatización lo tiene todo resuelto y el ecosistema de herramientas ha cubierto todos los casos imaginables. La realidad es que no hay un solo botón fácil, y debe tener cuidado con las soluciones de caja negra que sugieren que las canalizaciones se pueden automatizar al 100 %. Las fuentes de datos y los destinos cambiarán. Puede decidir integrar capacidades como un catálogo comercial o un flujo de trabajo de calidad de datos. Asegúrese de haber invertido en herramientas o servicios con la flexibilidad para manejar su entorno único y cambiante. Puede ahorrar cientos de horas con una automatización rígida, pero recupere esos ahorros de tiempo cuando requieran soluciones alternativas para sus casos extremos.
Algunas organizaciones tardarán años en alcanzar el valor de su migración local a CDW. El objetivo de este artículo no es causar desesperación, sino asegurarse de que avance con los ojos abiertos. Puede ser útil evaluar dónde debe construir su organización, comprar o asociarse. Muchos piensan que necesitan construir internamente para mantener la flexibilidad y el control, y están dispuestos a dedicar mucho más tiempo a hacerlo. Pero hay opciones disponibles que hacen de esto una compensación falsa. Este es un ejemplo en el que un análisis adecuado y las herramientas adecuadas redujeron en dos años el despliegue de una gran empresa de servicios financieros.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW
