Databricks, la compañía de datos e inteligencia artificial, anunció el lanzamiento de SQL Analytics, que por primera vez permite a los analistas de datos realizar cargas de trabajo que antes sólo estaban destinadas a un almacén de datos en un lago de datos. Esto expande el alcance tradicional del lago de datos desde la ciencia de los datos y el aprendizaje de las máquinas hasta incluir todas las cargas de trabajo de datos, incluyendo la Inteligencia de Negocios (BI) y SQL. Ahora, las organizaciones pueden capacitar a los equipos de datos de ingeniería de datos, ciencia de datos y análisis de datos para que trabajen en una única fuente de verdad para los datos. SQL Analytics hace realidad la visión de Databricks de una arquitectura lacustre que combina el rendimiento del almacenamiento de datos con la economía del lago de datos, lo que resulta en una relación precio/rendimiento hasta 9 veces mejor que la de los almacenes de datos en nube tradicionales. SQL Analytics está disponible en vista previa pública a partir del 18 de noviembre.
La arquitectura de la casa del lago simplifica los datos y la IA para las organizaciones. En el pasado, los equipos de datos tenían que mantener almacenes de datos propios para las cargas de trabajo de la inteligencia empresarial y lagos de datos para las cargas de trabajo de la ciencia de los datos y el aprendizaje automático, porque ninguna plataforma de datos por sí sola podía satisfacer las necesidades de rendimiento de la BI y las necesidades de flexibilidad de la ciencia de los datos. Caro y complicado de mantener, esta coexistencia de arquitecturas heredadas ha creado silos de datos que frenan la innovación y sofocan la productividad de los equipos de datos. Una casa del lago aborda esto ejecutando todas las cargas de trabajo a través de una única arquitectura.
Shell eligió a Databricks para ser uno de los componentes fundamentales de su plataforma Shell.ai. «Shell ha estado experimentando una transformación digital como parte de nuestra ambición de ofrecer más y más limpias soluciones de energía. Como parte de esto, hemos estado invirtiendo fuertemente en la arquitectura de nuestro lago de datos. Nuestra ambición ha sido permitir que nuestros equipos de datos puedan consultar rápidamente nuestros enormes conjuntos de datos de la manera más simple posible. La capacidad de ejecutar consultas rápidas en conjuntos de datos a escala de petabytes utilizando herramientas de BI estándar es un cambio de juego para nosotros. Nuestro enfoque de co-innovación con Databricks nos ha permitido influir en el mapa de ruta del producto y estamos emocionados de ver esto llegar al mercado». Dan Jeavons, GM Data Science
«Ya no se trata de si las organizaciones moverán sus datos a la nube, sino de cuándo. La arquitectura de una casa de lago construida sobre un lago de datos es la arquitectura de datos ideal para las organizaciones basadas en datos y este lanzamiento ofrece a nuestros clientes una opción muy superior cuando se trata de su estrategia de datos», dijo Ali Ghodsi, CEO y co-fundador de Databricks. «Hemos trabajado con miles de clientes para entender a dónde quieren llevar su estrategia de datos, y la respuesta está abrumadoramente a favor de los lagos de datos». El hecho es que tienen cantidades masivas de datos en sus lagos de datos y con SQL Analytics, ahora pueden realmente consultar esos datos conectando directamente a sus herramientas de BI como Tableau».
SQL Analytics está construido en el Lago Delta, un motor de datos de formato abierto que añade fiabilidad, calidad y seguridad, al lago de datos existente del cliente. Los clientes pueden evitar el almacenamiento de múltiples copias de datos, así como el bloqueo de datos en formatos propietarios. Para ofrecer un rendimiento de BI en un lago de datos, SQL Analytics hace uso de dos innovaciones únicas. En primer lugar, proporciona puntos finales de escalado automático fáciles de usar que mantienen la latencia de las consultas constantemente baja bajo una alta carga de usuarios. En segundo lugar, utiliza el Motor Delta, el motor de ejecución de consultas único de Databricks, para completar las consultas de forma extremadamente rápida contra conjuntos de datos grandes y pequeños. Con conectores nativos para todas las principales herramientas de BI, incluyendo Tableau y Microsoft Power BI, los clientes pueden integrar fácilmente SQL Analytics en sus flujos de trabajo de BI existentes para realizar análisis sobre datos mucho más frescos y completos que nunca. SQL Analytics también proporciona una interfaz de consulta y visualización nativa de SQL para permitir a los analistas, científicos de datos y desarrolladores sin acceso a las herramientas tradicionales de BI construir cuadros de mando e informes que pueden ser fácilmente compartidos dentro de su organización.
«Ahora más que nunca, las organizaciones necesitan una estrategia de datos que permita que la velocidad y la agilidad sean adaptables», dijo Francois Ajenstat, Jefe de Producto de Tableau. «A medida que las organizaciones están moviendo rápidamente sus datos a la nube, estamos viendo un creciente interés en hacer análisis en el lago de datos. La introducción de la Analítica SQL ofrece una experiencia completamente nueva para que los clientes puedan aprovechar los conocimientos de volúmenes masivos de datos con el rendimiento, la fiabilidad y la escala que necesitan. Estamos orgullosos de asociarnos con Databricks para dar vida a esa oportunidad».
La arquitectura de la casa del lago es ampliamente apoyada por los socios de Databricks, incluyendo:
- Socios de BI: Tableau, Power BI, Qlik, Looker, Thoughtspot
- Ingerir socios: Fivetran, Fishtown Analytics, Matillion, Talend
- Socios de catálogo: Collibra, Alation
- Socios Consultores: Slalom, Thorogood, Advancing Analytics
«Databricks SQL Analytics es un paso crítico en la tendencia más importante de la pila de datos moderna: la unificación de la analítica SQL tradicional con el aprendizaje a máquina y la ciencia de los datos», dijo George Fraser, CEO de Fivetran. «Las empresas hacen enormes inversiones en la centralización y el curado de datos, y deberían ser capaces de hacer esas inversiones una vez y luego implementar múltiples paradigmas analíticos en un entorno unificado. La arquitectura de Lakehouse apoya eso».
Suscríbete al boletín de noticias gratuito de InsideBIGDATA.