En esta función de invitado especial, Stefan Pracht, vicepresidente senior de marketing de productos de Axellio, dice que, aunque Hadoop puede ser una solución sólida para el problema de los datos grandes y rápidos, se ve limitado por los diseños de servidores convencionales en un mundo en el que las instituciones tienen que lidiar con miles de millones de registros por día. Stefan es un ejecutivo de marketing experimentado con más de 20 años de experiencia en la gestión y marketing de productos y servicios para los mercados de proveedores de servicios y TI empresarial a nivel mundial. Tiene una amplia experiencia en redes, gestionando equipos de marketing y gestión de productos responsables de las soluciones de análisis y monitoreo de aplicaciones y redes en Agilent, Fluke Networks, NETSCOUT Systems y NetAlly, y trabaja en Alemania, Canadá, Reino Unido y EE. UU.
Los reguladores de EE. UU. Y Europa durante la última década han impuesto multas masivas a las instituciones financieras por diversas infracciones relacionadas con las normativas. La importancia de implementar enfoques basados en big data para mejorar el cumplimiento normativo es cada vez más evidente. Las reglas existentes exigen una cantidad cada vez mayor de datos para manejar la complejidad del sistema financiero actual.
Los macrodatos se han convertido en un componente fundamental para garantizar que se cumplan las leyes, que se protejan los activos y que se atienda a los consumidores de formas que tal vez no esperaban. Normalmente, las herramientas basadas en Apache Hadoop se utilizan para recopilar y analizar datos financieros y regulatorios. Sin embargo, cuando los datos se vuelven demasiado difíciles de manejar, algo común en el entorno actual basado en datos, este enfoque puede dar como resultado granjas de servidores que no están diseñadas para manejar la inmensa cantidad de potencia de procesamiento requerida.
La fortaleza de Hadoop ha sido su capacidad para utilizar servidores de bajo costo mediante la partición de datos y su distribución en un número casi infinito de dispositivos para respaldo y procesamiento paralelo.
Si bien este método funciona bien para datos con niveles de entrada modestos, cuando hay un torrente de datos que fluyen hacia el lago de datos, el enfoque de utilizar nodos modestos, de baja velocidad y alta capacidad compromete el beneficio financiero que Hadoop tenía la intención de proporcionar en el primer lugar. Esto puede aumentar significativamente el costo de cumplir con las reglas incluso para las instituciones financieras, y mucho menos el efecto en las empresas más pequeñas.
Una alternativa
En comparación con los posibles altos costos y las multas por errores y descuidos, el análisis de big data es claramente más ventajoso desde el punto de vista financiero a largo plazo. La idea es construir la solución Hadoop en una plataforma que no esté restringida por las restricciones impuestas por los métodos Hadoop convencionales, lo que reduce significativamente la cantidad de nodos necesarios.
Una alternativa: considere una plataforma de servidor que utilice dispositivos basados en SSD totalmente NVMe de alta densidad que puedan superar los diseños de servidor convencionales. Cuando se desarrolla e implementa correctamente, esta configuración puede permitir velocidades de transferencia de datos internos de hasta 60 GBytes / seg. Cuando se combina con Hadoop, puede transformarse en una plataforma capaz de consumir datos de alta velocidad utilizando una fracción de los servidores necesarios para una instalación Hadoop equivalente, lo que reduce los costos operativos y la complejidad.
Un laboratorio de prueba de concepto en Colorado Springs, CO, en colaboración con una gran institución financiera, probó dicha configuración y los resultados fueron extremadamente positivos. A través de estas pruebas, el equipo pudo ejecutar muchos puntos de referencia generales de Hadoop proporcionados en la distribución de HortonWorks Hadoop. En comparación con una implementación de referencia típica, esta novedosa solución de Hadoop obtuvo resultados superiores.
La capacidad de ingerir y analizar datos de alta velocidad en el lago de paquetes de Hadoop fue fundamental para reducir significativamente la cantidad de servidores necesarios para cumplir con los estándares regulatorios en este caso de uso específico de Hadoop.
El cumplimiento de los requisitos reglamentarios en el mundo actual basado en datos solo se volverá más difícil y costoso con los métodos de servidor convencionales. Los sistemas Hadoop se han utilizado tradicionalmente para facilitar las búsquedas en grandes cantidades de datos con el fin de generar informes de cumplimiento, realizar pruebas de estrés regulatorio e identificar fraudes. Sin embargo, dado que las leyes han cambiado, ya no es suficiente hacer una simple búsqueda de datos relativamente inalterables.
Las instituciones financieras modernas ahora tienen enormes cantidades de datos que deben fluir hacia el lago de datos mientras realizan análisis predictivos para una variedad de propósitos, incluido el cumplimiento, la administración de efectivo, la obtención de una imagen de 360 grados del cliente y el análisis comercial.
Aunque Hadoop puede ser una solución sólida para el problema de los datos grandes y rápidos, los diseños de servidores convencionales lo limitan en un mundo en el que las instituciones tienen que lidiar con miles de millones de registros por día.
Las organizaciones pueden reducir significativamente los gastos y el equipo necesarios para realizar estas actividades críticas mediante el uso de una plataforma de servidor que utiliza un dispositivo SSD de alta densidad y totalmente NVMe como base de la solución. Debe considerarse como una alternativa viable a una arquitectura de solución exclusiva de Hadoop.
Suscríbase al boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: @ InsideBigData1 – https://twitter.com/InsideBigData1