La ola actual de transformación digital son las organizaciones que mueven las tareas informáticas y el almacenamiento de datos asociado desde el hardware local a la nube, en particular Amazon Web Services (AWS), Microsoft Azure y Google Cloud. Las ventajas de este modelo de nube incluyen un modelo de infraestructura de pago por uso para escalar hacia arriba y hacia abajo de manera flexible en función de la demanda, la capacidad de acceder a la nube desde cualquier ubicación conectada y la preparación para el futuro de poder utilizar varios dispositivos interconectados. servicios en la nube (por ejemplo, aprendizaje automático o aprendizaje automático) a medida que cambian los requisitos de almacenamiento y computación.
La próxima ola de transformación digital es una síntesis de cargas de trabajo en las instalaciones y en la nube, donde los mismos servicios de computación y almacenamiento en la nube también están disponibles en las instalaciones, en particular, en el «borde» cerca o en la ubicación donde se generan los datos. Este modelo combinado proporciona el mejor resultado posible, donde las cargas de trabajo se pueden realizar en el borde y en la nube y donde se puede determinar la división óptima e incluso cambiar dinámicamente. Por ejemplo, los automóviles autónomos necesitan procesar y almacenar datos en el borde (es decir, en el automóvil) para tomar decisiones de piloto automático en tiempo real sin depender de una conexión de red. Al mismo tiempo, compartir esos datos anónimos con otras fuentes de datos en una ubicación central en la nube permite un archivo de datos eficiente, entrenamiento de modelos ML combinado y otros análisis colectivos.
Para que esta síntesis de nube de borde funcione, los servicios de nube, específicamente API de programación, deben estar disponibles en el borde. Por ejemplo, los servicios populares de AWS como S3 para almacenamiento de datos y Lambda para computación sin servidor deben estar en el borde sin requerir acceso a la nube. Luego, el programador puede usar las mismas API o incluso los mismos programas para ejecutarse en el borde y en la nube, y las cargas de trabajo en el borde y la nube pueden interoperar.
Es más útil tener algunas API en la nube en el borde debido a la naturaleza específica del borde donde se generan los datos sin procesar y se necesitan decisiones en tiempo real. Un ejemplo es la capacidad de filtrar o procesar datos sin procesar como lo hace AWS S3 SELECT. Debido a que los datos sin procesar se crean en el borde, pero generalmente no se vuelven a leer, los datos escribir la capacidad es mucho más importante que los datos leer y las API como AWS Sagemaker Feature Store son útiles. Finalmente, se necesitan API y programas que analicen datos para la toma de decisiones en tiempo real (por ejemplo, funciones de IA y ML). A continuación, describimos ejemplos de cómo se utilizan, o podrían utilizarse, estas API de análisis en el perímetro.
Llevando la nube a los datos
Uno de los primeros dispositivos que admitió la nueva plataforma Greengrass IoT de Amazon fue Amazon Snowball. Permitió a los equipos ejecutar de forma segura aplicaciones en la nube, código sin servidor y procesar datos desde el campo incluso cuando estaban desconectados físicamente de Internet. Por ejemplo, un caso de uso temprano fue un proyecto de la Universidad Estatal de Oregón que utilizó una bola de nieve para recopilar cientos de terabytes de datos oceanográficos en tiempo real para mejorar la sostenibilidad ambiental.
Los análisis de borde permitieron a los participantes del proyecto analizar estos datos mientras estaban en el mar utilizando sus aplicaciones en la nube, configuración y modelos de análisis existentes. Más tarde, pudieron refinar sus algoritmos analíticos en la nube, que fueron rechazados para mejorar las operaciones futuras y los proyectos de investigación.
PetaGene fue uno de los primeros en adoptar S3 Object Lambda para procesar grandes conjuntos de datos genómicos en la nube. Sus herramientas pueden comprimir datos genómicos 11 veces más pequeños sin pérdida utilizando algoritmos basados en S3 Lambda. Otro código S3 Lambda puede recuperar datos de forma selectiva. Refactorizar este tipo de aplicaciones para que se ejecuten en el borde puede facilitar la compresión de datos localmente antes de enviarlos a la nube. También puede facilitar la transformación de datos comprimidos en el formato apropiado en el borde.
Detectar el comportamiento problemático del dispositivo y otras anomalías
Mejorar la seguridad de los dispositivos en el campo es uno de los aspectos menos apreciados de la analítica de borde. Muchos de los primeros dispositivos de IoT han tenido problemas para automatizar los parches de seguridad. Los primeros desarrolladores nunca imaginaron que un dispositivo conectado permanentemente sería el terreno de lanzamiento perfecto para ataques distribuidos de denegación de servicio como Mirai Botnet. Se requiere una nueva mentalidad a medida que los piratas informáticos encuentran nuevas formas de penetrar en cosas grandes y peligrosas, como automóviles y sistemas de tratamiento de agua.
Las organizaciones están comenzando a adoptar algoritmos de detección de anomalías para identificar nuevas amenazas o fallas antes y con menos falsos positivos que los enfoques basados en reglas. Estos algoritmos analizan datos con alta fidelidad, organizan un pequeño subconjunto como punto de referencia y desechan el resto. Los algoritmos de detección de anomalías tienden a ejecutarse en la nube, lo que facilita su desarrollo y ajuste con herramientas como SageMaker. Sin embargo, estos mismos tipos de algoritmos podrían ayudar a la seguridad y la resistencia de los dispositivos periféricos al extender los algoritmos para que se ejecuten en depósitos S3 locales.
De manera similar, se pueden aplicar algoritmos de detección de anomalías para identificar transacciones fraudulentas con tarjetas de crédito en el punto de venta para compras minoristas o de comercio electrónico. En este caso, se utiliza un modelo de detección de fraude en el borde en tiempo real, mientras que el flujo de transacciones también se envía a la nube, donde los datos combinados de múltiples fuentes se pueden usar para crear y actualizar el modelo ML. Luego, el modelo ML actualizado se puede llevar al límite periódicamente.
Otros casos de uso para los algoritmos de detección de anomalías incluyen la identificación de componentes de fabricación defectuosos o pasos perdidos en un proceso de línea de ensamblaje automatizado y la clasificación automática de comportamientos inusuales capturados por cámaras de vigilancia.
Optimización para la autonomía
La mayoría de los fabricantes de automóviles han decidido que los automóviles autónomos requieren costosas matrices LiDAR. Tesla se ha opuesto obstinadamente a esta tendencia apostando a que los análisis de vanguardia integrados en cada vehículo pueden proporcionar un rendimiento adecuado con cámaras de bajo costo. Han logrado un progreso suficiente al desarrollar una infraestructura de análisis de borde que procesa de manera eficiente la mayoría de los datos localmente, minimizando los datos cargados en la nube para nuevos análisis. El jurado aún está deliberando sobre si Tesla logrará una verdadera capacidad de conducción autónoma con este enfoque.
Sin embargo, Tesla ha optimizado este proceso para que funcione como un subproducto del comportamiento normal del consumidor. Por el contrario, los competidores contratan grandes equipos de conductores especializados para solucionar los errores de sus equipos más costosos. Otras industrias podrían aplicar este mismo principio a diferentes tipos de equipos y aplicaciones mediante el uso de análisis locales para reducir la complejidad de los sensores o los requisitos de ancho de banda.
Las nuevas herramientas para automatizar la recopilación, el resumen y el análisis de datos podrían hacer que este tipo de recopilación de datos a gran escala y análisis local sea accesible para más empresas. Por ejemplo, las empresas que ya utilizan Amazon SageMaker pueden analizar grandes conjuntos de datos en el borde, almacenarlos en depósitos S3 locales y luego cargar los resúmenes apropiados a diario.
La computación de borde es todavía un trabajo en progreso. La primera ola de transformación digital ayudó a las empresas centradas en TI a obtener una ventaja competitiva. La próxima ola extenderá las prácticas, aplicaciones y modelos de datos de desarrollo en la nube existentes hasta el borde para ayudar a acelerar la transformación digital para otras industrias.
Sobre el Autor
Gary Ogasawara es el director de tecnología de Cloudian, responsable de establecer la visión y la dirección de la tecnología a largo plazo de la empresa. Antes de asumir este rol, fue el líder de ingeniería fundador de Cloudian. Antes de Cloudian, Gary dirigió el equipo de ingeniería en eCentives, una empresa de motores de búsqueda. También dirigió el desarrollo de sistemas de publicidad y comercio en tiempo real en Inktomi, una empresa de infraestructura de Internet. Gary tiene un doctorado. en Ciencias de la Computación de la Universidad de California en Berkeley, con especialización en razonamiento de incertidumbre y aprendizaje automático.
Suscríbase al boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: @ InsideBigData1 – https://twitter.com/InsideBigData1