En esta función especial de invitado, Jordan Dimitrov, Gerente de Producto, Análisis de datos no estructurados, Cognyte, aborda la importancia de los datos no estructurados, por qué la IA es una herramienta invaluable y cómo ir más allá de los enfoques heredados para la administración de datos. Jordan es responsable del análisis de datos no estructurados en NEXYTE, la plataforma de inteligencia de decisiones de Cognyte. Antes de hacer la transición al análisis de investigación, fue analista de productos en seguridad cibernética y se ocupó de la visibilidad de activos y la detección de amenazas. Su formación académica es en Marketing y Negocios.
Hasta ahora, los equipos de investigación e inteligencia han centrado sus esfuerzos en gran medida en ampliar sus capacidades de recopilación de datos para incluir más y más fuentes de datos. Pero para estos equipos, en dominios que incluyen la aplicación de la ley, los delitos financieros, la gestión de inmigración, la seguridad nacional, las autoridades portuarias/aeroportuarias y más, esta creciente reserva de datos a menudo produce muy poca información procesable.
Para los equipos más pequeños que se las arreglan con menos fuentes de datos, el principal desafío es extraer información más significativa de los datos limitados disponibles para ellos. Cada detalle debe analizarse minuciosamente para completar la imagen de investigación más completa posible.
Para equipos de investigación grandes y pequeños, la recopilación de datos por sí sola simplemente no es suficiente. El enfoque ahora se ha desplazado a fusionando estas fuentes de datos dispares para obtener información más eficaz y automatizada. analítica que mejoran la inteligencia de decisión.
Sin embargo, la incapacidad de sintetizar datos no estructurados con datos estructurados convencionales se ha convertido en un obstáculo importante en este esfuerzo. Una encuesta reciente de 200 investigadores principales y analistas senior confirma este desafío persistente, entre otros puntos de datos valiosos.
LA IMPORTANCIA DE LOS DATOS NO ESTRUCTURADOS
Los datos no estructurados, que incluyen imágenes, videos y multimedia, informes criminales escritos a mano, etc., representan un porcentaje de rápido crecimiento del contenido de inteligencia disponible en la actualidad. Los datos no estructurados, incluidos los datos cibernéticos y los antecedentes penales, ya comprenden la mayoría de los datos que se utilizan hoy en día para las investigaciones de las organizaciones gubernamentales. Y el volumen de estos datos está creciendo exponencialmente, provenientes de cámaras de circuito cerrado de televisión, redes sociales y otros foros y formatos.
Los investigadores necesitan la capacidad de ingerir y analizar de manera eficiente estos datos no estructurados basados en medios y, además, necesitan la capacidad de cruzar referencias y correlacionar datos no estructurados con sus bases de datos estructuradas. Esto se puede lograr con la tecnología de IA.
Se puede extraer información valiosa de los datos no estructurados cuando se sintetizan y analizan correctamente con IA. Los detalles incrustados en fotografías y foros de piratas informáticos, por ejemplo, pueden revelar relaciones entre los malos actores y otra información contextual importante. El análisis textual de registros policiales es otra aplicación de destino importante para la síntesis de datos estructurados/no estructurados.
LA INTELIGENCIA ARTIFICIAL ES VALIOSA
La IA es fundamental para este esfuerzo y, en última instancia, ayuda a transformar los datos no estructurados en datos estructurados que se pueden analizar fácilmente. El proceso impulsado por IA comienza con la extracción automatizada de identificadores dentro de los datos no estructurados; esto podría incluir caras, objetos, elementos de texto, contexto de ubicación y más.
Al aprovechar el análisis integral de datos de texto, audio, imagen y video, la IA puede ayudar a revelar relaciones y patrones previamente ocultos que surgen de los datos no estructurados. En última instancia, los analistas obtienen una imagen general más clara basada en estos vínculos, lo que mejora significativamente su inteligencia para tomar decisiones. Con una avalancha de datos no estructurados ahora sobre nosotros, sería imposible hacer todo esto manualmente a escala.
La IA es crucial para fines de enriquecimiento durante todo el proceso. Esto incluye establecer, ingerir e indexar los metadatos disponibles que acompañan a los datos no estructurados. Además, la IA permite extraer, estructurar y correlacionar datos valiosos de «objetos» contenidos en datos no estructurados basados en medios (fotos, videos, etc.).
ROMPIENDO LAS BARRERAS DE LOS ENFOQUES LEGADOS
Existen varias limitaciones para los enfoques ad hoc comúnmente empleados hoy en día cuando se gestionan datos no estructurados. Cuando se trata del enriquecimiento de IA, es engorroso externalizar esto a múltiples terceros para el enriquecimiento de texto, video, imagen, reconocimiento facial, etc. El acceso de terceros a información confidencial también puede presentar problemas obvios de seguridad y privacidad, y en el aire seguro gap’, el acceso a datos y servicios basados en la nube a menudo no está permitido.
Los desafíos con la subcontratación de terceros se extienden a lo largo del flujo de trabajo. Los enriquecimientos de terceros fuera de línea presentan problemas con la reingestión de datos y otros cuellos de botella del proceso. La multiplicación de archivos y consultas en múltiples servicios de terceros también puede agregar un gasto adicional considerable con el tiempo.
Si bien muchas soluciones han llegado al mercado en los últimos años, generalmente se limitan a manejar formatos de datos no estructurados específicos y/o ofrecen capacidades parciales en una selección limitada de idiomas admitidos. Existen importantes beneficios en la gestión de estos enriquecimientos y procesos a través de una única solución unificada que aprovecha la IA. Las ventajas clave pueden incluir capacidades sofisticadas para fusionar flujos de datos estructurados y no estructurados y establecer y analizar correlaciones y patrones importantes en medio de los datos.
Los datos no estructurados comprenden la mayoría de los datos que las organizaciones gubernamentales utilizan para investigaciones en la actualidad y desempeñarán un papel cada vez más importante en el análisis de investigación en el futuro.
Para garantizar una evaluación de inteligencia holística basada en datos, la fusión y el análisis de datos no estructurados son esenciales.
Una solución completa y unificada puede fusionar todo fuentes de datos, estructuradas y no estructuradas, juntas en un solo lugar, con todas las eficiencias de costos y flujos de trabajo que ello implica. Lo que es más importante, este enfoque puede mejorar drásticamente la inteligencia general de decisiones, generando información más precisa y completa más rápido que lo que es posible con los enfoques heredados. A medida que más equipos de investigación aprovechen las soluciones basadas en IA para automatizar estos procesos a escala, estarán bien equipados para manejar la avalancha de datos no estructurados que recién comienza.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW
