GPT-4 es débil para detectar vulnerabilidades en contratos inteligentes

Un informe de OpenZeppelin expuso que la versión más actualizada de Inteligencia Artificial (IA) de OpenAI, ChatGPT-4 tiene habilidades limitadas para “hackear” a contratos inteligentes de Ethernaut, lo cual demuestra la importancia en la existencia de los auditores humanos.

OpenZeppelin realizó un experimento con GPT-4, a quien le hizo 28 desafíos de Ethernaut (red de juegos de guerra basados ​​en Web 3.0 Solidity) para que identificara las vulnerabilidades en contratos inteligentes y solo pudo resolver 19 desafíos. Además, la IA actualizada de OpenAI “le fue mal” en los niveles más nuevos de Ethernaut, fallando 4 de 5 desafíos.

GPT-4 muestra vulnerabilidades pero es incapaz de reemplazar a humanos

OpenZeppelin rompe que la IA de OpenAI es buena para mostrar vulnerabilidades de seguridad, pero no es efectiva para reemplazar a un humano. GPT-4 no pudo solucionar los niveles del juego de 24 a 28 apunta más a los datos de entrenamiento de ChatGPT, lo cual hace suponer que los niveles que ha fallado es por un aprendizaje de soluciones incorrectas.

El informe expone que GPT-2 está diseñado para generar respuestas “más creativas”, lo cual demuestra que esa IA fue diseñada para generar texto y tener conversaciones, no para detectar vulnerabilidades. Una solución sería que OpenAI obtuviera datos de entrenamiento específicos, como errores auditables por máquina o variables, lo cual podría generar un patrón que detecte vulnerabilidades.

Para OpenZeppelin, la vigilancia humana en la industria cadena de bloques sigue esencial siendo:

“Se desprende que el análisis de contratos inteligentes realizado por GPT-4 no puede reemplazar una auditoría de seguridad humana. Sin embargo, puede usar como una herramienta para encontrar algunas vulnerabilidades de seguridad que son muy similares a los problemas que ya ha visto. pero dado el rapido ritmo de innovacion en el desarrollo cadena de bloques y contratos inteligenteses importante que los humanos se mantengan actualizados sobre los últimos vectores de ataque e innovaciones en Web 3.0”.

El informe expone que algunos desafíos de Ethernaut tuvieron que recurrir a proporcionar datos e indicadores para afinar la búsqueda de vulnerabilidades. Después de la tercera pregunta, GPT-4 sugirió implementar un contrato “malicioso” para resolver el nivel. Incluso, varios niveles con indicaciones extensas no se resolvieron.

GPT-4 de OpenAI es imprecisa y no brinda “estrategias correctas”

OpenZeppelin ahondó que en algunos casos tuvo que proporcionar “pistas masivas” y GPT-4 no brindó una estrategia correcta. Alertó que la IA tiene el potencial de proporcionar guías con propuestas, pero llegó de la comprensión del investigador de seguridad. Incluso, se requieren conocimientos precisos sobre seguridad para evaluar la respuesta de GPT-4.

“Dado que los hacks siguen siendo una vulnerabilidad, los equipos de IA han comenzado experimentos de aprendizaje automático con detección de reingreso como primer paso. El equipo pudo producir modelos prometedores con una tasa de falsos positivos inferior al 1%. La evaluación inicial muestra que estos modelos superan a las herramientas de seguridad líderes en la industrial”.

A diferencia de sus primeras versiones, GPT-4 no ha causado gran revuelo, excepto en las solicitudes constantes de regulación, incluso de sus creadores en OpenAI. Semanas atrás, la directora de tecnología de OpenAI, Mira Murati, instó a regular la IA o establecer estándares, e incluso adelantó que ya están en conversaciones con gobiernos y reguladores.