ChatGPT se ha convertido en una parte esencial de nuestra vida diaria en este momento. La mayoría de nosotros lo usamos a diario para resolver tareas mundanas u obtener orientación sobre cómo abordar problemas complejos, obtener recomendaciones sobre decisiones, etc. Más importante aún, la escritura asistida por IA se ha convertido en la norma para la mayoría, e incluso comenzamos a ver los efectos. ya que las empresas comenzaron a reemplazar sus redactores con ChatGPT.
Si bien los modelos GPT han demostrado ser asistentes útiles, también han presentado desafíos, como la proliferación de noticias falsas y el plagio asistido por tecnología. Los casos de resúmenes científicos generados por IA que engañan a los científicos han llevado a una pérdida de confianza en el conocimiento científico. Por lo tanto, parece que la detección de texto generado por IA será crucial a medida que avancemos. Sin embargo, no es sencillo, ya que plantea dificultades fundamentales, y el progreso en los métodos de detección va a la zaga del rápido avance de la propia IA.
Los métodos existentes, como los enfoques basados en perturbaciones o los métodos basados en rango/entropía, a menudo fallan cuando no se proporciona la probabilidad del token, como en el caso de ChatGPT. Además, la falta de transparencia en el desarrollo de modelos lingüísticos potentes plantea un desafío adicional. Para detectar de manera efectiva el texto generado por GPT y coincidir con los avances de los LLM, existe una demanda apremiante de una metodología de detección sólida que sea explicable y capaz de adaptarse a actualizaciones y mejoras continuas.
🚀 ÚNETE a la comunidad subreddit de ML más rápida
Entonces, en este punto, la necesidad de un método robusto de detección de texto generado por IA está aumentando. Pero sabemos que los LLM avanzan más rápido que los métodos de detección. Entonces, ¿cómo podemos idear un método que pueda mantenerse al día con el avance de los LLM? hora de conocer ADN-GPT.
ADN-GPT aborda dos escenarios: caja blanca detección, donde el acceso a la probabilidad de token de salida del modelo está disponible, y caja negra detección, cuando dicho acceso no esté disponible. Al considerar ambos casos, ADN-GPT tiene como objetivo brindar soluciones integrales.
ADN-GPT se basa en la observación de que los LLM tienden a decodificar n-gramas repetitivos de generaciones anteriores, mientras que es menos probable que se decodifique el texto escrito por humanos. El análisis teórico se centra en la posibilidad de texto generado por IA en términos de tasa de verdaderos positivos (TPR) y tasa de falsos positivos (FPR), lo que agrega una perspectiva ortogonal al debate actual sobre la detectabilidad.
La suposición es que cada modelo de IA posee su ADN distintivo, que puede manifestarse en su tendencia a generar n-gramas comparables o en la forma de su curva de probabilidad. Luego, la tarea de detección se define como una tarea de clasificación binaria, donde dada una secuencia de texto S y un modelo de lenguaje específico LM como GPT-4, el objetivo es clasificar si S es generado por el LM o escrito por humanos.
ADN-GPT es un algoritmo de detección de tiro cero para textos generados por modelos GPT, que se adapta tanto a escenarios de caja negra como de caja blanca. La eficacia de los algoritmos se valida utilizando los cinco LLM más avanzados en cinco conjuntos de datos. Además, la robustez del algoritmo se prueba frente a ataques de texto revisado y texto que no está en inglés. Además, el método de detección proporciona la capacidad de obtener modelos, lo que permite la identificación del modelo de idioma específico utilizado para la generación de texto. Finalmente, ADN-GPT incluye disposiciones para proporcionar evidencia explicable para las decisiones de detección.
Revisar la Papel y Github. No olvides unirte nuestro SubReddit de 23k+ ML, Canal de discordiay Boletín electrónico, donde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más. Si tiene alguna pregunta sobre el artículo anterior o si nos perdimos algo, no dude en enviarnos un correo electrónico a Asif@marktechpost.com
🚀 Echa un vistazo a las herramientas de IA de 100 en AI Tools Club
Ekrem Çetinkaya recibió su B.Sc. en 2018 y M.Sc. en 2019 de la Universidad Ozyegin, Estambul, Türkiye. Escribió su M.Sc. tesis sobre eliminación de ruido de imágenes utilizando redes convolucionales profundas. Actualmente está cursando un doctorado. Licenciada en la Universidad de Klagenfurt, Austria, y trabajando como investigadora en el proyecto ATHENA. Sus intereses de investigación incluyen el aprendizaje profundo, la visión artificial y las redes multimedia.
➡️ Prueba: IP criminal: Extensión de Chrome del verificador de enlaces de phishing basada en IA
