Fue desarrollado por un equipo de investigadores de la Universidad de Kansas.
07 Junio de 2023 16.02
Un nuevo estudio descubri que un detector de IA desarrollado por la Universidad de Kansas puede detectar contenidos generados por IA en trabajos académicos con una tasa de precisión del 99%uno de los nicos detectores del mercado orientado especficamente a la escritura acadmica.
Segn un informe publicado el mircoles en la revista Informes celulares Ciencias físicas, Los investigadores crearon una herramienta que puede demostrar la detección de IA en artículos académicos con un 99% de precisión.
El equipo de investigadores selecciona 64 perspectivas (un tipo de artculo) y las utiliz para hacer 128 artculos usando ChatGPT, que luego se utiliz para entrenar al detector de IA.
El modelo tuvo una tasa de precisión del 100% a la hora de identificar los artículos creados por humanos de los generados por IA, y del 92% a la hora de identificar prrafos específicos dentro del texto.
Según una encuesta de Study.com, el 89% de los estudiantes universitarios ha aceptado utilizar ChatGPT para ayudarse con las tareas, mientras que el 34% de los educadores cree que el software debe prohibirse, aunque el 66% apoya que los estudiantes tienen acceso .
«En estos momentos, existen algunos problemas bastante evidentes con la escritura mediante IA», afirma la autora principal, brezo desaire, en un comunicado. «Uno de los mayores problemas es que ensambla texto de muchas fuentes y no hay ningn tipo de comprobacin de exactitud: es algo como el juego Dos verdades y una mentira».
Contra
Los detectores de IA no han demostrado ser precisos al 100%. Una estudiante de la universidad de california en Davis alega que su universidad la acus falsamente de hacer trampas con la IA. Tras subir un trabajo para una de sus clases, recibió un correo electrónico de su profesor en el que afirmaba que una parte estaba marcada en el programa Turnitin como por IA. Su caso fue remitido inmediatamente a la Oficina de Apoyo al Estudiante y Asuntos Judiciales, que se ocupa de la disciplina por mala conducta acadmica.
La estudiante defendi su caso y finalmente gan, usando marcas de tiempo para demostrar que ella escribió el trabajo. Esta no fue la nica vez que los educadores etiquetaron falsamente las tareas como por IA. Un profesor de comercio de Texas A&M intent suspender más de la mitad de su clase de último curso después de utilizar ChatGPT para comprobar si los estudiantes han utilizado el chatbot para escribir sus trabajos. Copi y pegue los trabajos en ChatGPT y le pregunte si los haba escrito l, a lo que respondi que s. Esto provoc que la universidad les retuviera los diplomas, aunque el profesor les ofreci la oportunidad de rehacer la tarea. Sin embargo, la universidad confirmó a Insider que ningún estudiante fue suspendido ni se le impidió graduarse.
Antecedentes clave
El chatbot de OpenAI, ChatGPT, se estren al publico en noviembre de 2022 y en menos de una semana super la marca del milln de usuarios, con personas que lo utilizan para cosas como crear cdigo y escribir ensayos. La inteligencia de la IA llevó a varias escuelas a prohibir indefinida o temporalmente el software, entre ellas las Escuelas Públicas de Nueva York, las Escuelas Públicas de Seattle y el Distrito Escolar Unificado de Los Ángeles.
TurnitIn
Lanz una herramienta de detección de IA para documentos. Antes, slo tena la capacidad de comprobar si haba plagio. La función se ha agregado a su informe de similitud y muestra un porcentaje global de la cantidad de trabajo que el software de IA genera dentro del trabajo.
La empresa afirma que su herramienta de detección de IA tiene una precisión del 98% a la hora de detectar trabajos escritos con IA. Su modelo de detección está alterado para detectar contenidos de los modelos lingüísticos GPT-3 y GPT-3.5, incluido ChatGPT. Sin embargo, afirma que como las caractersticas de escritura de GPT-4 son similares a las de los modelos anteriores, puede detectar contenidos de esta versin «la mayora de las veces».
Copias de fugas
Afirma tener una tasa de precisión en la detección de IA del 99%. Su software puede detectar texto generado por IA en varios modelos, incluidos GPT-4 y versiones anteriores, y contenido creado con Jasper AI. Tambin afirma que puede detectar contenidos de IA en varios idiomas, como espaol, ruso, francs, holands y alemn.
Winston IA
Se lanza en febrero y afirma que realiza esta tarea con una precisión del 99%. Slo admite la deteccin en ingls y francs, aunque la empresa pretende ampliarla pronto al espaol y al alemn. Puede detectar contenidos hechos con ChatGPT, Bard, Bing Chat, GPT-4 y otras herramientas de generación de texto.
El clasificador de OpenAI
Se lanz en enero para distinguir entre texto escrito con IA y texto escrito por humanos. Aunque son los mismos creadores que están fuera de ChatGPT, la herramienta no es muy precisa. Tiene una tasa de acierto de alrededor del 26% y etiqueta incorrectamente el trabajo humano como trabajo de IA el 9% de las veces. Sin embargo, OpenAI afirma que la precisión aumenta también a medida que aumenta la longitud del texto. Es «muy poco fiable» en textos con 1.000 caracteres o menos, y OpenAI sólo recomienda utilizar el software en documentos escritos en inglés.
La empresa también advierte contra el uso del clasificador como herramienta principal de toma de decisiones y sugiere utilizarlo como complemento de otros métodos de detección.
Comprobación de escritura de IA
Fue desarrollado por Quill y CommonLit para ayudar a los profesores a comprobar si hay trabajos creados con IA en las tareas. Sus desarrolladores predicen que su precisión se sita entre el 80% y el 90%. Slo permite detectar textos de hasta 400 palabras cada vez y, para cualquier cosa ms larga, los usuarios deben dividirlo en secciones. El software de detección fue creado por OpenAI y es capaz de identificar patrones sintéticos lingüísticos dentro del texto que no son del todo humano.
Nota publicada en Forbes US.