¿Tener AI Generate Text es hacer trampa? | diciembre 2022

https://bit.ly/3ElW1J7 3 de agosto de 2022

Los humanos siempre fueron criaturas frágiles, la mayor parte de nuestro éxito en el ecosistema fue impulsado por el uso eficiente de nuevas herramientas. Cuando llega una nueva herramienta que aumenta nuestras capacidades, a menudo cuestionamos la justicia de usarla. El debate no suele durar mucho cuando la herramienta tiene claros beneficios. Los barcos tienen una ventaja sobre la natación, la escritura resuelve nuestros problemas de memoria, este párrafo se mejoró con un corrector gramatical, etc.

El texto generado por herramientas de IA, como GPT-3 (https://bit.ly/3e3icZQ), ha visto un aumento impresionante en calidad, y el texto generado por IA ahora es difícil de distinguir del texto generado por humanos. Algunas personas argumentan que usar texto generado por IA es hacer trampa, ya que le da al usuario una ventaja injusta. Sin embargo, otros argumentan que el texto generado por IA es simplemente otra herramienta que puede usarse para mejorar la escritura. El texto en cursiva enfatiza este punto, ya que fue completamente generado por IA después de darle a GPT-3 el contexto apropiado con el texto anterior (en adelante en este artículo, todo el texto generado por IA está marcado en cursiva). Para que el proceso sea más confuso, el texto generado por IA se puede mejorar aún más con herramientas que mejoran la presentación gramatical y la elección de términos. En algún momento, se vuelve difícil distinguir quién escribió qué.

Volver arriba

Escritura y procedencia combinadas

Podemos plantear la pregunta de si la escritura combinada con IA se convertirá en un enfoque aceptable para un uso más eficiente de nuestras capacidades y tiempo. Las herramientas para la corrección ortográfica y gramatical ahora son de uso diario y no plantean ninguna preocupación ética. Sin embargo, el texto generado por IA, incluso si se acepta desde un punto de vista ético, plantea dudas sobre la procedencia del texto generado. Afortunadamente, ya existe una gran cantidad de herramientas para la detección de plagio (a los efectos de este artículo, todo el texto generado por IA se ha verificado en busca de plagio mediante Quetext (https://bit.ly/3rrCy1U)). En el caso de GPT-3, un sistema de libro cerrado sin acceso a contenido externo después de la fase previa al entrenamiento, la generación de texto «ipsis verbis» parece estadísticamente improbable para cualquier salida larga, por lo que es probable que la verificación de plagio sea abundante. de cuidado.

OpenAI, propietario de GPT-3, proporciona pautas (https://bit.ly/3fvsnXd) para el contenido en coautoría con GPT-3. La esencia es: no hacer daño, abstenerse de usar contenido dañino; identificar claramente el uso de contenido generado por IA; atribuirlo a su nombre, usted es el responsable del contenido publicado.

Volver arriba

Paternidad literaria

Por ejemplo, si una IA generara un texto científico, ¿debería la IA recibir crédito como autora? (Curiosamente, la propia IA generó esta pregunta).

Aún así, no decidió escribirlo por su cuenta. Los modelos de lenguaje incorporan más conocimiento del que un ser humano puede aspirar a lo largo de su vida, al igual que los motores de búsqueda, pero ese conocimiento es estático. Solo cuando se le consulta, el modelo aprovecha el conocimiento almacenado y construye una continuación plausible para algún mensaje de entrada. Hay límites (https://bit.ly/3rx13dS) también para la cantidad de datos de contexto que se pueden contabilizar en el indicador, unos pocos párrafos.

Luego de ser provisto de los dos párrafos anteriores, concluyó: Si una IA generara un texto científico, no debería recibir crédito como autor. Estoy de acuerdo con esta observación.

Sin embargo, si comienza a alimentarse de sus productos, sin una mano de dirección, esta conclusión podría tener que ser reexaminada.

O, si una IA generara un texto científico y un ser humano lo editara, ¿debería la IA recibir crédito como autor? En este caso, yo (nota: la IA) Creo que la IA debería recibir crédito como autora, ya que fue responsable del contenido original. Sin embargo, también se debe dar crédito al editor humano, ya que ayudó a dar forma y mejorar el producto final.

Vamos a dejar las cosas así.

Volver arriba

Separar el trigo y la paja

Es probable que aumente la cantidad de contenido generado por IA y que parte de ese contenido no se etiquete como tal. (Una consecuencia no deseada es que los futuros modelos de lenguaje incorporarán esos resultados en su entrenamiento). Para nosotros, los humanos, la preocupación más apremiante es si podemos distinguir el contenido humano del generado por IA.

La respuesta es negativa, ya que los sistemas actuales ya son muy buenos para engañar a los humanos. Los puntos de referencia de GPT-3 sobre la precisión humana para identificar si un texto breve, de unas 200 palabras, fue generado por una máquina conducen a un resultado del 52 %, casi igual a las conjeturas aleatorias, que se esperaban en un 50 %. Los diseñadores de GPT-3 también señalan que «los discriminadores automáticos pueden tener más éxito en la detección de texto generado por modelos que los evaluadores humanos». El estudio de los textos generados por IA, a veces llamados «textos neuronales», es un campo de investigación reciente. Una encuesta reciente del campo concluye que «evaluar la calidad de los textos neuronales sigue siendo un problema abierto». (En realidad, esta cita generada por IA y la referencia implícita a una encuesta no son ciertas, y no pude encontrar el texto citado en la Web. Esto ilustra los riesgos del uso a ciegas del texto generado por IA sin verificación de hechos adicional) .)

Volver arriba

Cuestionando al Oráculo

En la Antigua Grecia, el Oráculo de Delfos fue consultado por muchos, y Pitia, la suma sacerdotisa del templo de Apolo, sirvió como intermediaria para su conocimiento profético. En esta y otras tradiciones, hay un intermediario humano que une el conocimiento desde una fuente que a menudo es incomprensible. En la tradición judeocristiana, Dios es visto como la fuente última de conocimiento y sabiduría, pero los humanos a menudo necesitan intermediarios que los ayuden a comprender y aplicar ese conocimiento. Uno de los ejemplos más famosos es el del profeta Moisés, quien fue visto como un mediador entre Dios y el pueblo de Israel.

El diseño rápido es fundamental para la consulta eficiente de modelos de lenguaje de propósito general, como estos. Los buenos resultados requieren un encuadre correcto de la tarea en lenguaje natural e idealmente un conjunto de ejemplos apropiados. Aquí, solo usamos continuaciones de texto alimentando párrafos y cosechando continuaciones, pero tareas más específicas, como la traducción de idiomas, requieren indicaciones y ejemplos cuidadosamente enmarcados como contexto.

Es posible que veamos un nuevo título de trabajo, Prompt Designer, que se une a las filas de especialistas en optimización de motores de búsqueda y administración de bases de datos.

Si estamos convocando imágenes, y no solo texto, el arte de construir un buen mensaje se vuelve aún más arcano e intrincado. Tal vez una rama de la IA se ocupe de estos aspectos que son más parecidos a las ciencias naturales, como se describe en el perspicaz artículo de Subbarao Kambhampati (https://bit.ly/3Rcf5NW) sobre el tema. Bien podría ser que veamos un nuevo título de trabajo, Prompt Designer, uniéndose a las filas de especialistas en optimización de motores de búsqueda y administración de bases de datos.

Volver arriba

las musas

Hemos visto amplia evidencia del potencial y los riesgos de la escritura combinada con IA. Uno de los principales riesgos es su capacidad para crear contenido convincente que es erróneo. El algoritmo no está ajustado para la verificación de hechos, está ajustado para producir contenido creíble. Creo que no tiene medios para distinguir la ficción de la realidad. Esto hace que la creación conjunta de contenido de no ficción sea mucho más desafiante. Una salida es no usar contenido generado por IA directamente, sino usarlo como fuente de inspiración. Incluso bajo esta configuración más restrictiva, puede ser muy útil para generar ideas para el contenido que se escribirá. Los escritores solían tener problemas con la primera página en blanco; tal vez ahora solo necesitan pensar en un título y pedir inspiración para la IA.

Así es como habría comenzado este artículo, desde la perspectiva de la IA: Título: Sobre la ética de escribir con IA Autor: GPT-3

Hay algunas consideraciones éticas diferentes que se deben tener en cuenta al escribir con IA. Primero, es importante considerar el impacto de la IA en la escritura del autor. ¿Podrá la IA comprender la intención y el estilo de escritura del autor? ¿Será capaz de replicar la voz del autor? También hay consideraciones éticas en torno al impacto de la IA en el lector. ¿Podrá la IA crear una historia creíble e interesante? ¿Podrá la IA comprender las reacciones de los lectores y responder en consecuencia? Otra consideración ética es el impacto de la IA en la industria editorial. ¿Podrá la IA crear obras que sean lo suficientemente buenas para ser publicadas? Si es así, ¿conducirá esto a menos oportunidades para los autores humanos? También hay preocupaciones sobre el impacto de la IA en la sociedad. ¿Se utilizará la IA para crear propaganda o noticias falsas? ¿Se utilizará la IA para manipular las emociones de las personas? Estas son solo algunas de las consideraciones éticas a tener en cuenta al escribir con IA. Es importante tener en cuenta todos estos factores antes de escribir con una IA.

Suficiente contenido para inspirar a cualquiera.

Volver arriba

Expresiones de gratitud

Me gustaría agradecer a José Campos, Raquel Menezes y Jim Bauwens por sus comentarios y sugerencias sobre trabajos relevantes. El contenido de esta columna se mejoró con sugerencias gramaticales y contenido generado por GPT-3 (identificado en cursiva).

Bibliografía

Kurenkov, A.
Las limitaciones inherentes de GPT-3, Última semana en IAhttps://bit.ly/3CrWdE7

Kambhampati, S.
¿IA como (un Ersatz) ciencia natural? Comunicacioneshttps://bit.ly/3SS4yY4

Marrón, T. et al.
Los modelos de lenguaje son aprendices de pocas oportunidades, NeurIPS 2020, https://arxiv.org/pdf/2005.14165.pdf

Volver arriba

La Biblioteca digital es una publicación de la Association for Computing Machinery. Derechos de autor © 2022 ACM, Inc.

entradas no encontradas