Los grandes modelos lingüísticos y la ley

CodeX: el Centro de Informática Legal de Stanford y la empresa de tecnología legal Casetext anunciaron recientemente lo que llamaron «un momento decisivo». Los colaboradores de la investigación habían implementado GPT-4, el Modelo de Lenguaje Grande (LLM) de última generación, para realizar y aprobar el Examen Uniforme de Abogados (UBE). GPT-4 no solo pasó chirriando. Aprobó la parte de opción múltiple del examen y ambos componentes de la parte escrita, superando no solo todos los puntajes anteriores de LLM, sino también el puntaje promedio de los examinados de la barra de la vida real, con una puntuación en el percentil 90.

El director de innovación y cofundador de Casetext, Pablo Arredondo, JD ’05, que es miembro de Codex, colaboró ​​con los profesores afiliados a CodeX, Daniel Katz y Michael Bommarito, para estudiar el rendimiento de GPT-4 en el UBE. En un trabajo anterior, Katz y Bommarito descubrieron que un LLM lanzado a fines de 2022 no pudo aprobar la parte de opción múltiple del UBE. «GPT-4 Passes the Bar Exam», su documento de trabajo publicado recientemente en el Diario electrónico SSRN, llamó rápidamente la atención nacional. Incluso The Late Show con Steven Colbert tuvo un poco de diversión cómica con la noción de robo-abogados que publican anuncios de televisión nocturnos en busca de clientes de resbalones y caídas.

Sin embargo, para Arredondo y sus colaboradores, esto es un asunto serio. Si bien GPT-4 por sí solo no es suficiente para el uso profesional de los abogados, dice, es el primer modelo de lenguaje grande «lo suficientemente inteligente» para impulsar productos de IA de nivel profesional.

Aquí, Arredondo analiza lo que significa este avance en IA para la profesión legal y para la evolución de productos como los que está desarrollando Casetext.

¿Qué avances tecnológicos explican el gran salto de GPT-3 a GPT-4 con respecto a su capacidad para interpretar texto y su facilidad con el examen de la barra?

Desde una perspectiva amplia, los avances tecnológicos detrás de esta nueva generación de IA comenzaron hace 80 años cuando se crearon los primeros modelos computacionales de neuronas (McCulloch-Pitts Neuron). Los avances recientes, incluido GPT-4, han sido impulsados ​​​​por redes neuronales, un tipo de IA que se basa libremente en neuronas e incluye procesamiento de lenguaje natural. Sería negligente no señalarles el fantástico artículo del profesor de Stanford Chris Manning, director del Laboratorio de Inteligencia Artificial de Stanford. Las primeras páginas proporcionan una historia fantástica que conduce a los modelos actuales.

Usted dice que las tecnologías computacionales han tenido problemas con el procesamiento del lenguaje natural y las tareas complejas o específicas de dominio como las de la ley, pero con las capacidades avanzadas de los grandes modelos de lenguaje, y GPT-4, buscó demostrar el potencial en la ley. ¿Puedes hablar sobre los modelos de lenguaje y cómo han mejorado, específicamente para el derecho? Si es un modelo de aprendizaje, ¿eso significa que cuanto más se usa esta tecnología en la profesión legal (o cuanto más se toma el examen de la barra), mejor se vuelve/más útil es para la profesión legal?

Los grandes modelos de lenguaje están avanzando a un ritmo vertiginoso. Un ejemplo vívido es el resultado del estudio en el que trabajé con los profesores de derecho y los becarios de Stanford CodeX Dan Katz y Michael Bommarito. Descubrimos que mientras que GPT-3.5 falló la barra, anotando aproximadamente en el percentil 10 inferior, GPT-4 no solo pasó sino que se acercó al percentil 90. Estas ganancias están impulsadas por la escala de los modelos subyacentes más que por cualquier ajuste fino de la ley. Es decir, nuestra experiencia ha sido que GPT-4 supera a los modelos más pequeños que han sido ajustados por ley. También es fundamental desde el punto de vista de la seguridad que el modelo general no retenga, y mucho menos aprenda de, la actividad y la información de los abogados.

¿Qué tecnologías son las próximas y cómo afectarán la práctica del derecho?

La tasa de progreso en esta área es notable. Todos los días veo o escucho sobre una nueva versión o aplicación. Una de las áreas más emocionantes es algo llamado IA agente, donde los LLM (modelos de lenguaje grande) se configuran para que puedan «ellos mismos» elaborar estrategias sobre cómo llevar a cabo una tarea y luego ejecutar esa estrategia, evaluando las cosas a lo largo del proceso. forma. Por ejemplo, podría pedirle a un agente que organice el transporte para una conferencia y, sin ninguna indicación o ingeniería específica, se encargaría de conseguir un vuelo (comprobando varias aerolíneas si es necesario) y alquilar un automóvil. Puede imaginar aplicar esto a tareas legales sustantivas (es decir, primero reuniré testimonios de apoyo de una declaración, luego revisaré las respuestas de descubrimiento para encontrar más apoyo, etc.).

Otra área de crecimiento es «mutli-modal», donde vas más allá del texto y doblas cosas como la visión. Esto debería permitir cosas como una IA que pueda comprender/describir cifras de patentes o comparar testimonios escritos con evidencia en video.

Los grandes bufetes de abogados tienen ciertas ventajas y espero que quieran mantener esas ventajas con este tipo de tecnología evolutiva/de aprendizaje. ¿Espera que la IA nivele el campo?

Tecnología como esta definitivamente nivelará el campo de juego; de hecho, ya lo es. Espero que esta tecnología nivele y eleve la profesión a la vez.

Entonces, ¿la tecnología impulsada por IA, como los LLM, puede ayudar a cerrar la brecha de acceso a la justicia?

Absolutamente. De hecho, esto podría ser lo más importante que hacen los LLM en el campo del derecho. La regla primera de las Reglas Federales de Procedimiento Civil exhorta a la resolución de los asuntos «justa, rápida y económica». Pero si le preguntas a la mayoría de las personas qué tres palabras vienen a la mente cuando piensan en el sistema legal, es poco probable que «rápido» y «económico» sean las respuestas más comunes. Al hacer que los abogados sean mucho más eficientes, los LLM pueden ayudar a los abogados a aumentar el acceso a la justicia al empoderarlos para atender a más clientes.

Hemos leído sobre la espada de doble filo de la IA. ¿Tienes alguna gran preocupación? ¿Nos estamos acercando a un momento «Robocop»?

Mi punto de vista, y el punto de vista de Casetext, es que esta tecnología, tan poderosa como es, aún requiere la supervisión de un abogado. No es un abogado robot, sino una herramienta muy poderosa que permite a los abogados representar mejor a sus clientes. Creo que es importante distinguir entre las preguntas a corto y largo plazo en los debates sobre IA.

El comentario más dramático que escuchas (p. ej., la IA conducirá a la utopía, la IA conducirá a la extinción humana) es sobre la «inteligencia general artificial» («AGI»), que la mayoría cree que está a décadas de distancia y que no se puede lograr simplemente ampliando la escala existente. métodos. La discusión a corto plazo, sobre cómo usar la tecnología actual de manera responsable, generalmente es más mesurada y donde creo que la profesión legal debería enfocarse en este momento.

En un taller reciente que realizamos en la conferencia FutureLaw de CodeX, el profesor Larry Lessig planteó varias inquietudes a corto plazo sobre cuestiones como el control y el acceso. Los socios gerentes de firmas de abogados nos han preguntado qué significa esto para la capacitación de los asociados; ¿Cómo da forma a la próxima generación de abogados en un mundo donde una gran parte del trabajo de los abogados puede delegarse en AI? Este tipo de preguntas, más que las profecías apocalípticas, son las que ocupan mi pensamiento. Dicho esto, me alegro de que algunas personas se centren en las implicaciones a largo plazo.