Imagine automatizar ChatGPT para recuperar la información del contrato que le interesa (términos como renovación automática, términos de pago, derechos de rescisión) en lugar de pedir a los administradores de contratos o abogados que hojeen los contratos para encontrar la misma información. El potencial de ahorro de costos es espectacular.
Así que lo probé. Usando GPT-4, alimenté a ChatGPT con un par de contratos de proveedores disponibles públicamente y le hice un montón de preguntas que normalmente le haría a un administrador de contratos o a un abogado como parte del proceso de revisión de un contrato de proveedor.
- ¿El contrato se renueva automáticamente?
- ¿El contrato tiene recargos por pagos atrasados?
- ¿Cuáles son las condiciones de pago, neto 30?
- ¿El contrato tiene terminación por conveniencia?
- ¿El contrato da alguna garantía del producto?
- ¿El contrato transfiere IP? ¿Los límites de responsabilidad son mutuos?
- ¿Los límites de responsabilidad excluyen la indemnización por propiedad intelectual?
- ¿Cuál es la ley que rige?
- ¿El proveedor procesa datos personales?
- ¿Para qué utiliza el proveedor los datos de los clientes?
Esto es lo que encontré.
alucinaciones
El modelo a veces encuentra cosas en el contrato que no están allí.
Por ejemplo, cuando se le preguntó qué dice el contrato sobre las restricciones de uso, GPT-4 encontró un «Anexo B – Política de uso aceptable» que no se encontraba en ninguna parte del contrato real que proporcioné.
Cuando se le solicitó, ChatGPT reconoció su error.
Lapsos
La modelo a veces no puede encontrar cosas en el contrato cuando están ahí.
Por ejemplo, cuando se le preguntó sobre la ley aplicable, GPT-4 afirmó que el contrato no incluía información sobre la ley aplicable, a pesar de que las palabras «ley aplicable» aparecían palabra por palabra en el contrato.
Cuando se le solicitó, ChatGPT, nuevamente, reconoció su error. Lo que sigue es nuestro intercambio.
falta de precisión
El modelo a veces confunde frases o conceptos similares, pero diferentes.
Por ejemplo, cuando un límite de responsabilidad contractual excluye los reclamos de PI directos entre las partes pero no los reclamos de PI de terceros (es decir, las obligaciones de indemnización de PI), el modelo no puede separarlos. Su análisis recurre a definiciones “generales” y “típicas” más que al propio texto.
Cuando se le solicitó, ChatGPT reconoció su error y perfeccionó su análisis.
Potencial
A pesar de sus deficiencias, el modelo muestra potencial. A veces responde correctamente. Cuando lo hace, es bastante impresionante y útil.
Por ejemplo, cuando se le preguntó acerca de la recopilación y el uso de datos por parte del proveedor, el modelo brindó respuestas precisas y completas, extrayendo y citando diferentes secciones del contrato.
Esto es valioso porque incluso para los revisores de contratos experimentados, a menudo no es obvio dónde buscar para encontrar información sobre la recopilación y el uso de datos. A menudo, varias secciones diferentes abordan los diversos tipos de datos recopilados junto con los diferentes propósitos y usos. ChatGPT puede seleccionar y sintetizar información de diferentes secciones, mucho más rápido que la revisión manual.
comida para llevar
GPT-4 aún no es confiable para la revisión de contratos. Es como un revisor de contratos malo o principiante que a veces pierde cosas, se equivoca o simplemente se las inventa.
Pero, cuando hizo las cosas bien, pudo recopilar información enterrada en múltiples lugares más rápido que un revisor humano, generalmente en un minuto.
Parte de la dificultad de usar ChatGPT para la revisión de contratos hoy en día es que no está claro qué tipo de preguntas responde ChatGPT bien o mal. No encontré ningún patrón para los tipos de preguntas que ChatGPT respondió correctamente o incorrectamente. ChatGPT es impredecible.
Quizás se pregunte si una mejor ingeniería rápida produciría mejores respuestas. Esto es posible. Cuando probé variaciones en la elección de palabras y la redacción de mis preguntas, los resultados no cambiaron significativamente.
Dos estrategias, aunque ninguna infalible, mejoraron la precisión de GPT-4.
Primero, puede solicitar a ChatGPT que verifique dos veces sus respuestas preguntando: «¿Está seguro?» Al hacerlo, ChatGPT a menudo corrigía sus errores. Esta táctica funcionó algunas veces, aunque no siempre.
En segundo lugar, puede utilizar una aplicación de IA diseñada específicamente para analizar contratos. Mi primera experimentación con un programa como este mostró mejores resultados que ChatGPT, pero aún tenía alucinaciones y falta de precisión.
Este artículo no refleja necesariamente la opinión de Bloomberg Industry Group, Inc., el editor de Bloomberg Law y Bloomberg Tax, ni de sus propietarios.
Información del autor
Tammy Zhu es una abogada tecnológica que ayuda a las empresas a crear y utilizar productos de IA y escalar funciones comerciales. Es vicepresidenta legal de Sourcegraph, Inc.
Escriba para nosotros: Directrices para autores