A principios de 2023, WorkStory, Inc. quería llevar su producto insignia, VisualCV, al siguiente nivel y mantenerlo libre de sesgos de IA.
La empresa con sede en Vancouver ayuda a las organizaciones a gestionar múltiples currículos. Sin embargo, con el auge de la IA generativa, WorkStory quería actualizar VisualCV con capacidades de IA generativa. En su búsqueda de un proveedor de IA, la empresa de creación de currículums se encontró con Armilla, proveedor de una plataforma de IA responsable.
«Esta es la primera vez que nuestra compañía incorpora estas capacidades en nuestro producto», dijo Jade Bourelle, CEO y cofundadora de WorkStory. «Queríamos una empresa que tuviera experiencia y tecnología para asociarse con nosotros».
Armilla y AutoAlign
Desde 2019, Armilla AI ha estado ayudando a las empresas a probar aplicaciones de modelos de IA para capacidades específicas. Con el auge de la IA generativa, el proveedor con sede en Toronto presentó AutoAlign el 22 de junio.
AutoAlign es una plataforma de inteligencia artificial basada en la web que ayuda a eliminar los sesgos de género, raciales y de otro tipo de los modelos de lenguaje extenso (LLM) como GPT-3 y Google Bard. Lo hace ajustando modelos de código abierto como Meta Llama para eliminar sesgos o actuando como una barrera de seguridad para modelos que no se pueden ajustar, como GPT-3.5 o GPT-4. Al proteger los productos que no son de código abierto, las empresas pueden evitar que los modelos respondan a las solicitudes de manera dañina.
Durante una demostración para TechTarget Editorial, el CEO y cofundador de Armilla, Dan Adamson, mostró cómo se engañó a un modelo abierto para que proporcionara instrucciones para crear una sustancia peligrosa como el napalm. En cambio, para las empresas que utilizan AutoAlign como medida de protección, la plataforma evitará que un modelo produzca dicha información.
«Es bastante poderoso porque no requiere todos los conjuntos de entrenamiento; puede generar esos conjuntos de entrenamiento y los conjuntos de evaluación y hacer su propio ajuste», dijo Adamson. «Puede echar un vistazo a esos resultados y evaluarlos o echar un vistazo a los conjuntos de entrenamiento y ajustarlos. Pero el resultado final es que tiene un modelo que se ajusta a todos estos controles de alineación».
AutoAlign permite a las empresas ajustar el LLM en busca de sesgos y les permite ejecutar y comparar diferentes modelos con un conjunto de controles para determinar cuál se adapta mejor a su objetivo o propósito. Por ejemplo, algunos clientes comenzaron a ajustar un modelo pero realizaron la misma prueba de ajuste en un modelo de código abierto como Llama o RedPajama y encontraron mejores resultados, dijo Adamson.
«Es muy poderoso asegurarse de que está usando el modelo correcto», dijo.
WorkStory y AutoAlign
La capacidad de ajustar los LLM para un propósito específico hizo que AutoAlign fuera atractivo para una empresa de creación de currículums como WorkStory. La empresa obtuvo acceso a la versión beta del producto y la probó para incorporar su capacidad de IA generativa en VisualCV.
“Con eso también está el valor agregado [for us] para poner barandillas en su lugar”, dijo Bourelle. “Una de ellas es eliminar el sesgo y poder restringir las cosas que el usuario no debería estar haciendo”.
Por ejemplo, debido a que WorkStory ayuda a diferentes organizaciones a actualizar los currículos de sus empleados, el currículo generado por el sistema no debe dar una mala imagen del empleado.
«Si está creando contenido automatizado y alguien ingresa una descripción del proyecto en el que trabajó, y la IA lo está creando, debe asegurarse de que el resumen de ese proyecto no brinde información que usted no quiero tener», agregó Bourelle.
Sobreafinado o subafinado
Esta es la primera vez que nuestra empresa incorpora estas capacidades en nuestro producto. Queríamos una empresa que tuviera experiencia y tecnología para asociarse con nosotros.
Jade BourelleDirector ejecutivo, WorkStory, Inc.
Si bien Bourelle dijo que la plataforma no ha dejado de proporcionar todo lo que WorkStory quiere, Adamson señaló que ha habido momentos en que los clientes anularon o modificaron un modelo, lo que generó resultados no deseados.
Durante su demostración, mostró un modelo desafinado para el género.
Adamson envió un mensaje pidiendo a un LLM que le mostrara a los directores ejecutivos. El modelo original mostraba a todos los hombres, mientras que los modelos ajustados mostraban a todas las mujeres porque, en lugar de ser neutral en cuanto al género, estaba ajustado para estar sesgado hacia el extremo opuesto del espectro.
«Eso es parte del poder del sistema, pero significa que hay que tener mucho cuidado», dijo Adamson. «Tampoco puede aplicar las cosas de la manera correcta, lo que significa que es posible que no coloque el control de alineación correcto o que se pierda algo».
Sin embargo, a pesar de estos contratiempos, Bourelle dijo que espera que la tecnología continúe evolucionando.
Actualmente, WorkStory está determinando un modelo de costos con Armilla que dependerá del uso de volumen de la empresa de currículos. Se espera que el VisualCV nuevo y mejorado con capacidades de IA generadas se lance en el otoño.
Esther Ajao es una escritora de noticias que cubre software y sistemas de inteligencia artificial.