"Tenemos que hablarlo": Técnicas de prueba para chatbots orientados a tareas

Abstract

Los avances en inteligencia artificial generativa, especialmente en los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés), han impulsado la proliferación de agentes conversacionales (o chatbots). Estos pueden ser de propósito general (como ChatGPT) o estar adaptados a tareas específicas (como la compra de entradas o la obtención de soporte al cliente). Aunque los chatbots desempeñan un papel significativo en el ecosistema software actual, son difíciles de probar: definir pruebas relevantes y exhaustivas requiere gran esfuerzo, y establecer un oráculo flexible que se adapte a las variaciones conversacionales resulta complejo. Esto se agrava al probar chatbots basados en LLMs, ya que sus conversaciones son naturales pero impredecibles.

Para aliviar este problema, esta charla presentará un enfoque de pruebas para agentes conversacionales, que consta de dos componentes principales. En primer lugar, un simulador de usuarios altamente personalizable que genera conversaciones significativas con el chatbot bajo prueba, para los objetivos dados. En segundo lugar, un lenguaje específico de dominio para especificar y comprobar condiciones de corrección (aserciones y relaciones metamórficas) sobre las conversaciones generadas. En la charla, se discutirán aspectos prácticos de su uso, y su aplicación a chatbots desplegados en producción.