¿Merecen la pena los arneses?
- por Martin Fowler
- Publicado en Martin Fowler
- Seleccionado el
Naresh Jain compara agentes de codificación que construyen el mismo servicio API con y sin un arnés de comportamiento. Un modelo de vanguardia, GPT-6 Sol, superó todas las evaluaciones externas en ambos casos. Sin embargo, un modelo optimizado en costos, GPT-6 Luna, solo tuvo éxito en 3 de 10 ejecuciones sin arnés y en las 10 con el arnés. Si bien agregar el arnés aumentó el uso de tokens y el tiempo de ejecución para Luna, las ejecuciones de Luna con el arnés lograron la misma confiabilidad de 10 de 10 que GPT-6 Sol, con un costo un 33 % menor por ejecución ($0.273 frente a $0.406). Este experimento sugiere que un arnés de comportamiento podría ser una forma práctica de obtener resultados confiables de modelos más pequeños y optimizados en costos.