Les harnais valent-ils leur prix ?

Naresh Jain compare des agents de programmation développant le même service API, avec et sans outil d'analyse comportementale. Un modèle de pointe, GPT-6 Sol, a réussi toutes les évaluations externes, dans les deux cas. En revanche, un modèle optimisé en termes de coûts, GPT-6 Luna, n'a réussi que 3 fois sur 10 sans outil d'analyse comportementale, contre 10 fois avec. Bien que l'ajout de cet outil ait augmenté la consommation de jetons et le temps d'exécution pour Luna, les exécutions avec outil ont atteint la même fiabilité (10/10) que GPT-6 Sol, tout en coûtant 33 % de moins par exécution (0,273 $ contre 0,406 $). Cette expérience suggère qu'un outil d'analyse comportementale pourrait être une solution pratique pour obtenir des résultats fiables avec des modèles plus petits et optimisés en termes de coûts.

plus…