Zijn harnassen de kosten waard?
- door Martin Fowler
- Gepubliceerd op Martin Fowler
- Toegevoegd op
Naresh Jain vergelijkt codeeragenten die dezelfde API-service bouwen met en zonder een gedragsgestuurd testsysteem. Een grensmodel, GPT-6 Sol, slaagde in beide gevallen voor elke externe evaluatie. Een kostengeoptimaliseerd model, GPT-6 Luna, slaagde echter slechts in 3 van de 10 runs zonder testsysteem en in alle 10 runs met het testsysteem. Hoewel het toevoegen van het testsysteem het tokengebruik en de looptijd voor Luna verhoogde, behaalden de runs met het testsysteem dezelfde betrouwbaarheid van 10 op 10 als GPT-6 Sol, terwijl de kosten per run 33% lager waren ($0,273 versus $0,406). Dit experiment suggereert dat een gedragsgestuurd testsysteem een praktische manier kan zijn om betrouwbare resultaten te verkrijgen van kleinere, kostengeoptimaliseerde modellen.