Sind Geschirre ihren Preis wert?
- von Martin Fowler
- Veröffentlicht bei Martin Fowler
- Aufgenommen am
Naresh Jain vergleicht Programmieragenten, die denselben API-Dienst mit und ohne Verhaltens-Harness entwickeln. Das Spitzenmodell GPT-6 Sol bestand in beiden Fällen alle externen Evaluierungen. Das kostenoptimierte Modell GPT-6 Luna hingegen war ohne Harness nur in 3 von 10 Durchläufen erfolgreich, mit Harness jedoch in allen 10. Obwohl der Einsatz des Harness den Tokenverbrauch und die Laufzeit von Luna erhöhte, erreichten die mit Harness ausgestatteten Luna-Läufe dieselbe Zuverlässigkeit (10 von 10) wie GPT-6 Sol und kosteten dabei 33 % weniger pro Durchlauf (0,273 $ gegenüber 0,406 $). Dieses Experiment legt nahe, dass ein Verhaltens-Harness eine praktikable Methode sein könnte, um mit kleineren, kostenoptimierten Modellen zuverlässige Ergebnisse zu erzielen.