Architectuur met LLM's: gebruik gewone code wanneer dat kan, en LLM's wanneer dat nodig is.

Ik schreef onlangs over de 'Coding agent sandwich' , een ontwerppatroon voor een coding agent-harness. Het patroon bestaat uit een smakelijke vulling van LLM-aanroepen, ingeklemd tussen twee stukken gewone code (POC). De praktische regel is: gebruik POC wanneer dat kan, LLM's wanneer dat nodig is.

Het volgende diagram laat zien hoe het uitgewerkte voorbeeld van het patroon, de implement plan workflow , deze regel toepast. De workflow is opgedeeld in een boomstructuur van verantwoordelijkheden. Elke verantwoordelijkheid wordt geïmplementeerd met behulp van POC (grijs) of een LLM (geel). LLM's worden alleen gebruikt voor verantwoordelijkheden die een oordeel vereisen, zoals het schrijven van code en het repareren van een mislukte build. De workflow heeft orkestratie op twee niveaus. POC orkestreert de algehele workflow en de LLM-agent die elke taak implementeert, bepaalt welke actie binnen die taak vervolgens moet worden uitgevoerd.