Architektur mit LLMs: Verwenden Sie nach Möglichkeit einfachen alten Code, LLMs nur dann, wenn es unbedingt nötig ist.

Kürzlich habe ich über das „Coding-Agent-Sandwich“ geschrieben, ein Entwurfsmuster für ein Coding-Agent-Framework. Das Muster besteht aus einer Füllung aus LLM-Aufrufen, die zwischen zwei Abschnitten mit einfachem Code (POC) eingebettet ist. Die praktische Regel lautet: Verwenden Sie POC, wenn möglich, und LLMs, wenn es unbedingt nötig ist.

Das folgende Diagramm veranschaulicht die Anwendung dieser Regel im Beispiel des Musters, dem Workflow implement plan Der Workflow ist in eine Verantwortlichkeitsstruktur unterteilt. Jede Verantwortlichkeit wird entweder mithilfe eines POC (grau) oder eines LLM (gelb) implementiert. LLMs werden nur für Verantwortlichkeiten eingesetzt, die Urteilsvermögen erfordern, wie z. B. das Schreiben von Code und das Beheben eines fehlerhaften Builds. Der Workflow wird auf zwei Ebenen orchestriert. Der POC orchestriert den gesamten Workflow, und der LLM-Agent, der jede Aufgabe implementiert, entscheidet, welche Aktion innerhalb dieser Aufgabe als Nächstes ausgeführt wird.