Architecture avec des LLM : utilisez du code classique quand c’est possible, et des LLM quand c’est indispensable.

J'ai récemment écrit sur le « sandwich d'agents de codage » , un modèle de conception pour un framework d'agents de codage. Ce modèle consiste en une généreuse portion d'appels LLM prise en sandwich entre deux portions de code classique (POC). Sa règle pratique est la suivante : utilisez le POC autant que possible, et les LLM uniquement lorsque c'est indispensable.

Le diagramme suivant illustre comment l'exemple concret du modèle, le flux de travail implement plan , applique cette règle. Le flux de travail est décomposé en une arborescence de responsabilités. Chaque responsabilité est implémentée soit par un POC (gris), soit par un LLM (jaune). Les LLM sont utilisés uniquement pour les responsabilités nécessitant un jugement, comme l'écriture de code et la correction d'une compilation défaillante. L'orchestration du flux de travail s'effectue à deux niveaux. Le POC orchestre le flux de travail global, et l'agent LLM qui implémente chaque tâche décide de l'action suivante à entreprendre au sein de cette tâche.