Arquitectura con LLM: utilice código tradicional cuando pueda, y LLM cuando sea necesario.

Recientemente escribí sobre el patrón de diseño "Coding Agent Sandwich" , que consiste en una serie de llamadas a LLM intercaladas entre dos fragmentos de código simple (POC). Su regla práctica es: usar POC cuando sea posible y LLM cuando sea imprescindible.

El siguiente diagrama muestra cómo el ejemplo práctico del patrón, el flujo de trabajo implement plan , aplica esta regla. El flujo de trabajo se descompone en un árbol de responsabilidades. Cada responsabilidad se implementa mediante una POC (gris) o una LLM (amarillo). Las LLM se utilizan únicamente para las responsabilidades que requieren criterio, como escribir código y corregir una compilación fallida. El flujo de trabajo cuenta con orquestación en dos niveles. La POC orquesta el flujo de trabajo general, y el agente LLM que implementa cada tarea decide qué acción tomar a continuación dentro de esa tarea.