Vale a pena o custo dos cintos de segurança?

Naresh Jain compara agentes de codificação que criam o mesmo serviço de API com e sem um mecanismo de controlo comportamental. Um modelo de topo, o GPT-6 Sol, passou todas as avaliações externas, independentemente da forma de execução. Já um modelo otimizado para o custo, o GPT-6 Luna, obteve sucesso em apenas 3 em 10 execuções sem o mecanismo de controlo comportamental e em todas as 10 com o mecanismo. Embora a adição do motor tenha aumentado a utilização de tokens e o tempo de execução para o Luna, as execuções do Luna com o motor alcançaram a mesma fiabilidade de 10 em 10 que o GPT-6 Sol, com um custo 33% mais baixo por execução (0,273 dólares contra 0,406 dólares). Esta experiência sugere que um mecanismo de controlo comportamental pode ser uma forma prática de obter resultados fiáveis de modelos mais pequenos e otimizados para o custo.

mais…