O que é um harness de agente de IA e o que ele faz

Harness (também chamado de scaffold) é o sistema que permite a um modelo agir como agente: processa as entradas, orquestra as chamadas de ferramenta e devolve os resultados.

Um agente trabalha em vários turnos, chama ferramentas, altera o estado do ambiente e se adapta ao que encontra. Quem organiza isso não é o modelo sozinho. Por isso a Anthropic escreve que, ao avaliar “um agente”, o que se avalia é o harness e o modelo trabalhando juntos. O Claude Code é um exemplo de harness flexível, e a Anthropic usou as peças básicas dele, pelo Agent SDK, para montar o harness de agentes de longa duração descrito adiante.

O melhor retrato do que o harness faz vem de um experimento da Anthropic com agentes que trabalham por horas ou dias. O problema de fundo é que o agente trabalha em sessões e cada sessão começa sem memória da anterior, como engenheiros que entram em turnos sem saber o que aconteceu no turno anterior. A janela de contexto é limitada e a maioria dos projetos complexos não cabe em uma só.

Mesmo com um modelo de fronteira e com compactação de contexto, a Anthropic relata que o agente, recebendo só um pedido de alto nível como “construa um clone do claude.ai”, não chegava a um aplicativo de qualidade de produção. As falhas apareceram de três formas.

1. 01

   Tentar fazer tudo de uma vez

   O agente tentava entregar o aplicativo inteiro e ficava sem contexto no meio, deixando a próxima sessão com uma funcionalidade pela metade e sem registro do que havia sido feito.

2. 02

   Declarar vitória cedo

   Mais adiante, uma nova sessão olhava o que já existia, via progresso e dava o trabalho por terminado.

3. 03

   Marcar como pronto sem testar de verdade

   O agente alterava o código e até rodava testes, mas não percebia que a funcionalidade não funcionava de ponta a ponta. Melhorou quando recebeu ferramentas de automação de navegador e a instrução de testar como um usuário.

A solução foi dividir o trabalho em duas partes. A primeira sessão usa um prompt especial, de um agente inicializador, que prepara o ambiente: um script para subir o servidor de desenvolvimento, um arquivo de progresso e um primeiro commit no git. As sessões seguintes fazem progresso em passos pequenos e deixam artefatos claros para a próxima. O sistema, as ferramentas e o harness são os mesmos; só o prompt inicial muda.

1. 01

   Lista de funcionalidades

   O inicializador escreve, a partir do pedido do usuário, uma lista de requisitos de ponta a ponta (mais de 200 no exemplo do clone), todos marcados como “falhando” no início. Os agentes só podem mudar o campo de status. A Anthropic escolheu JSON porque o modelo altera arquivos JSON de forma inadequada com menos frequência do que arquivos Markdown.

2. 02

   Uma funcionalidade por vez

   Cada sessão trabalha em uma só e termina deixando o ambiente limpo, no estado em que poderia ser integrado ao código principal.

3. 03

   Commit e nota de progresso

   Ao fim, o agente faz um commit com mensagem descritiva e escreve um resumo no arquivo de progresso. O git permite desfazer mudanças ruins e voltar a um estado que funcionava.

4. 04

   Começar lendo e testando

   Toda sessão começa vendo em que pasta está, lendo o histórico do git e o arquivo de progresso, escolhendo a funcionalidade de maior prioridade e rodando um teste básico para ver se o aplicativo ficou quebrado.

A Anthropic também registra o que ficou em aberto: não se sabe se um único agente de uso geral é o melhor em todos os contextos ou se agentes especializados, como um de testes ou um de limpeza de código, fariam melhor, e o experimento foi otimizado para desenvolvimento de aplicações web.

Esta parte é opinião da Invisible Work, não da fonte. Se o resultado de um agente depende do modelo e do harness juntos, quem compra ou contrata “um agente” está comprando os dois, e só o primeiro costuma aparecer na conversa. O harness é onde vivem decisões que o cliente sente depois: onde o agente guarda o que já fez, como ele checa que terminou, o que você consegue ver do que ele fez e o que acontece quando o modelo é trocado.

Isso se liga a dois outros guias. Para saber se um harness funciona, é preciso medir, e é para isso que servem os evals. E o risco que Gartner e Forrester apontam nos engenheiros que trabalham dentro do cliente, o de a equipe virar operadora de uma caixa-preta, vale para o harness: está descrito em O que é um Forward Deployed Engineer.

Perguntas para quem vai contratar ou construir um agente

São perguntas nossas, e não um padrão de mercado.