Critérios de Engenharia para Delegar Processos a Agentes de IA: Lições da Redução de Equipe da Vercel

Em setembro de 2026, a COO da Vercel, Jeanne DeWitt Grosser, revelou em entrevista que a equipe de desenvolvimento de vendas inbound foi reduzida de 10 para 1.25 pessoas (provavelmente FTE), alcançando 90% de automação. Custos anuais com agentes de IA na casa dos milhares de dólares. Dados secundários indicam a criação de cerca de 100 skills internas, 20 agentes com product-market fit (PMF) e a taxa de sucesso dos agentes D0 dobrou após a adoção de uma abordagem centrada em sistema de arquivos.

O foco desta análise não é organizacional, mas responde a uma questão de engenharia: Quais pré-requisitos uma operação de negócio deve atender para ser confiada a um Agente de forma estável?

2. Framework de Avaliação: As Três Condições

Dividindo o fluxo de vendas inbound em quatro fases e aplicando um filtro de viabilidade:

Fase Entrada Esquematizável? Regras Estáveis? Saída Verificável Automaticamente? Veredito
Coleta de dados do lead Domínio da empresa Busca + mapeamento Completude de campos Viável
Classificação do lead Dados coletados Regras de pontuação Atingimento de limiares Viável
Rascunho de e-mail inicial Classificação + template Preenchimento de template Validação de conformidade Viável
Decisão de acompanhamento profundo Histórico de múltiplas interações Sem regras fixas Sem critério objetivo Inviável

O critério fundamental: A conformidade da saída pode ser avaliada programaticamente após a execução?

A quarta fase não é apenas "difícil"; carece de uma função de validação computável. "Vale a pena investir mais duas semanas neste cliente?" não pode ser expresso como uma asserção lógica.

Expressão formal:

def can_delegate(task):
    return (has_input_schema(task) 
            and has_deterministic_rules(task) 
            and has_automated_verification(task))  # verify(output, ground_truth) -> bool

A ausência de regras determinísticas é a falha mais comum na prática. Instruções vagas nos prompts, como "use bom senso" ou "ajuize", tornam a saída irreprodutível.

3. Definição Mínima de Skill: Estrutura de Quatro Componentes

Uma habilidade (skill) pronta para produção requer, no mínimo, contrato de entrada, lógica de processamento, critérios de aceitação e portão humano:

identifier: prospect_data_aggregator
release: 2.0.1
threat_tier: data_mutation  # observation | data_mutation | outbound_comm | critical_action

input_contract:
  target_url: str
  mandatory_info: [legal_entity, headcount, core_technologies]
  auxiliary_info: [investment_round]

execution_logic:
  data_providers: [registry_api, domain_scraper, stack_analyzer]
  scoring_rules:
    - match_found(core_technologies, DESIRED_TECH) -> bonus += 30
    - within_range(headcount, 50, 500) -> bonus += 20
  error_handling:
    unavailable_data: set_as_null  # Crucial: nunca inventar dados
    total_failure: escalate_to_operator

quality_assurance:
  minimum_coverage: 80%
  zero_hallucination: true  # Dados não encontrados devem ser nulos
  audit_trail_enabled: true # Rastreamento de fonte para cada campo
  test_corpora_size: 30     # Casos de teste para regressão

manual_override:
  active: false

Três pontos críticos de falha em implementações reais:

  1. Ausência de error_handling: Quando a busca falha, o comportamento padrão do LLM é alucinar em vez de retornar nulo.
  2. Ausência de zero_hallucination: Proibir explicitamente a fabricação de informações é obrigatório.
  3. Ausência de test_corpora_size: Alterar regras de pontuação sem uma suíte de regressão é alterar às cegas.

4. Por que a Abordagem Centrada em Arquivos Aumenta a Taxa de Sucesso

A taxa de sucesso do agente D0 dobrou ao trocar o contexto total no prompt por uma abordagem baseada em sistema de arquivos. A justificativa de engenharia é sólida:

Abordagem em Prompt (Stateless):
  Requisição -> LLM gera tudo de uma vez -> Resultado
  · Estados intermediários são caixas pretas
  · Falhas exigem reprocessamento total
  · Acúmulo de erros em cadeias longas

Abordagem Baseada em Arquivos (Stateful):
  Requisição -> state.json -> Leitura/Escrita por etapa -> Artefatos salvos em disco -> Resultado
  · Estados intermediários são inspecionáveis
  · Suporta retomada a partir do ponto de falha (sem refazer N-1 etapas)
  · Ponto de partida para debugging acessível

Para tarefas de cadeia longa, a persistência de estado é a diferença entre sucesso e falha. Como benefício adicional, auditoria e reversão tornam-se viáveis.

5. Classificação de Risco e Intervenção Humana

Inspirado na prática da Anthropic de exigir aprovação humana para fluxos de envio, publicação e pagamento, portões de segurança devem ser classificados pela reversibilidade da ação:

RISK_MATRIX = {
    "observation":      {"requires_approval": False, "details": "Leitura, resumo"},
    "data_mutation":    {"requires_approval": False, "details": "Rascunhos, atualização de DB interno"},
    "outbound_comm":    {"requires_approval": True,  "details": "Envio de e-mails, publicações"},
    "critical_action":  {"requires_approval": True,  "double_check": True,
                         "details": "Pagamentos, exclusões, contratos"},
}

def process_task(agent, skill, payload, supervisor):
    output = agent.execute(skill, payload)
    if not skill.check_quality(output):
        return Outcome.VALIDATION_ERROR
    if RISK_MATRIX[skill.threat_tier]["requires_approval"]:
        if not supervisor.authorize(output):
            return Outcome.BLOCKED
    return persist(output)

Lógica de classificação: A reversibilidade da ação somada ao tempo para detecção do dano. Ações reversíveis com dano imediato podem ser liberadas; ações irreversíveis ou com dano de detecção tardia exigem intervenção. Danos tardios são particularmente perigosos: a automação no atendimento pode reduzir o tempo médio de resolução (métrica excelente), mas destruir a satisfação do cliente meses depois — um declínio invisível nas métricas imediatas.

6. Roteiro de Implementação e a Barreira Comportamental

1. Selecionar um fluxo -> granularizar ao máximo -> esboçar skill v0.1
2. Processar 30 casos históricos, medindo: tempo, precisão, taxa de intervenção
3. Ajustar regras e tratamento de erros com base nas falhas, rodar regressão
4. Ao atingir o alvo, desativar o portão humano
5. Replicar o método para o próximo fluxo, evitando implementar tudo de uma vez

Barreira comportamental: Pedir a funcionários que documentem seus próprios processos para serem substituídos vai contra seus interesses. Sem mecanismos de compensação (liderança dando o exemplo, garantia de realocação, skill writing como métrica de desempenho), a documentação será superficial. As regras escritas divergirão da realidade executada, invalidando qualquer automação posterior.

7. Limitações dos Dados

  • Métricas da Vercel (D0, 100 skills, 20 agentes) são de fonte secundária, sem confirmação oficial.
  • O valor 1.25 provavelmente representa FTE (Full-Time Equivalent), não cabeças físicas.
  • Dados públicos cobrem apenas custos, sem divulgação de impacto nas taxas de conversão ou qualidade.
  • Os blocos de código são ilustrativos, não representam código-fonte real de nenhum produto.

Tags: Agentes de IA engenharia de prompts Automação de Processos LLM vercel

Publicado em 10-27 21:50