Nos últimos anos, a engenharia de prompts tornou-se uma competência essencial para interagir com modelos de linguagem de grande porte. O projeto Learning-Prompt reúne recursos abertos sobre esse tema, com destaque para a técnica de Cadeia de Pensamento com Poucos Exemplos (Few‑Shot Chain of Thought). Embora o uso de poucos exemplos tradicionais (Few‑Shot Prompting) já ajude o modelo a seguir um padrão, ele falha em tarefas que exigem raciocínio complexo.
Problema comum: Ao pedir que o modelo resolva um problema de matemática fornecendo apenas perguntas e respostas, ele frequentemente acerta o formato mas erra o cálculo. Isso acontece porque a máquina aprende a repetir o padrão, não o processo de raciocínio.
O que é a Cadeia de Pensamento com Poucos Exemplos?
Proposta por Wei e colaboradores em 2022, essa técnica consiste em incluir no exemplo não só a pergunta e a resposta, mas toda a sequência de passos lógicos que levam à solução. Assim, o modelo internaliza a forma de pensar e a reproduz em novos problemas.
Comparação entre abordagens
| Característica | Poucos Exemplos Tradicional | Cadeia de Pensamento com Poucos Exemplos |
|---|---|---|
| Conteúdo do exemplo | Pergunta + resposta final | Pergunta + passos de raciocínio + resposta final |
| Saída do modelo | Resposta direta | Explicação passo a passo + resposta |
| Precisão em tarefas complexas | Moderada | Significativamente maior |
| Interpretabilidade | Baixa | Alta |
| Aplicação típica | Tarefas simples | Raciocínio matemático, lógico, simbólico |
Exemplo prático: soma de números ímpares
Abordagem tradicional (falha)
Os números ímpares deste grupo somam um número par: 4, 8, 9, 15, 12, 2, 1.
R: A resposta é Falso.
Os números ímpares deste grupo somam um número par: 17, 10, 19, 4, 8, 12, 24.
R: A resposta é Verdadeiro.
Os números ímpares deste grupo somam um número par: 15, 32, 5, 13, 82, 7, 1.
R: A resposta é Verdadeiro. ❌ (erro)
Cadeia de Pensamento (correta)
Os números ímpares deste grupo somam um número par: 4, 8, 9, 15, 12, 2, 1.
R: Somando todos os ímpares (9, 15, 1) obtemos 25. A resposta é Falso.
Os números ímpares deste grupo somam um número par: 17, 10, 19, 4, 8, 12, 24.
R: Somando todos os ímpares (17, 19) obtemos 36. A resposta é Verdadeiro.
Os números ímpares deste grupo somam um número par: 16, 11, 14, 4, 8, 13, 24.
R: Somando todos os ímpares (11, 13) obtemos 24. A resposta é Verdadeiro.
Os números ímpares deste grupo somam um número par: 17, 9, 10, 12, 13, 4, 2.
R: Somando todos os ímpares (17, 9, 13) obtemos 39. A resposta é Falso.
Os números ímpares deste grupo somam um número par: 15, 32, 5, 13, 82, 7, 1.
R: Somando todos os ímpares (15, 5, 13, 7, 1) obtemos 41. A resposta é Falso. ✅
Elementos‑chave para implementação
- Exibir o raciocínio de forma explícita: Cada exemplo deve conter a sequência de operações lógicas.
- Manter consistência de formato: Use a mesma estrutura de separadores, pontuação e ordem.
- Surpreendentemente, rótulos incorretos ainda funcionam: Pesquisas de Sewon Min et al. mostram que, mesmo com respostas erradas nos exemplos, o modelo aprende o padrão de saída. Exemplo:
Adorei o novo filme do Batman! // Negativo ❌ (deveria ser Positivo)
Isso é ruim // Positivo ❌ (deveria ser Negativo)
Isso é bom // Negativo ❌ (deveria ser Positivo)
Que show maravilhoso! // Positivo ✅
O modelo entende que, após "//", deve vir um rótulo de sentimento, mesmo que os exemplos tenham erros. A consistência do formato supera a exatidão dos rótulos individuais.
Melhores práticas
- Quantidade de exemplos: 3 a 5 exemplos bem construídos são suficientes.
- Profundidade do raciocínio: Cada exemplo deve cobrir todos os passos.
- Unifromidade: Todos os exemplos devem ter a mesma formatação.
- Nível de complexidade: A dificuldade dos exemplos deve ser equivalente à do problema‑alvo.
- Tratamento de erros: Se um exemplo tiver resposta errada, a formatação consistente ainda pode gerar resultados úteis.
Limitações técnicas
- Tamanho do modelo: A técnica é eficaz apenas em modelos com mais de 100 bilhões de parâmetros.
- Desempenho: A geração passo a passo exige mais processamento e aumenta a latência.
- Prevenção de erros: Verifique a lógica dos exemplos; teste em difeerntes cenários; monitore a precisão e o tempo de resposta periodicamente.
Direções futuras
A Cadeia de Pensamento com Poucos Exemplos continua evoluindo. Possíveis avanços incluem: geração automática de exemplos de raciocínio por IA, aplicação multimodal (imagens, áudio), adaptação em tempo real baseada em feedback do usuário e integração com bases de conhecimento externas para ampliar a capacidade de inferência.