Guia Prático do LFM2-2.6B-GGUF: Usando System Prompt para Definir JSON Schema e Garantir Compatibilidade de API

1. Visão do Projeto e Vantagens Principais

O LFM2-2.6B-GGUF, desenvolvido pela Liquid AI, é um modelo de linguagem leve otimizado com quantização GGUF para implantação local. Com 2.6 bilhões de parâmetros, oferece um equilíbrio entre desempenho e eficiência, apresentando benefícios notáveis:

• Tamanho Compacto: A versão quantizada Q4_K_M ocupa aproximadamente 1.5GB.
• Baixo Consumo de Memória: A quantização INT4 permite execução suave em dispositivos com 4GB de RAM.
• Inferência Rápida: Velocidade de inferência em CPU 2-3 vezes superior a modelos de tamanho comparável.
• Pronto para Uso: Compatível diretamente com frameworks populares como llama.cpp, Ollama e LM Studio.

1.1 Especificações Técnicas

2. Guia de Implantação Rápida

2.1 Preparação do Ambiente

Certifique-se de que seu sistema atenda aos seguintes requisitos:

• Sistema Linux ou macOS (Windows requer WLS2)
• Python 3.8 ou superior
• Pelo menos 4GB de memória livre
• GPU NVIDIA recomendada (não obrigatória)

2.2 Inicialização com Um Comando

# Clonar o repositório do projeto
git clone https://github.com/LiquidAI/LFM2-2.6B-GGUF.git
cd LFM2-2.6B-GGUF

# Instalar dependências
pip install -r requirements.txt

# Iniciar a interface web
python webui.py

Após a inicialização, acesse via navegador: http://localhost:7860

3. Usando System Prompt para Controlar Saídas JSON

3.1 Controle Básico de Esquema JSON

Para forçar o modelo a porduzir JSON em uma estrutura específica, defina claramente os requisitos de formato no prompt do sistema. Exemplo para descrição de produto em e-commerce:

system_prompt = """Você é um gerador de respostas API profissional. Siga estritamente este formato JSON:
{
  "nome_produto": "Nome do Produto",
  "descricao": "Descrição detalhada (50-100 caracteres)",
  "preco": preço_em_numero,
  "caracteristicas": ["característica1", "característica2"],
  "disponivel": valor_booleano
}
Forneça apenas o JSON, sem texto adicional."""

3.2 Validação com Esquema Avançado

Para cenários de API complexos, utilize a especificação JSON Schema para garantir compatibilidade de saída:

advanced_prompt = """Sua saída deve aderir completamente a este JSON Schema:
{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "type": "object",
  "properties": {
    "status": {"type": "string", "enum": ["sucesso", "erro"]},
    "dados": {
      "type": "object",
      "properties": {
        "id_usuario": {"type": "string", "format": "uuid"},
        "criado_em": {"type": "string", "format": "date-time"}
      },
      "required": ["id_usuario"]
    }
  },
  "required": ["status"]
}"""

4. Exemplo Prático: Construindo uma Resposta de API de Clima

4.1 Definindo Restrições do Esquema

clima_schema = """{
  "type": "object",
  "properties": {
    "local": {"type": "string"},
    "temperatura": {"type": "number"},
    "unidade": {"type": "string", "enum": ["Celsius", "Fahrenheit"]},
    "condicoes": {"type": "string"},
    "previsao": {
      "type": "array",
      "items": {
        "type": "object",
        "properties": {
          "dia": {"type": "string"},
          "maxima": {"type": "number"},
          "minima": {"type": "number"}
        }
      }
    }
  },
  "required": ["local", "temperatura"]
}"""

4.2 Gerando Resposta Conforme

Na área de prompt do sistema da interface web, insira:

Você é uma API de dados climáticos, deve retornar JSON estritamente conforme este esquema:
{clima_schema}
Solicitação atual: Condições climáticas em São Paulo

O modelo produzirá uma estrutura similar a:

{
  "local": "São Paulo",
  "temperatura": 28.3,
  "unidade": "Celsius",
  "condicoes": "Ensolarado com nuvens",
  "previsao": [
    {"dia": "Segunda", "maxima": 30, "minima": 22},
    {"dia": "Terça", "maxima": 32, "minima": 24}
  ]
}

5. Técnicas de Otimização de Desempenho

5.1 Seleção de Versão Quantizada

Para alternar modelos, modifique a variável MODEL_PATH no arquivo webui.py e reinicie o serviço.

5.2 Ajuste de Parâmetros Críticos

# Parâmetros ajustáveis em webui.py
llm = Llama(
    model_path=MODEL_PATH,
    n_ctx=8192,       # Comprimento do contexto
    n_gpu_layers=1,   # Camadas com aceleração GPU
    temperature=0.7,  # Controle de criatividade (0-1)
    max_tokens=512    # Comprimento máximo da saída
)

6. Resolução de Problemas Comuns

6.1 Tratamento de Erros de Formato JSON

Se a saída do modelo não atender ao esperado, experimente:

1. Reforçar os requisitos de formato no prompt do sistema.
2. Reduzir o valor de temperatura (ex.: 0.3).
3. Incluir exemplos de saída no prompt.

6.2 Comandos de Gerenciamento do Serviço

# Verificar status
supervisorctl status lfm2-2.6b-gguf

# Reiniciar serviço
supervisorctl restart lfm2-2.6b-gguf

# Acompanhar logs
tail -f /root/LFM2-2.6B-GGUF/logs/webui.log