O Problema da Pontuação Inconsistente em Modelos Tradicionais

Sistemas convencionais de correspondência semântica frequentemente atribuem pontuações elevadas a textos completamente desconexos (como "bateria do iPhone" e "receita de ensopado") ou pontuações baixas a pares altamente relacionados que utilizam sinônimos ou abreviações. Essa falha ocorre porque a maioria dos coidficadores de texto genéricos adota a arquitetura de codificação independente seguida por similaridade de cosseno. Eles essencialmente rotulam as sentenças isoladamente e comparam os rótulos.

O idioma chinês é altamente contextual, dependendo de estrutura, omissões e contrações. Quando um modelo não foi exposto a termos como "Objetivo Duplo Carbono" ou "Geração Z", ou não compreende a relação estrutural entre "Ator de Stand-up" e "Profissional de Stand-up", ele recorre à correspondência literal, resultando em falsos positivos e negativos.

O sistema de correspondência semântica StructBERT foi projetado para resolver esse problema, utilizando uma arquitetura siamesa que modela o par de sentenças em conjunto. A avaliação a seguir foca em três cenários críticos de falha: jargões verticais, gírias da internet e abreviações. Os testes utilizaram o modelo iic/nlp_structbert_siamese-uninlu_chinese-base implantado localmente, sem qualquer ajuste fino.

Metodologia de Teste: Foco na Concordância Humana

Foram preparados 96 pares de sentenças chinesas, anotados por engenheiros de PLN em três categorias: equivalência forte, correlação fraca e ausência de relação. O conjunto de dados foi distribuído da seguinte forma: 32 pares com termos de cauda longa (setores médico, financeiro, legal), 32 pares com neologismos e abreviações (gírias de 2022-2024 e siglas setoriais), e 32 pares de expressões convencionais como linha de base.

A execução ocorreu em ambiente CPU local, utilizando os limites padrão: similaridade alta (≥0.7), média (0.3–0.69) e baixa (<0.3). Nenhum parâmetro foi ajustado.

Resultados em Cenários Complexos

Jargões Verticais: Compreensão Além dos Caracteres

Modelos tradicionais frequentemente classificam "Licença de Registro de Dispositivo Médico" e "Licença de Produção de Drogas" como altamente similares devido ao caractere "Licença", mas falham ao avaliar "Implante Ortopédico" e "Prótese Artificial de Articulação", que não co-ocorrem frequentemente nos dados de treinamento. O StructBERT se comporta de forma distinta:

A arquitetura siamesa força o modelo a observar ambas as sentenças simultaneamente, focando nas correspondências de papéis sintáticos e dependências contextuais em vez de sobreposição de caracteres. O modelo reconhece a equivalência semântica entre "taxa de decaimento" e "proporção de queda". Nos 32 pares de cauda longa, a taxa de recall do StructBERT para equivalência forte atingiu 94.1%, enquanto a similaridade média de pares irrelevantes caiu para 0.16.

Neologismos e Gírias: Inferência Estrutural

Expressões recentes não possuem definições de dicionário estabelecidas. O StructBERT utiliza um mecanismo de pré-treinamento estrutural que aprende padrões morfológicos chineses, permitindo inferências baseadas na estrutura de caracteres e frases.

Abreviações e Siglas: Desambiguação Contextual

Abreviações são altamente ambíguas. "NLP" pode significar Processamento de Linguagem Natural na computação ou um termo médico em outra área. A codificação conjunta do StructBERT ajusta dinamicamente as representações vetoriais com base no contexto adjacente.

Um detalhe notável: ao comparar "Chip de IA" e "Chip de Inteligência Artificial", a similaridade é 0.89. No entanto, ao comparar "Chip de IA" e "Chip de Artificial Intelligence", a similaridade cai para 0.52, provando que o modelo compreende as convenções de abreviação no contexto chinês, em vez de realizar substituição mecânica de tokens.

Interface Web e Extração de Vetores

O sistema oferece uma interface Web prática, iniciada via python server.py e acessível em http://localhost:6007, com três módulos principais:

Cálculo de Similaridade

Ao inserir dois textos e clicar em calcular, o resultado é retornado em milissegundos, com código de cores base nos limiares padrão (verde para alto, amarelo para médio, cinza para baixo). Por exemplo, ao comparar "Projeto anti-vento para suporte fotovoltaico" e "Cálculo de resistência ao vento para estrutura de painel solar", o sistema retorna 0.81 (verde), sugerindo fortemente a categorização conjunta.

Extração de Características Unitárias

Insira uma sentença como "Esta ferramenta SaaS suporta integração API e fluxos de trabalho customizáveis" e os primeiros 20 componentes do vetor são exibidos. O vetor completo de 768 dimensões pode ser copiado para a área de transferência e utilizado diretamente em Python:

import numpy as np
embedding = np.array([0.12, -0.45, 0.88, ...])  # vetor pronto para uso

Processamento em Lote

Suporta a inserção de múltiplas linhas (mais de 500 por execução). A saída é um CSV formatado com as colunas text e vector, onde a coluna de vetores é uma string JSON, facilitando a importação via Pandas:

dataset = pd.read_csv("resultados_lote.csv")
dataset['vector'] = dataset['vector'].apply(json.loads)

Estabilidade e Prontidão para Produção

O sistema foi construído com resiliência em mente para ambientes de produção:

• Ambiente Isolado: Configuração explícita com PyTorch 2.0.1 e Transformers 4.30.2, evitando falhas de tokenização por incompatibilidade de versões.
• Otimização de VRAM: Ativação padrão de float16 em GPU, reduzindo o consumo de memória de 3.2GB para 1.5GB, viabilizando execução fluida em uma RTX 3060.
• Tratamento de Anomalias: Entradas vazias, excessivamente longas (>512 caracteres) ou com caracteres inválidos são automaticamente truncadas ou limpas, retornando vetores válidos em vez de exceções.
• API RESTful: Disponibiliza os endpoints POST /similarity e POST /encode, retornando JSON padrão:

curl -X POST http://localhost:6007/similarity \
  -H "Content-Type: application/json" \
  -d '{"query1":"Cláusula de penalidade contratual","query2":"Acordo de indenização"}'

Sob teste de estresse contínuo de 72 horas a 5 requisições por segundo, o uso da CPU estabilizou em 45%±3%, sem vazamento de memória ou timeouts de conexão. É uma ferramenta robusta projetada para operação contínua e estável em servidores de produção.