Introdução ao Projeto

O CDial-GPT representa um modelo de diálogo pré-treinado em escala para textos curtos em chinês, desenvolvido pelo grupo de pesquisa em Inteligência Artificial Interativa da Uinversidade de Tsinghua (CoAI). Este projeto utiliza a arquitetura GPT e passou por um processo de pré-treinamento em um conjunto de dados de romances chineses e no dataset LCCC.

O LCCC (Large-scale Chinese Conversation Dataset) consiste em uma coleção rigorosamente processada de diálogos chineses, disponível em duas versões: base com aproximadamente 6,8 milhões de conversas multipartes e large com mais de 12 milhões. Esta base de dados permite que pesquisadores apliquem diretamente o modelo para geração de diálogos, aproveitando o avanço significativo proporcionado pelos modelos de linguagem pré-treinados baseados em Transformer no campo de diálogo aberto.

Configuração do Ambiente

Preparação Inicial

Antes de iniciar, verifique a instalação do Git e Python no sistema. Em seguida, realize o clone do repositório e instale as dependências necessárias:

git clone https://github.com/thu-coai/CDial-GPT.git
cd CDial-GPT
pip install -r requirements.txt

Obtenção do Modelo Pré-treinado

O modelo pré-treinado está disponível no Hugging Face. Utilize os comandos abaixo para download:

git lfs install
git clone https://huggingface.co/thu-coai/CDial-GPT_LCCC-large

Treinamento do Modelo

Para executar o treinamento com o modelo base, utilize o seguinte comando:

python train.py --pretrained --model_checkpoint thu-coai/CDial-GPT_LCCC-large --data_path data/STC.json --scheduler linear

Exemplos de Implementação

Geração de Diálogos

O CDial-GPT permite a geração de diálogos coerentes e diversificados em chinês. Veja o exemplo de implementação:

from transformers import OpenAIGPTLMHeadModel, GPT2Tokenizer

modelo = OpenAIGPTLMHeadModel.from_pretrained("thu-coai/CDial-GPT_LCCC-large")
tokenizador = GPT2Tokenizer.from_pretrained("thu-coai/CDial-GPT_LCCC-large")

texto_entrada = "Olá, como você está hoje?"
ids_entrada = tokenizador.encode(texto_entrada, return_tensors="pt")
resultado = modelo.generate(ids_entrada, max_length=50, num_return_sequences=1)

print(tokenizador.decode(resultado[0], skip_special_tokens=True))

Fine-tuning do Modelo

É possível personalizar o modelo para cenários específicos de diálogo utilizando conjuntos de dados próprios:

python train.py --pretrained --model_checkpoint thu-coai/CDial-GPT_LCCC-large --data_path data/meu_dataset.json --scheduler linear

Ecossistema e Recursos Relacionados

Dataset LCCC

O LCCC constitui uma base de dados de conversas chinesas em larga escala, contendo aproximadamente 12 milhões de diálogos. O processo rigoroso de limpeza dos dados o torna ideal para treinamento e avaliação de modelos de diálogo em chinês.

Biblioteca de Modelos CDial-GPT

A biblioteca oferece múltiplas versões de modelos pré-treinados, incluindo as variantes base e large, prontas para aplicação direta em tarefas de geração de diálogo.

Publicações Relevantes

• arXiv:1901.08149 - Detalha a metodoloiga de pré-treinamento e a arquitetura do modelo CDial-GPT.
• arXiv:2008.03946 - Explica o processo de construção e limpeza do dataset LCCC.

Estes recursos permitem que pesquisadores e desenvolvedores compreendam e utilizem efetivamente o modelo CDial-GPT, contribuindo para o avanço da pesquisa em diálogo em chinês.