- Requisitos do Sistema e Configurações Iniciais
A plataforma Bisheng requer um ambiente Linux específico para operar corretamente. Os sistemas operacionais suportados incluem CentOS/RedHat Enterprise Linux (versões 7.x ou 8.x), Ubuntu Server (ex: versão 18.04 LTS) e distribuições como a Kylin OS V10. Para garantir desempenho adequado, verifique as especificações de hardware mínimas e recomendadas abaixo.
Especificações de Hardware
- Configuração Mínima: 20 núcleos de CPU, 256 GB de RAM, disco do sistema de 512 GB SSD, disco de dados de 2 TB SATA (ajustável conforme o volume de dados), e pelo menos uma GPU NVIDIA A10 ou superior (ex: 3090) para suportar modelos de linguagem.
- Configuração Recomendada: 48 núcleos de CPU, 512 GB de RAM, disco do sistema de 512 GB SSD, disco de dados de 5 TB SATA, e múltiplas GPUs NVIDIA A10 (ex: 4 unidades) para maior escalabilidade.
Além disso, utilize um navegador moderno como Chrome versão 92 ou superior para acessar funcionalidades avançadas, como edição de documentos online.
- Implantação Rápida do Núcleo do Bisheng
Antes de prosseguir, instale o Docker, o Docker Compose e o NVIDIA Container Toolkit em seu sistema. Consulte a documentação oficial do Docker para instruções detahladas.
Obtenção do Código-Fonte
Baixe o repositório do Bisheng usando Git ou via pacote compactado. Abaixo estão exemplos de comandos para ambos os métodos:
# Clonagem via Git
git clone https://github.com/dataelement/bisheng.git meu-repositorio-bisheng
cd meu-repositorio-bisheng/docker
# Alternativa: download via wget
wget https://github.com/dataelement/bisheng/archive/refs/heads/main.zip
unzip main.zip && cd bisheng-main/docker
Inicialização dos Serviços Core
O núcleo do Bisheng inclui vários componentes, como banco de dados MySQL, cache Redis, Elasticsearch, OnlyOffice, Milvus (com MinIO e Etcd), e os módulos de backend e frontend. Execute o comando abaixo para iniciar todos os serviços em modo destacado:
# Navegue até o diretório do projeto e inicie os containers
docker compose up -d
Se houver restrições de acesso ao Docker Hub, configure um registro de imagens privado conforme instruções disponíveis na documentação oficial.
Ajustes de Configuração Dinâmica
Parâmetros relacionados a bases de conhecimento, modelos de linguagem e autenticação podem ser alterados em arquivos de configuração local. Consulte a seção de configurações avançadas na documentação para detalhes específicos.
- Implantação de Serviços de Modelo (RT e FT)
Esta seção abrange a implantação do Bisheng-RT (serviço de inferência) e do Bisheng-FT (serviço de fine-tuning), que permitem a gestão e treinamento de modelos de machine learning.
Configuração Inicial do Bisheng-RT
Certifique-se de ter arquivos de modelo adequados (ex: modelos de embedding e LLMs) armazenados no diretório meu-repositorio-bisheng/data/llm. Se desejar armazenar modelos em outro local, edite o arquivo docker-compose-model.yml para ajustar os volumes montados.
Início do Serviço RT
Utilize o comando abaixo para iniciar apenas o serviço Bisheng-RT, que oferece capacidades de inferência em GPUs NVIDIA ou hardware compatível:
# Inicie o serviço RT em modo destacado
docker compose -f docker-compose-model.yml up bisheng-rt -d
O serviço Bisheng-RT é opcional; se preferir, integre-se a frameworks externos como vLLM ou FastChat usando componentes personalizados. Para registrar o serviço na interface do Bisheng, acesse a página de modelos e configure o endereço RT (ex: ip-do-servidor:9001).
Implantação do Bisheng-FT para Fine-Tuning
O Bisheng-FT permite ajustar modelos para cenários específicos. Em ambientes distribuídos, é recomendável separar serviços de treino e inferência. O serviço FT depende do Redis; por padrão, conecta-se ao Redis do núcleo do Bisheng, mas isso pode ser alterado no arquivo config.yaml.
# Inicie tanto o RT quanto o FT simultaneamente
docker compose -f docker-compose-model.yml up bisheng-rt bisheng-ft -d
Certifique-se de que a porta 8000 esteja disponível; caso contrário, modifique o código-fonte e reconstrua a imagem Docker.
- Ambiente de Desenvolvimento
Para configuração de desenvolvimento, explore o código-fonte disponível no repositório. Os componentes principais estão localizados em src/, enquanto módulos adicionais como RT e FT possuem seus próprios diretórios. Ajuste os Dockerfiles conforme necessário para construir imagens personalizadas.