LocalLLM é uma ferramenta de linha de comando versátil que simplifica a implantação e operação de modelos de linguagem grandes (LLMs) diretamente em seu ambiente local. Essa abordagem elimina a dependência de serviços em nuvem, permitindo que você estabeleça sua própria infraestrutura de IA privada, garantindo a confidencialidade dos dados e aproveitando o poder da inferência de modelos de alta velocidade.

Por que usar o LocalLLM?

O LocalLLM oferece uma solução unificada para gerenciar e executar LLMs localmetne. Seus principais benefícios incluem:

• Implantação Local: Todo o processamento de modelos e dados ocorre em sua máquina, garantindo total privacidade e segurança dos seus dados.
• Interface Intuitiva: Uma interface de linha de comando fácil de usar, tornando-o acessível até mesmo para usuários sem experiência técnica aprofundada.
• Flexibilidade de Modelos: Suporta uma variedade de modelos quantizados, permitindo que você escolha parâmetros adequados com base nas especificações do seu hardware.
• Gerenciamento Automatizado: Lida automaticamente com download de modelos, inicialização de serviços e alocação de recursos.

Pré-requisitos

Antes de começar, certifique-se de que seu sistema atenda aos seguintes requisitos:

• Python versão 3.8 ou superior.
• Gerenciador de pacotes pip.
• Espaço em disco suficiente (mínimo de 10 GB, dependendo do tamanho do modelo).

Instalação Rápida

1. Clonar o Repositório

Primeiro, clone o repositório do projeto para sua máquina local:

git clone https://gitcode.com/gh_mirrors/lo/localllm
cd localllm
 

2. Instalar Dependências

Navegue até o diretório do projeto e instale as dependências necessárias usando pip:

pip install ./local-llm/.
 

Para desenvolvimento ou modificações no código, use o modo editável:

pip install --editable .
 

Gerenciamento de Modelos

O LocalLLM fornece funcionalidades robustas para baixar, iniciar e remover modelos.

Baixar Modelos

Por padrão, os modelos são armazenados em ~/.cache/huggingface/hub/. Para baixar um modelo:

• Baixar modelo padrão: ```bash

  localllm download

• Baixar um modelo específico: ```bash

  localllm download --model <nome_do_modelo>

A ferramenta selecionará automaticamente um modelo quantizado de 4 bits (medium) para garatnir um desempenho suave em hardware comum.

Listar Modelos

Para visualizar os modelos baixados:

localllm models list
 

Para ver os modelos atualmente em execução:

localllm serve list
 

Iniciar Serviços de Modelo

Iniciar o Modelo Padrão

Inicie o serviço do modelo padrão com um único comando:

localllm serve start
 

Iniciar um Modelo Específico

Para iniciar um modelo específico:

localllm serve start --model <nome_do_modelo>
 

Após o início do serviço, você pode interagir com o modelo através da interface OpenAPI em: https://<seu_hostname>:<porta>/docs.

Parar Serviços de Modelo

Parar Todos os Modelos

localllm serve stop
 

Parar um Modelo Específico

localllm serve stop --model <nome_do_modelo>
 

Configuração de Logs

Para facilitar a depuração, você pode configurar a saída de logs usando um arquivo de configuração YAML:

# Exemplo de log_config.yaml
version: 1
formatters:
 simple:
   format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
 file_handler:
   class: logging.FileHandler
   filename: local-llm.log
   formatter: simple
loggers:
 localllm:
   level: INFO
   handlers: [file_handler]
 

Em ambientes como Cloud Workstations, os logs são automaticamente gravados em /var/log/local-llm.log.

Configurações Avançadas

Personalize o comportamento do LocalLLM usando variáveis de ambiente:

export LOCALLLM_REGISTRY=localllm-registry
export LOCALLLM_IMAGE_NAME=localllm
export LOCALLLM_CLUSTER=localllm-cluster
export LOCALLLM_WORKSTATION=localllm-workstation
 

Componentes Principais

A funcionalidade central do LocalLLM é implementada pelos seguintes arquivos:

• local_llm.py - Pontto de entrada principal da aplicação.
• modeldownload.py - Gerenciamento de download de modelos.
• modelserving.py - Gerenciamento de serviço de modelos.
• modelfiles.py - Processamento de arquivos de modelo.

Observações Importantes

• O LocalLLM utiliza modelos quantizados do Hugging Face. Certifique-se de ter lido e concordado com os termos de licença aplicáveis a cada modelo.
• A inferência de modelos pode exigir recursos significativos do sistema. Recomenda-se executar em dispositivos com memória RAM adequada.
• A precisão e a segurança do conteúdo gerado são de responsabilidade do usuário. O projeto não assume qualquer responsabilidade por seu uso.

Com o LocalLLM, você pode facilmente construir seu próprio assistente de IA localmente, desfrutando dos benefícios de privacidade e desempenho. Seja para desenvolvimento, teste ou uso pessoal, o LocalLLM oferece uma solução simples e poderosa.