O MAGI-1 é um projeto open source focado na geração de vídeos, que utiliza uma abordagem autoregressiva para criar sequências de vídeo preenchendo blocos de quadros contínuos. O sistema incorpora um autoencoder variacional (VAE) baseado em Transformer e algoritmos de difusão autoregressivos, permitindo uma geração eficiente de vídeos mantendo alta qualidade visual.

Tecnologias e Frameworks Essenciais

• VAE com Arquitetura Transformer: Realiza compressão espacial e temporal usando redes neurais baseadas em Transformer.
• Algoritmo de Difusão Autoregressivo: Gera vídeos em blocos sequencaiis, onde cada bloco é denoizado antes de iniciar o próximo.
• Arquitetura de Modelo de Difusão: Baseada em Transformers com técnicas inovadoras para otimizar a eficiência e estabilidade do treinamento.
• Algoritmo de Destilação de Modelos: Treina um modelo baseado em velocidade para acomodar diferentes recursos computacionais na inferência.

Pré-requisitos para a Instalação

Antes de prosseguir, certifique-se de que seu ambiente atenda aos seguintes requisitos:

• Python 3.10.12
• PyTorch 2.4.0 com suporte a CUDA 12.4
• FFmpeg 4.4
• Biblioteca MagiAttention instalada

Procedimentos de Instalação Detalhados

Etapa 1: Criar o Ambiente Python

Inicie configurando um ambiente virtual isolado com a versão correta do Python.

conda create --name video_gen python=3.10.12

Etapa 2: Instalar o PyTorch e Dependências

No ambiente ativado, instale o PyTorch e as bibliotecas associadas conforme especificado.

conda install pytorch=2.4.0 torchvision=0.19.0 torchaudio=2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

Etapa 3: Configurar o FFmpeg

Utilize o gerenciador de pacotes conda para adicionar o FFmpeg ao ambiente.

conda install -c conda-forge ffmpeg=4.4

Etapa 4: Compilar e Instalar o MagiAttention

Obtenha o código-fonte do MagiAttention e realize a instalação copmleta.

git clone https://github.com/SandAI-org/MagiAttention.git
cd MagiAttention
git submodule update --init --recursive
pip install --no-build-isolation .

Etapa 5: Executar os Exemplos de Uso

Para validar a instalação, execute os scripts de exemplo fornecidos. Exemplo com o modelo de 24B:

bash example/24B/run.sh

Alternativamente, para testar o modelo de 4.5B:

bash example/4.5B/run.sh