Implantação Local do Modelo de Linguagem Quantizado Causallm (sem restrições de conteúdo) no macOS Sonoma com Apple Silicon
Com as recentes melhorias no desempenho do macOS para executar grandes modelos de linguagem (LLMs), espceialmente com o avanço dos chips da série M da Apple, é possível agora rodar modelos quantizados sem censura (NSFW) localmente. Utilizaremos o projeto koboldcpp, implementado em C++, que se beneficia do compilador Clang nativo do macOS.
Prime ...
Publicado em 7-2 16:03