Pular para o conteúdo principal

Ollama

Ollama é um software de código aberto que permite executar modelos de IA populares, como Llama 3.2 ou Gemma 2.

Este é um guia passo a passo sobre como instalar e configurar o Ollama para o ONLYOFFICE Docs.

Requisitos do sistema​

Os requisitos de hardware para o Ollama dependem do tamanho do modelo que você pretende executar:

Tamanho do modeloRAM
7B8 GB
13B16 GB
70B64 GB

É necessário pelo menos 4 GB de espaço em disco para o binário do Ollama. Espaço adicional é necessário para armazenar modelos, que podem variar de vários GB a centenas de GB, dependendo do modelo.

Uma GPU dedicada é recomendada para um desempenho aceitável. Executar apenas no CPU é possível, mas resultará em tempos de resposta significativamente mais lentos.

Conectando e configurando o Ollama​

  1. (Opcional) Instale o Homebrew se essa for sua maneira preferida de gerenciar pacotes no macOS e Linux:

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

  2. Para instalar o Ollama, execute o seguinte comando:

    curl -fsSL https://ollama.com/install.sh | sh

    Para Homebrew, execute o seguinte comando:

    brew install ollama

    Uma vez instalado, o Ollama disponibiliza comandos para servir, listar, inspecionar e executar modelos em sua máquina.

  3. Siga estas etapas para configurar o Ollama:

    1. Inicie o servidor de IA local executando o seguinte comando no Terminal:

      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://*

    2. Inicie o Ollama agora e reinicie na inicialização:

      brew services start ollama

    3. Alternativamente, se um serviço em segundo plano não for necessário, execute o seguinte comando:

      ollama serve

  4. Baixe o modelo que você gostaria de usar em outra janela do Terminal. Por exemplo, para instalar e executar o Llama 3.2:

    ollama run llama3.2

    Ollama: configuration

    O modelo será baixado e iniciado localmente. O número total de modelos instalados é ilimitado. Para a lista de modelos disponíveis, consulte a documentação oficial do Ollama.

    Antes da instalação, certifique-se de que sua máquina possui memória e espaço em disco suficientes para os modelos.

  5. Siga este guia para a configuração geral do plugin de IA.

  6. Uma vez que o plugin esteja instalado, adicione modelos de IA. Vá para a aba IA e abra Configurações.

  7. Selecione Editar modelos de IA no canto inferior esquerdo da janela e clique em Adicionar.

  8. Na janela que aparece, selecione Ollama como o provedor e defina a URL para http://localhost:11434.

    Ollama: configuration

  9. Selecione o modelo instalado (por exemplo, llama3.2:latest) na lista suspensa e confirme.

  10. Na linha de ícones, selecione o modelo usado para: texto, imagens, embeddings, processamento de áudio, moderação de conteúdo, tarefas em tempo real, ajuda com codificação e análise visual.

  11. Clique em OK e feche a janela. O modelo aparecerá na lista de modelos disponíveis na lista de modelos de IA.

  12. Atribua diferentes tarefas à IA. Na lista suspensa, selecione os modelos de IA instalados que executarão essas tarefas.

  13. Acesse os recursos de IA através da aba IA ou selecionando texto e clicando com o botão direito para abrir o menu de contexto.