Перейти к основному содержимому

Ollama

Ollama — это программное обеспечение с открытым исходным кодом, которое позволяет запускать популярные модели ИИ, например, Llama 3.2 или Gemma 2.

Это пошаговое руководство по установке и настройке Ollama для ONLYOFFICE Docs.

Системные требования​

Требования к оборудованию для Ollama зависят от размера модели, которую вы собираетесь запускать:

Размер моделиОЗУ
7B8 ГБ
13B16 ГБ
70B64 ГБ

Для исполняемого файла Ollama требуется не менее 4 ГБ дискового пространства. Дополнительное место нужно для хранения моделей: в зависимости от модели это может быть от нескольких гигабайт до сотен гигабайт.

Для приемлемой производительности рекомендуется выделенный ГП. Работа только на ЦП возможна, но время ответа будет значительно больше.

Подключение и настройка Ollama​

  1. (Необязательно) Установите Homebrew, если вы предпочитаете использовать его для управления пакетами в macOS и Linux:

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

  2. Чтобы установить Ollama, выполните следующую команду:

    curl -fsSL https://ollama.com/install.sh | sh

    Для Homebrew выполните следующую команду:

    brew install ollama

    После установки Ollama предоставляет команды для запуска, вывода списка, просмотра и запуска моделей на вашем компьютере.

  3. Выполните следующие действия, чтобы настроить Ollama:

    1. Запустите локальный сервер ИИ, выполнив в Терминале следующую команду:

      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://*

    2. Запустите Ollama сейчас и настройте его перезапуск при входе в систему:

      brew services start ollama

    3. Если фоновая служба не нужна, выполните следующую команду:

      ollama serve

  4. Загрузите модель, которую вы хотите использовать, в другом окне Терминала. Например, чтобы установить и запустить Llama 3.2:

    ollama run llama3.2

    Ollama: настройка

    Модель будет скачана и запущена локально. Общее число установленных моделей не ограничено. Список доступных моделей приведен в официальной документации Ollama.

    Перед установкой убедитесь, что на вашем компьютере достаточно памяти и места на диске для моделей.

  5. Следуйте этому руководству для общей настройки плагина ИИ.

  6. После установки плагина добавьте модели ИИ. Перейдите на вкладку ИИ-инструменты и откройте Настройки.

  7. Выберите Редактировать ИИ-модели в левом нижнем углу окна и нажмите Добавить.

  8. В открывшемся окне выберите Ollama в качестве провайдера и укажите URL http://localhost:11434.

    Ollama: настройка

  9. Выберите установленную модель (например, llama3.2:latest) в выпадающем списке и подтвердите выбор.

  10. В ряду значков выберите, для чего используется модель: текст, изображения, вложения, обработка аудио, модерация контента, задачи реального времени, помощь с кодом и визуальный анализ.

  11. Нажмите OK и закройте окно. Модель появится в списке доступных моделей ИИ.

  12. Назначьте ИИ различные задачи. В выпадающем списке выберите установленные модели ИИ, которые будут выполнять эти задачи.

  13. Используйте функции ИИ на вкладке ИИ-инструменты или выделите текст и щелкните правой кнопкой мыши, чтобы открыть контекстное меню.