本文由AI翻译

Ollama

Ollama 是一款开源软件,可以运行流行的 AI 模型,例如 Llama 3.2 或 Gemma 2。

这是一个关于为 ONLYOFFICE 文档安装和配置 Ollama 的分步指南。

系统要求

Ollama 的硬件要求取决于您打算运行的模型大小:

模型大小内存
7B8 GB
13B16 GB
70B64 GB

Ollama 二进制文件至少需要 4 GB 的磁盘空间。存储模型需要额外的空间,具体大小从几 GB 到数百 GB 不等,取决于模型。

建议使用专用 GPU 以获得可接受的性能。仅使用 CPU 运行是可能的,但响应时间会显著变慢。

连接和配置 Ollama

  1. (可选) 如果您喜欢在 macOSLinux 上使用 Homebrew 管理软件包,请安装:
    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  2. 安装 Ollama,请运行以下命令:
    curl -fsSL https://ollama.com/install.sh | sh

    对于 Homebrew,运行以下命令:

    brew install ollama

    安装完成后,Ollama 提供用于在您的计算机上服务、列出、检查和运行模型的命令。

  3. 按照以下步骤配置 Ollama:
    1. 在终端中运行以下命令以启动本地 AI 服务器:
      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://* 
    2. 立即启动 Ollama 并在登录时重新启动:
      brew services start ollama
    3. 或者,如果不需要后台服务,请运行以下命令:
      ollama serve
  4. 在另一个终端窗口中拉取您想使用的模型。例如,要安装和运行 Llama 3.2:
    ollama run llama3.2
    Ollama: configuration Ollama: configuration

    模型将被下载并在本地启动。安装的模型数量没有限制。有关可用模型的列表,请参阅Ollama 官方文档

    在安装之前,请确保您的计算机有足够的内存和磁盘空间来存储模型。

  5. 请按照本指南进行 AI 插件的一般配置。
  6. 插件安装完成后,添加 AI 模型。转到 AI 选项卡,打开 设置
  7. 在窗口左下角选择 编辑 AI 模型,然后点击 添加
  8. 在出现的窗口中,选择 Ollama 作为提供商,并将 URL 设置为 http://localhost:11434
    Ollama: configuration Ollama: configuration
  9. 从下拉列表中选择已安装的模型(例如,llama3.2:latest),并确认。
  10. 在图标行中,选择用于文本、图像、嵌入、音频处理、内容审核、实时任务、编码帮助和视觉分析的模型。
  11. 点击 确定 并关闭窗口。该模型将出现在 AI 模型列表中的可用模型列表中。
  12. 为 AI 分配不同的任务。从下拉列表中选择将执行这些任务的已安装 AI 模型。
  13. 通过 AI 选项卡或选择文本并右键单击以打开上下文菜单来访问 AI 功能。
文章: 标签:
浏览所有标签