本文由AI翻译

LM Studio

介绍

LM Studio 是一个本地 AI 模型管理器,允许您直接在计算机上运行开源大型语言模型,如 Mistral、Llama 和 Phi。

LM Studio 不使用云端 API,而是在本地运行模型,并暴露一个本地 API 端点,供其他应用程序连接。

这种设置适用于您:

  • 需要对数据拥有完全控制权
  • 在离线环境中工作
  • 必须遵守内部安全政策
  • 想避免外部 API 费用

开始之前,请确保已安装并运行 LM Studio,并且 AI 插件已在 ONLYOFFICE 中安装并启用

系统要求

组件要求
操作系统Windows (x64, ARM64)、macOS (Apple Silicon)、Linux (x64)
CPU需要支持 AVX2 指令集(x64 系统)
内存推荐 16 GB
GPU推荐 4 GB VRAM;仅用 CPU 运行可行,但速度明显较慢

快速设置

步骤 1. 安装 LM Studio
  1. LM Studio 官方网站下载(支持 Windows、macOS 和 Linux)。
  2. 安装并启动应用程序。
  3. 选择一个本地文件夹来存储 AI 模型。

此时,LM Studio 已安装,但尚未连接到 ONLYOFFICE。

步骤 2. 启用并准备本地 API 服务器

ONLYOFFICE 需要 LM Studio 提供两项内容:已加载的模型和正在运行的 API 服务器。

  1. 下载模型
    1. 打开 Models(模型)部分。
    2. 选择适合您硬件的模型。
    3. 下载模型并确保其完全加载。
  2. 启动 API 服务器
    1. 转到 Server(服务器)标签。
    2. 将服务器状态从“已停止”切换为“运行”,或在 macOS 上按 Cmd+R
    3. 记下基础 URL,例如:http://127.0.0.1:1234

模型下载完成且服务器运行后,您的系统即作为私有 AI 端点。

步骤 3. 启用 AI 插件
  1. 打开 ONLYOFFICE Desktop Editors 9.0.4 或更高版本。
  2. 进入 插件 → 插件管理器
  3. 安装或更新 AI 插件,然后关闭插件管理器。
  4. 进入 插件 → 后台插件 并启用 AI 插件
步骤 4. 将 LM Studio 连接到 ONLYOFFICE
  1. 打开 AI 标签 → 设置 → 编辑 AI 模型,点击 + 图标 添加新模型。
  2. 输入以下内容:
    • 模型名称:LM Studio
    • URL:LM Studio 服务器标签中显示的基础 URL,例如 http://127.0.0.1:1234/v1
    通过网页浏览器连接时,必须在 服务器设置中启用 CORS。否则,浏览器会阻止对 LM Studio API 的请求。
  3. 模型列表会自动更新。如需手动更新,点击 更新模型
  4. 分配您希望该模型处理的任务,然后保存。

Connecting LM Studio

连接成功后,ONLYOFFICE 将把请求路由到您的本地模型。

使用 AI 助手

键盘快捷键:

打开 AI 助手Windows / Linux Ctrl+/
macOS +/
清除对话历史Windows / Linux Ctrl+Alt+/
macOS ++/
关闭 AI 助手面板所有平台Esc

故障排除

全部展开

全部折叠

无法连接到 LM Studio

请确认服务器在服务器标签页中处于运行状态,且 ONLYOFFICE 中的 URL 与 LM Studio 显示的完全一致,包括端口号。如果连接仍然失败,请检查防火墙或杀毒软件是否阻止了本地主机流量。更改后请重启两个应用程序。

响应缓慢

响应缓慢几乎总是硬件限制所致,而非配置问题。较大的模型占用更多内存,并且受益于 GPU 加速。切换到较小的量化模型并关闭其他占用大量内存的应用程序通常能提升响应速度。

AI 助手面板打开但无响应

如果面板打开但没有生成回答,最常见原因是没有加载模型。API 服务器可以在无模型状态下运行,但无法处理请求。请确认 LM Studio 中已下载并激活模型,并且该模型在 ONLYOFFICE 的 AI 设置中被分配到聊天任务。

模型列表未更新

API 服务器必须在打开 ONLYOFFICE 之前运行。如果您是在打开编辑器后启动 LM Studio,请重启 ONLYOFFICE 并刷新模型列表。

文章: 标签:
浏览所有标签