Перейти к основному содержимому

LM Studio

Введение​

LM Studio — это менеджер локальных моделей ИИ, который позволяет запускать большие языковые модели с открытым исходным кодом, такие как Mistral, Llama и Phi, прямо на вашем компьютере.

Вместо облачных API LM Studio запускает модели локально и предоставляет локальную конечную точку API, к которой могут подключаться другие приложения.

Такая конфигурация полезна, если вы:

  • хотите полностью контролировать свои данные;
  • работаете в автономной среде;
  • должны соблюдать внутренние политики безопасности;
  • хотите избежать расходов на внешние API.

Перед началом работы убедитесь, что LM Studio установлен и запущен, а плагин ИИ установлен и включен в ONLYOFFICE.

Системные требования​

КомпонентТребование
ОСWindows (x64, ARM64), macOS (Apple Silicon), Linux (x64)
ЦПОбязательна поддержка набора инструкций AVX2 (для систем x64)
ОЗУРекомендуется 16 ГБ
ГПРекомендуется 4 ГБ видеопамяти; возможна работа только на ЦП, но значительно медленнее

Быстрая настройка​

Шаг 1. Установите LM Studio​

  1. Скачайте LM Studio с официального сайта LM Studio (доступен для Windows, macOS и Linux).
  2. Установите и запустите приложение.
  3. Выберите локальную папку, в которой будут храниться модели ИИ.

На этом этапе LM Studio установлен, но еще не подключен к ONLYOFFICE.

Шаг 2. Включите и подготовьте локальный API-сервер​

Для работы с ONLYOFFICE в LM Studio нужны две вещи: загруженная модель и запущенный API-сервер.

  1. Скачайте модель

    1. Откройте раздел Models.
    2. Выберите модель, подходящую для вашего оборудования.
    3. Скачайте модель и убедитесь, что она полностью загружена.

  2. Запустите API-сервер

    1. Перейдите на вкладку Server.
    2. Переключите статус сервера с Stopped на Running или нажмите Cmd+R на macOS.
    3. Запомните базовый URL, например: http://127.0.0.1:1234.

Когда модель скачана, а сервер запущен, ваша система работает как закрытая конечная точка ИИ.

Шаг 3. Включите плагин ИИ​

  1. Откройте десктопные редакторы ONLYOFFICE версии 9.0.4 или более поздней.
  2. Перейдите в раздел Плагины → Менеджер плагинов.
  3. Установите или обновите плагин ИИ, затем закройте Менеджер плагинов.
  4. Перейдите в раздел Плагины → Фоновые плагины и включите плагин ИИ.

Шаг 4. Подключите LM Studio к ONLYOFFICE​

  1. Откройте вкладку ИИ-инструменты → Настройки → Редактировать ИИ-модели и нажмите значок +, чтобы добавить новую модель.

  2. Введите следующие данные:

    • Имя модели: LM Studio
    • URL: базовый URL, отображаемый на вкладке Server в LM Studio, например, http://127.0.0.1:1234/v1
    примечание

    При подключении через веб-браузер в настройках сервера должна быть включена опция Enable CORS. Без нее браузер будет блокировать запросы к API LM Studio.

  3. Список моделей обновляется автоматически. Если вы хотите сделать это вручную, нажмите Обновить список моделей.

  4. Назначьте задачи, которые должна выполнять эта модель, и сохраните настройки.

Подключение LM Studio

Если подключение выполнено успешно, ONLYOFFICE будет направлять запросы к вашей локальной модели.

Использование ИИ-помощника​

Сочетания клавиш:

ДействиеПлатформаСочетание клавиш
Открыть ИИ-помощникаWindows / LinuxCtrl+/
Открыть ИИ-помощникаmacOS⌘+/
Очистить историю беседыWindows / LinuxCtrl+Alt+/
Очистить историю беседыmacOS⌘+⌥+/
Закрыть панель ИИ-агентаВсе платформыEsc

Устранение неполадок​

Не удается подключиться к LM Studio

Убедитесь, что сервер запущен на вкладке Server и что URL в ONLYOFFICE в точности совпадает с тем, что отображает LM Studio, включая номер порта. Если подключиться по-прежнему не удается, проверьте, не блокирует ли трафик localhost брандмауэр или антивирус. После внесения любых изменений перезапустите оба приложения.

Ответы приходят медленно

Медленные ответы почти всегда связаны с ограничениями оборудования, а не с неправильной настройкой. Более крупные модели потребляют больше ОЗУ и выигрывают от ускорения на ГП. Переход на более компактную квантованную модель и закрытие других приложений, требующих много памяти, как правило, ускоряют ответы.

Панель ИИ-помощника открывается, но не отвечает

Если панель открывается, но ответ не генерируется, чаще всего причина в том, что не загружена ни одна модель. API-сервер может работать без модели, но в таком состоянии он не может обрабатывать запросы. Убедитесь, что модель скачана и активно загружена в LM Studio. Также проверьте, что в настройках ИИ в ONLYOFFICE модель назначена на задачу Чат.

Список моделей не обновляется

API-сервер должен быть запущен до открытия ONLYOFFICE. Если вы запустили LM Studio после открытия редактора, перезапустите ONLYOFFICE и обновите список моделей.