Ovaj članak je preveden pomoću veštačke inteligencije

LM Studio

Uvod

LM Studio je lokalni menadžer AI modela koji vam omogućava da pokrećete open source modele velikih jezičkih modela kao što su Mistral, Llama i Phi direktno na vašem računaru.

Umesto korišćenja cloud API-ja, LM Studio pokreće modele lokalno i izlaže lokalnu API tačku na koju se druge aplikacije mogu povezati.

Ova postavka je korisna ukoliko:

  • Treba vam potpuna kontrola nad vašim podacima
  • Radite u offline okruženju
  • Morate da se pridržavate internih sigurnosnih politika
  • Želite da izbegnete troškove eksternih API-ja

Pre nego što počnete, uverite se da je LM Studio instaliran i pokrenut, i da je AI dodatak instaliran i omogućen u ONLYOFFICE.

Sistemski zahtevi

KomponentaZahtev
OSWindows (x64, ARM64), macOS (Apple Silicon), Linux (x64)
CPUPotrebna podrška za AVX2 instrukcijski set (x64 sistemi)
RAMPreporučeno 16 GB
GPUPreporučeno 4 GB VRAM; pokretanje samo na CPU je moguće, ali značajno sporije

Brza postavka

Korak 1. Instalirajte LM Studio
  1. Preuzmite LM Studio sa zvanične LM Studio veb stranice (dostupno za Windows, macOS i Linux).
  2. Instalirajte i pokrenite aplikaciju.
  3. Izaberite lokalni folder gde će AI modeli biti sačuvani.

U ovoj fazi, LM Studio je instaliran, ali još nije povezan sa ONLYOFFICE.

Korak 2. Omogućite i pripremite lokalni API server

ONLYOFFICE zahteva dve stvari od LM Studio: učitan model i pokrenut API server.

  1. Preuzmite model
    1. Otvorite sekciju Modeli.
    2. Izaberite model koji odgovara vašem hardveru.
    3. Preuzmite model i uverite se da je potpuno učitan.
  2. Pokrenite API server
    1. Idite na karticu Server.
    2. Promenite status servera sa Stopiran na Pokrenut ili pritisnite Cmd+R na macOS.
    3. Zabeležite osnovni URL, na primer: http://127.0.0.1:1234.

Kada je model preuzet i server pokrenut, vaš sistem funkcioniše kao privatna AI tačka.

Korak 3. Omogućite AI dodatak
  1. Otvorite ONLYOFFICE Desktop Editors verziju 9.0.4 ili noviju.
  2. Idite na Dodaci → Menadžer dodataka.
  3. Instalirajte ili ažurirajte AI dodatak, zatim zatvorite Menadžer dodataka.
  4. Idite na Dodaci → Pozadinski dodaci i omogućite AI dodatak.
Korak 4. Povežite LM Studio sa ONLYOFFICE
  1. Otvorite AI karticu → Postavke → Uredi AI modele i kliknite na + ikonu da dodate novi model.
  2. Unesite sledeće:
    • Ime modela: LM Studio
    • URL: osnovni URL prikazan u kartici Server u LM Studio, na primer, http://127.0.0.1:1234/v1
    Pri povezivanju putem veb pretraživača, Omogućite CORS mora biti uključen u Postavkama servera. Bez toga, pretraživač će blokirati zahteve ka LM Studio API-ju.
  3. Lista modela se automatski ažurira. Ako želite da to uradite ručno, kliknite na Ažuriraj modele.
  4. Dodelite zadatke koje želite da ovaj model obrađuje, zatim sačuvajte.

Povezivanje LM Studio

Ako je povezivanje uspešno, ONLYOFFICE će usmeravati zahteve ka vašem lokalnom modelu.

Korišćenje AI asistenta

Prečice na tastaturi:

Otvorite AI asistentaWindows / Linux Ctrl+/
macOS +/
Obrišite istoriju razgovoraWindows / Linux Ctrl+Alt+/
macOS ++/
Zatvorite panel AI agentaSve platformeEsc

Rešavanje problema

Proširi sve

Smanji sve

Ne mogu da se povežem sa LM Studio

Proverite da li je server pokrenut u kartici Server i da li URL u ONLYOFFICE tačno odgovara onome što LM Studio prikazuje, uključujući broj porta. Ako povezivanje i dalje ne uspeva, proverite da li firewall ili antivirusna aplikacija blokira saobraćaj na localhost. Ponovo pokrenite obe aplikacije nakon što napravite promene.

Odzivi su spori

Spori odzivi su gotovo uvek hardversko ograničenje, a ne problem sa konfiguracijom. Veći modeli troše više RAM-a i imaju koristi od ubrzanja putem GPU-a. Prelazak na manji kvantizovani model i zatvaranje drugih aplikacija koje troše mnogo memorije obično će poboljšati vreme odziva.

Panel AI asistenta se otvara, ali ne reaguje

Ako se panel otvori, ali se ne generiše odgovor, najčešći uzrok je da nijedan model nije učitan. API server može raditi bez modela, ali ne može obraditi zahteve u tom stanju. Potvrdite da je model preuzet i aktivno učitan u LM Studio. Takođe, osigurajte da je model dodeljen zadatku Chat u AI postavkama u ONLYOFFICE.

Lista modela se ne ažurira

API server mora biti pokrenut pre nego što se ONLYOFFICE otvori. Ako ste pokrenuli LM Studio nakon otvaranja editora, ponovo pokrenite ONLYOFFICE i osvežite listu modela.

Članak sa oznaka:
Pregledajte sve oznake