LM Studio

Giriş

LM Studio, Mistral, Llama ve Phi gibi açık kaynaklı büyük dil modellerini doğrudan bilgisayarınızda çalıştırmanıza olanak tanıyan yerel bir AI model yöneticisidir.

LM Studio, bulut API'leri kullanmak yerine modelleri yerel olarak çalıştırır ve diğer uygulamaların bağlanabileceği yerel bir API uç noktası sunar.

Bu yapılandırma şu durumlarda kullanışlıdır:

• Verileriniz üzerinde tam denetime ihtiyaç duyuyorsanız
• Çevrimdışı bir ortamda çalışıyorsanız
• Kurum içi güvenlik politikalarına uymanız gerekiyorsa
• Harici API maliyetlerinden kaçınmak istiyorsanız

Başlamadan önce LM Studio'nun kurulu ve çalışır durumda olduğundan, AI eklentisinin ONLYOFFICE'ta kurulu ve etkin olduğundan emin olun.

Sistem gereksinimleri

Bileşen	Gereksinim
İşletim sistemi	Windows (x64, ARM64), macOS (Apple Silicon), Linux (x64)
CPU	AVX2 komut seti desteği gereklidir (x64 sistemler)
RAM	16 GB önerilir
GPU	4 GB VRAM önerilir; yalnızca CPU ile çalıştırmak mümkündür ancak belirgin biçimde daha yavaştır

Hızlı kurulum

1. Adım. LM Studio'yu kurun

1. LM Studio'yu resmi LM Studio web sitesinden indirin (Windows, macOS ve Linux için kullanılabilir).
2. Uygulamayı kurun ve başlatın.
3. AI modellerinin saklanacağı yerel bir klasör seçin.

Bu aşamada LM Studio kuruludur ancak henüz ONLYOFFICE'a bağlı değildir.

2. Adım. Yerel API sunucusunu etkinleştirin ve hazırlayın

ONLYOFFICE, LM Studio'dan iki şey bekler: yüklenmiş bir model ve çalışan bir API sunucusu.

1. Bir model indirin

   1. Models bölümünü açın.
   2. Donanımınıza uygun bir model seçin.
   3. Modeli indirin ve tamamen yüklendiğinden emin olun.

2. API sunucusunu başlatın

   1. Server sekmesine gidin.
   2. Sunucu durumunu Stopped'dan Running'e geçirin veya macOS'ta Cmd+R tuşlarına basın.
   3. Temel URL'yi not edin, örneğin: http://127.0.0.1:1234.

Model indirilip sunucu çalıştırıldıktan sonra sisteminiz özel bir AI uç noktası olarak işlev görür.

3. Adım. AI eklentisini etkinleştirin

1. ONLYOFFICE Desktop Editors 9.0.4 veya sonraki bir sürümü açın.
2. Eklentiler → Eklenti yöneticisi bölümüne gidin.
3. AI eklentisini kurun veya güncelleyin, ardından Eklenti yöneticisini kapatın.
4. Eklentiler → Arka plan eklentileri bölümüne gidin ve AI plugin eklentisini etkinleştirin.

4. Adım. LM Studio'yu ONLYOFFICE'a bağlayın

1. AI tab → Settings → Edit AI models bölümünü açın ve yeni bir model eklemek için + icon simgesine tıklayın.

2. Aşağıdaki bilgileri girin:

   • Model name: LM Studio
   • URL: LM Studio'daki Server sekmesinde görüntülenen temel URL, örneğin http://127.0.0.1:1234/v1
   not

   Bir web tarayıcısı üzerinden bağlanırken Server settings içinde Enable CORS açık olmalıdır. Açık değilse tarayıcı LM Studio API'sine yapılan istekleri engeller.

3. Model listesi otomatik olarak güncellenir. Elle güncellemek isterseniz Update models düğmesine tıklayın.

4. Bu modelin üstleneceği görevleri atayın, ardından kaydedin.

Bağlantı başarılı olursa ONLYOFFICE istekleri yerel modelinize yönlendirir.

AI asistanını kullanma

Klavye kısayolları:

Eylem	Platform	Kısayol
AI asistanını açma	Windows / Linux	Ctrl+/
AI asistanını açma	macOS	⌘+/
Konuşma geçmişini temizleme	Windows / Linux	Ctrl+Alt+/
Konuşma geçmişini temizleme	macOS	⌘+⌥+/
AI ajanı panelini kapatma	Tüm platformlar	Esc

Sorun giderme

LM Studio'ya bağlanılamıyor

Sunucunun Server sekmesinde çalıştığından ve ONLYOFFICE'taki URL'nin, bağlantı noktası numarası dahil, LM Studio'nun görüntülediği URL ile tam olarak eşleştiğinden emin olun. Bağlantı yine de kurulamıyorsa bir güvenlik duvarının veya antivirüs uygulamasının localhost trafiğini engelleyip engellemediğini kontrol edin. Değişiklik yaptıktan sonra her iki uygulamayı da yeniden başlatın.

Yanıtlar yavaş

Yavaş yanıtlar hemen her zaman bir yapılandırma sorunu değil, donanım sınırlamasıdır. Daha büyük modeller daha fazla RAM tüketir ve GPU hızlandırmasından yarar sağlar. Daha küçük, nicemlenmiş (quantized) bir modele geçmek ve bellek kullanımı yüksek diğer uygulamaları kapatmak genellikle yanıt sürelerini iyileştirir.

AI asistanı paneli açılıyor ancak yanıt vermiyor

Panel açılıyor ancak yanıt üretilmiyorsa en yaygın neden hiçbir modelin yüklenmemiş olmasıdır. API sunucusu modelsiz de çalışabilir, ancak bu durumda istekleri işleyemez. Modelin LM Studio'da indirildiğinden ve etkin olarak yüklendiğinden emin olun. Ayrıca modelin ONLYOFFICE'taki AI ayarlarında Chat görevine atandığından emin olun.

Model listesi güncellenmiyor

API sunucusu, ONLYOFFICE açılmadan önce çalışıyor olmalıdır. LM Studio'yu editörü açtıktan sonra başlattıysanız ONLYOFFICE'ı yeniden başlatın ve model listesini yenileyin.