Ana içeriğe geç

Ollama

Ollama, Llama 3.2 veya Gemma 2 gibi popüler AI modellerini çalıştırmayı sağlayan açık kaynaklı bir yazılımdır.

Bu, ONLYOFFICE Docs için Ollama'nın kurulumu ve yapılandırılması hakkında adım adım bir kılavuzdur.

Sistem gereksinimleri​

Ollama'nın donanım gereksinimleri, çalıştırmayı düşündüğünüz modelin boyutuna bağlıdır:

Model boyutuRAM
7B8 GB
13B16 GB
70B64 GB

Ollama ikili dosyası için en az 4 GB disk alanı gereklidir. Modelleri saklamak için ek alan gerekir; bu alan modele bağlı olarak birkaç GB ile yüzlerce GB arasında değişebilir.

Kabul edilebilir performans için ayrılmış bir GPU önerilir. Yalnızca CPU ile çalıştırmak mümkündür ancak yanıt süreleri belirgin biçimde daha uzun olur.

Ollama'yı bağlama ve yapılandırma​

  1. (İsteğe bağlı) macOS ve Linux'ta paketleri yönetmek için tercih ettiğiniz yol buysa Homebrew'u kurun:

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

  2. Ollama'yı kurmak için aşağıdaki komutu çalıştırın:

    curl -fsSL https://ollama.com/install.sh | sh

    Homebrew için aşağıdaki komutu çalıştırın:

    brew install ollama

    Kurulumdan sonra Ollama, makinenizde modelleri sunmak, listelemek, incelemek ve çalıştırmak için komutlar sağlar.

  3. Ollama'yı yapılandırmak için şu adımları izleyin:

    1. Terminal'de aşağıdaki komutu çalıştırarak yerel AI sunucusunu başlatın:

      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://*

    2. Ollama'yı şimdi başlatın ve oturum açıldığında yeniden başlatın:

      brew services start ollama

    3. Alternatif olarak, arka plan hizmeti gerekmiyorsa aşağıdaki komutu çalıştırın:

      ollama serve

  4. Kullanmak istediğiniz modeli başka bir Terminal penceresinde çekin. Örneğin, Llama 3.2'yi kurmak ve çalıştırmak için:

    ollama run llama3.2

    Ollama: yapılandırma

    Model indirilir ve yerel olarak başlatılır. Kurulabilecek model sayısı sınırsızdır. Kullanılabilir modellerin listesi için resmi Ollama belgelerine bakın.

    Kurulumdan önce makinenizde modeller için yeterli bellek ve disk alanı olduğundan emin olun.

  5. AI eklentisinin genel yapılandırması için bu kılavuzu izleyin.

  6. Eklenti kurulduktan sonra AI modellerini ekleyin. AI sekmesine gidin ve Settings bölümünü açın.

  7. Pencerenin sol alt köşesindeki Edit AI models seçeneğini belirleyin ve Add düğmesine tıklayın.

  8. Açılan pencerede sağlayıcı olarak Ollama seçin ve URL'yi http://localhost:11434 olarak ayarlayın.

    Ollama: yapılandırma

  9. Açılır listeden kurulu modeli (örneğin llama3.2:latest) seçin ve onaylayın.

  10. Simge satırında modelin kullanılacağı alanları seçin: metin, görseller, gömmeler (embeddings), ses işleme, içerik denetimi, gerçek zamanlı görevler, kodlama yardımı ve görsel analiz.

  11. Tamam düğmesine tıklayın ve pencereyi kapatın. Model, AI model listesinde kullanılabilir modeller arasında görüntülenir.

  12. AI'ya farklı görevler atayın. Açılır listeden bu görevleri yerine getirecek kurulu AI modellerini seçin.

  13. AI özelliklerine AI sekmesinden veya metni seçip sağ tıklayarak bağlam menüsünü açarak erişin.