Pređi na glavni sadržaj

Ollama

Ollama je softver otvorenog koda koji omogućava pokretanje popularnih AI modela, npr. Llama 3.2 ili Gemma 2.

Ovo je vodič korak po korak za instalaciju i konfiguraciju Ollama za ONLYOFFICE Docs.

Sistemski zahtevi​

Hardverski zahtevi za Ollama zavise od veličine modela koji nameravate da pokrenete:

Veličina modelaRAM
7B8 GB
13B16 GB
70B64 GB

Potrebno je najmanje 4 GB prostora na disku za Ollama binarni fajl. Dodatni prostor je potreban za skladištenje modela, što može varirati od nekoliko GB do stotina GB u zavisnosti od modela.

Preporučuje se posvećeni GPU za prihvatljive performanse. Pokretanje samo na CPU je moguće, ali će rezultirati značajno sporijim vremenom odziva.

Povezivanje i konfiguracija Ollama​

  1. (Opcionalno) Instalirajte Homebrew ako je to vaš preferirani način upravljanja paketima na macOS i Linux:

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

  2. Da biste instalirali Ollama, pokrenite sledeću komandu:

    curl -fsSL https://ollama.com/install.sh | sh

    Za Homebrew, pokrenite sledeću komandu:

    brew install ollama

    Nakon instalacije, Ollama omogućava komande za servisiranje, listanje, inspekciju i pokretanje modela na vašem računaru.

  3. Pratite ove korake za konfiguraciju Ollama:

    1. Pokrenite lokalni AI server pokretanjem sledeće komande u Terminalu:

      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://*

    2. Pokrenite Ollama sada i restartujte pri prijavi:

      brew services start ollama

    3. Alternativno, ako pozadinski servis nije potreban, pokrenite sledeću komandu:

      ollama serve

  4. Preuzmite model koji želite da koristite u drugom Terminal prozoru. Na primer, da instalirate i pokrenete Llama 3.2:

    ollama run llama3.2

    Ollama: configuration

    Model će biti preuzet i pokrenut lokalno. Ukupan broj instaliranih modela je neograničen. Za listu dostupnih modela, molimo vas da pogledate zvaničnu Ollama dokumentaciju.

    Pre instalacije, uverite se da vaš računar ima dovoljno memorije i prostora na disku za modele.

  5. Pratite ovaj vodič za opštu konfiguraciju AI dodatka.

  6. Kada je dodatak instaliran, dodajte AI modele. Idite na karticu AI i otvorite Podešavanja.

  7. Izaberite Uredi AI modele u donjem levom uglu prozora i kliknite Dodaj.

  8. U prozoru koji se pojavi, izaberite Ollama kao provajdera i postavite URL na http://localhost:11434.

    Ollama: configuration

  9. Izaberite instalirani model (npr. llama3.2:latest) iz padajuće liste i potvrdite.

  10. U redu ikona, izaberite model koji se koristi za: tekst, slike, ugrađivanje, obradu zvuka, moderaciju sadržaja, zadatke u realnom vremenu, pomoć pri kodiranju i vizuelnu analizu.

  11. Kliknite OK i zatvorite prozor. Model će se pojaviti na listi dostupnih modela u listi AI modela.

  12. Dodelite različite zadatke AI-u. Iz padajuće liste izaberite instalirane AI modele koji će izvršavati ove zadatke.

  13. Pristupite AI funkcijama putem kartice AI ili selektovanjem teksta i desnim klikom za otvaranje kontekstualnog menija.