Ollama

Systemanforderungen

Die Hardwareanforderungen für Ollama hängen von der Größe des Modells ab, das Sie ausführen möchten:

Mindestens 4 GB freier Speicherplatz werden für die Ollama-Binärdatei benötigt. Zusätzlicher Speicherplatz wird für die Speicherung der Modelle benötigt, der je nach Modell von mehreren GB bis zu Hunderten von GB reichen kann.

Eine dedizierte GPU wird für eine akzeptable Leistung empfohlen. Der Betrieb nur auf der CPU ist möglich, führt jedoch zu deutlich langsameren Reaktionszeiten.

Verbinden und Konfigurieren von Ollama

1. (Optional) Installieren Sie Homebrew, wenn dies Ihre bevorzugte Methode zur Paketverwaltung unter macOS und Linux ist:

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. Um Ollama zu installieren, führen Sie folgenden Befehl aus:

   curl -fsSL https://ollama.com/install.sh | sh

   Für Homebrew führen Sie folgenden Befehl aus:

   brew install ollama

   Nach der Installation stellt Ollama Befehle zum Bereitstellen, Auflisten, Überprüfen und Ausführen von Modellen auf Ihrem Rechner bereit.

3. Befolgen Sie diese Schritte, um Ollama zu konfigurieren:
   1. Starten Sie den lokalen KI-Server, indem Sie folgenden Befehl im Terminal ausführen:

      export OLLAMA_ORIGINS=http://*,https://*,onlyoffice://* 

   2. Starten Sie Ollama jetzt und richten Sie den automatischen Neustart beim Login ein:

      brew services start ollama

   3. Alternativ, falls kein Hintergrunddienst benötigt wird, führen Sie folgenden Befehl aus:

      ollama serve

4. Laden Sie das Modell, das Sie verwenden möchten, in einem weiteren Terminalfenster herunter. Zum Beispiel, um Llama 3.2 zu installieren und auszuführen:

   ollama run llama3.2

   

   Das Modell wird lokal heruntergeladen und gestartet. Die Gesamtzahl der installierten Modelle ist unbegrenzt. Für eine Liste verfügbarer Modelle konsultieren Sie bitte die offizielle Ollama-Dokumentation.

   Stellen Sie vor der Installation sicher, dass Ihr Rechner über ausreichend Arbeitsspeicher und Speicherplatz für die Modelle verfügt.

5. Befolgen Sie diese Anleitung für die allgemeine Konfiguration des KI-Plugins.
6. Nachdem das Plugin installiert ist, fügen Sie KI-Modelle hinzu. Gehen Sie zur Registerkarte AI und öffnen Sie Einstellungen.
7. Wählen Sie unten links im Fenster KI-Modelle bearbeiten und klicken Sie auf Hinzufügen.
8. Wählen Sie im erscheinenden Fenster Ollama als Anbieter aus und setzen Sie die URL auf http://localhost:11434.
   
9. Wählen Sie das installierte Modell (z. B. llama3.2:latest) aus der Dropdown-Liste aus und bestätigen Sie.
10. Wählen Sie in der Symbolleiste das Modell aus, das für folgende Aufgaben verwendet wird: Text, Bilder, Einbettungen, Audioverarbeitung, Inhaltsmoderation, Echtzeitaufgaben, Programmierhilfe und visuelle Analyse.
11. Klicken Sie auf OK und schließen Sie das Fenster. Das Modell erscheint in der Liste der verfügbaren Modelle in der KI-Modellliste.
12. Weisen Sie der KI unterschiedliche Aufgaben zu. Wählen Sie aus der Dropdown-Liste die installierten KI-Modelle aus, die diese Aufgaben ausführen sollen.
13. Greifen Sie auf die KI-Funktionen über die Registerkarte AI zu oder indem Sie Text markieren und mit der rechten Maustaste das Kontextmenü öffnen.