Ollama

Ollama ist ein Tool, das es ermöglicht, Sprachmodelle effizient und ressourcenschonend im Servermodus zu betreiben. Es ist in der Lage, die Anfragen von mehreren Clients gleichzeitig zu verarbeiten und die Modelle in einem Cache zu speichern, um die Antwortzeiten zu verkürzen.

Installation

Ubuntu

curl -fsSL https://ollama.com/install.sh | sh