Ollama

Aus ahrensburg.city
Zur Navigation springen Zur Suche springen

Ollama ist ein Tool, das es ermöglicht, Sprachmodelle effizient und ressourcenschonend im Servermodus zu betreiben. Es ist in der Lage, die Anfragen von mehreren Clients gleichzeitig zu verarbeiten und die Modelle in einem Cache zu speichern, um die Antwortzeiten zu verkürzen.

Installation

Ubuntu

curl -fsSL https://ollama.com/install.sh | sh