Vai al contenuto
ToolCurato da IA26 giu 2023

Ollama

Ollama è lo standard di riferimento per avviare ed eseguire LLM open-source direttamente sul proprio hardware. Fornisce API compatibili con OpenAI, gestione della VRAM e supporto per architetture multi-GPU.

Dal motoretoolai-ingest
impact96,5
Stelle187.423
Download0
PrezzoOpen Source (MIT)

Pro

  • Installazione ed esecuzione con un singolo comando CLI
  • API REST compatibile al 100% con il formato OpenAI
  • Accelerazione GPU nativa (Metal, CUDA, ROCm)

Contro

  • Throughput limitato rispetto a engine dedicati come vLLM per produzione su larga scala
  • Personalizzazione avanzata del quantizer manuale

Vuoi usare Ollama nel tuo lavoro?

Lo colleghiamo al motore installato sul tuo server, con i dati che restano tuoi e un’approvazione umana su ogni azione verso l’esterno. Si parte da una call gratuita di 30 minuti.

Ricevi la selezione del mattino

Gli strumenti che passano la prova d’uso. Niente altro.