Ollama
LLM in locale con un solo comando, sul tuo computer.
La scheda di Olya
- Peculiarità
- Impacchetta gestione dei modelli, server REST ed endpoint compatibili con l'API di OpenAI in un unico binario che parte con un comando. Non è un modello: è l'infrastruttura che ti fa scaricare e far girare Llama, Gemma, Mistral, Qwen e decine di altri pesi aperti sul tuo hardware, senza cloud obbligatorio.
- Punti di forza
- I dati non lasciano la tua macchina, non paghi a token e funziona anche offline una volta scaricato il modello. L'installazione è una riga su Linux/macOS e la compatibilità con l'API OpenAI significa che gli strumenti che già usi ci parlano senza modifiche.
- Quando usarla
- Ideale per prototipare in locale, lavorare su dati sensibili o riservati, sviluppare senza bollette a consumo e imparare come funzionano gli LLM. Comoda anche come backend privato per app e agenti, con l'opzione cloud (da 20$/mese) quando serve un modello più grande del tuo hardware.
- Quando evitarla
- Se ti serve la qualità dei modelli di frontiera, sei comunque limitato da ciò che la tua GPU regge: su una macchina modesta è lento. Per produzione ad alto traffico o multi-utente serve costruirci intorno un'infrastruttura, e in quel caso un'API gestita è spesso più semplice ed economica in termini di tempo.