Esecuzione di modelli di IA locali
senza nuvole
dipendenza
Ollama e LLM locali come componenti a monte per OpenClaw Gateway: VRAM, quantizzazione, latenza di inferenza e routing, con le stesse approvazioni e registrazioni del cloud.
risposta diretta
Cosa sono i modelli locali?
All'interno di OpenClaw?
Risposta breve: Inferenza LLM sul proprio hardware (in genere Ollama su GPU o CPU) che utilizza OpenClaw Gateway come provider upstream: i token vengono generati localmente, non tramite il cloud Anthropic/OpenAI.
Sfumatura: Locale significa controllo sull'uscita dei dati, sulla latenza e sulla versione del modello, niente di meno. approvazioni sugli strumenti. VRAM, quantizzazione e routing determinano se è fattibile in produzione.
docker · Monitoraggio · Centro
Considerazione
Quando i modelli locali sono utili
Nessun dogma del "sempre locale": i compromessi operativi sono espliciti.
Privacy e residenza dei dati
I prompt e il contesto rimangono sulla tua rete, senza alcun tenant a monte presso il fornitore di servizi cloud. La conformità non è automatica; la registrazione e i backup restano di tua responsabilità.
Offline / isolato dalla rete
Inferenza senza connessione internet dopo il download del modello: utile per VLAN isolate; aggiornamenti e patch sono gestiti automaticamente.
Latenza di rete inferiore
Una chiamata LAN a Ollama all'indirizzo :11434 può essere più veloce di una chiamata cloud andata e ritorno. COME GPU/CPU in grado di gestirlo; altrimenti, la velocità sarà inferiore rispetto all'API.
Dati sensibili negli agenti
Contesto di posta/browser al modello locale: meno uscita; ancora Sicurezza e approvazioni sugli strumenti.
Governance e audit
Si controlla quale modello, quale versione, quale quantitativo: traccia di controllo su Gateway + Monitoraggio.
Lato posteriore: manutenzione
Ciclo di vita del modello, driver GPU, ottimizzazione della VRAM, rollback: operazioni più complesse di una semplice "chiave API in .env".
Controparte: hardware
Costi delle GPU, limiti di RAM/VRAM, raffreddamento: niente scalabilità gratuita come nel cloud a pagamento per token.
farmaceutico
Ollama e stack LLM locale
Nessun tutorial di installazione: ecco come si integra con il Gateway in un ambiente di produzione.
Ollama come punto finale di inferenza
OpenClaw Gateway punta a monte a OLLAMA_HOST (sidecar o host). Nessuna sostituzione del Gateway: il routing e gli strumenti rimangono centrali.
Modello di estrazione e ciclo di vita
Targhette (lama3.2:3b non “ultima versione” in produzione); testare i nuovi pesi nell’ambiente di staging prima del passaggio a Gateway.
Quantizzazione (Q4, Q8, …)
Compromesso: VRAM inferiore vs. qualità/allucinazioni. Quantità eccessivamente aggressiva → comportamento instabile in flussi di lavoro.
Inferenza CPU vs GPU
Per modelli/demo di piccole dimensioni, una configurazione basata esclusivamente sulla CPU può essere sufficiente; gli agenti di produzione con strumenti basati su browser spesso richiedono una GPU o un'alternativa cloud.
Cambio di modello
Modelli multipli = ingombri di VRAM multipli; è necessaria una politica di scaricamento per prevenire errori di memoria insufficiente (OOM).
Instradamento locale
Gateway seleziona il fornitore per agente/canale, con la stessa governance del cloud upstream.
Hardware
VRAM, RAM e prestazioni
Perché la VRAM è importante
I pesi e la cache KV per la finestra di contesto sono memorizzati nella RAM della GPU. Modello troppo piccolo per la VRAM → caricamento fallito; contesto troppo grande → OOM a metà richiesta.
Esempio: 7 miliardi di Q4 su GPU da 8 GB è possibile, 13 miliardi e oltre di contesti lunghi spesso non senza offload.
Finestra di contesto
Contesto più lungo = più memoria e latenza. I dump del browser/posta in un singolo prompt consumano molta VRAM.
Esempio: Troncare/riassumere prima di trarre inferenze; separare i modelli di piccole dimensioni per la valutazione preliminare.
OOM e uscita 137
Docker Olama sidecar senza limite di memoria può mandare in rovina l'intero VPS — vedi docker Sezione RAM.
Esempio: Statistiche Docker + limite cgroup sul servizio olama.
Pressione di swap e di memoria
Scambio CPU con OOM GPU → inferenza in secondi per token — sembra un “agente sospeso”.
Esempio: Disabilita lo scambio per i nodi di inferenza o monitora vmstat.
latenza di inferenza
Il numero di token dipende dalla GPU, dalla quantità e dalla dimensione del batch. L'automazione del browser attende LLM: una versione locale lenta comporta un flusso di lavoro lento.
Esempio: Misurare la latenza p95 prima della messa in produzione; impostare i timeout per le chiamate agli strumenti.
Confronto
Modelli cloud vs. modelli locali
Neutro: le soluzioni ibride sono comuni nell'automazione delle PMI.
Privacy / uscita
Locale: I dati rimangono nella LAN/VPC
Nuvola: Inquilino a monte e DPA
Latenza (tipica)
Locale: Basso su LAN come GPU OK
Nuvola: Internet + coda
Costi (PMI)
Locale: Spese in conto capitale GPU + alimentazione + gestione
Nuvola: In base all'utilizzo/abbonamento
governance
Locale: Gestisci il modello e i log
Nuvola: Politiche del fornitore + il tuo gateway
Monitoraggio
Locale: VRAM, temperatura della GPU, stato di salute di Ollama
Nuvola: Errori API, limiti di frequenza
conformità
Locale: Possibilità di residenza
Nuvola: Fornitore di certificati
Affidabilità
Locale: Il tuo hardware/SPOF
Nuvola: SLA del fornitore
Scalabilità
Locale: Limitato da VRAM/GPU
Nuvola: Elastico (con costi)
percorso
Multimodello
percorso
Risposta breve: Non esiste un unico modello per tutto: sono necessarie policy Gateway specifiche per agente/canale, con fallback e gestione della latenza.
- → Modello piccolo contro modello grande: Triage con 3B/7B on-premise; forte motivazione a favore di un modello più ampio o del cloud — separazione nella politica di routing.
- → Agenti del browser + locale: I passaggi DOM attendono LLM: l'inferenza locale lenta si traduce in un'automazione lenta; valutare il cloud per i percorsi interattivi.
- → Passaggio al cloud: In caso di OOM, timeout o sovraccarico: fallback controllato a soluzioni compatibili con Anthropic/OpenAI — nessuna doppia scrittura silenziosa.
- → Suddivisione del carico di lavoro: Riepilogo locale di sola lettura; pianificazione degli strumenti di mutazione con il cloud — vedi Strumenti per agenti.
- → Politiche di routing: Per ogni canale/agente nella configurazione del Gateway; documentare quale modello e perché — verifica in caso di incidente.
Documento: per OOM/timeout → quale modello cloud, token massimi, quali dati possono uscire. Nessun fallback silenzioso senza RBAC-revisione.
Fallimenti
Quando i modelli locali non funzionano
Esaurimento della memoria GPU
Due modelli caricati o picco di contesto → CUDA OOM; Gateway vede upstream 500/timeout.
Inferenza lenta
Solo CPU o limitazione termica: la coda di approvazione sembra un'IA difettosa.
Instabilità e corruzione
Download incompleto, disco pieno nell'archivio del modello: il riavvio non risolve il problema senza un controllo di integrità.
Quantificazione errata
Bassa qualità → più allucinazioni nei piani degli strumenti: non è che "il modello sia stupido", ma un compromesso sbagliato.
Ritardo dell'agente del browser
Ogni decisione relativa al DOM attende i token, ovvero dei timeout nella catena di strumenti del browser.
Errori a monte: Problemi · controllo OLLAMA_HOST e VRAM prima della reinstallazione di Gateway.
produzione
inferenza locale
lista di controllo
Stessa governance del cloud: Strumenti per agenti e le autorizzazioni rimangono attive.
Risposta breve: Inferenza LLM sul tuo hardware (Ollama, llama.cpp, stack GPU) come upstream per OpenClaw Gateway: nessuna API cloud per ogni token.
Sfumatura: Locale = gestisci pesi, VRAM e aggiornamenti; Gateway rimane l'orchestratore per agenti e strumenti.
Seguito: docker configurazione sidecar
Risposta breve: Sì, con blocco, monitoraggio, limiti di memoria, test di staging e fallback; no, come "ultima richiesta su un piccolo VPS senza osservabilità".
Causa: OOM e silent slowdown sono incidenti di produzione.
Seguito: Registri e monitoraggio
Risposta breve: Non necessariamente: i modelli di piccole dimensioni possono essere eseguiti sulla CPU per la fase di triage; gli agenti interattivi e i flussi di lavoro basati su browser solitamente richiedono la GPU o il cloud.
Causa: token/s su CPU rispetto a CUDA.
Consiglio: misurare la latenza prima del commit in produzione.
Risposta breve: La memoria GPU per i pesi del modello e la cache di inferenza rappresenta un collo di bottiglia, insieme alla RAM, per il processo Ollama.
Sfumatura: L'espansione della finestra di contesto consuma VRAM; la quantizzazione riduce l'ingombro a scapito della qualità.
Seguito: Sezione VRAM in questa pagina.
Risposta breve: Limiti hardware (GPU/CPU), quantizzazione, lunghezza del contesto, agenti concorrenti: non vale la regola "locale = sempre più veloce".
Causa: scambio, strozzatura termica, due modelli caricati simultaneamente.
Aggiustare: Instradamento, modello più piccolo, fallback cloud per il percorso critico.
Risposta breve: In caso di carenza di VRAM, elevati requisiti di qualità, carico di picco elastico o se la gestione della GPU non è adatta al team.
Sfumatura: La soluzione ibrida è comune: locale per la gestione della privacy, cloud per le elaborazioni più complesse.
Seguito: Instradamento multimodello sopra.
IA autogestita
Infrastruttura locale di intelligenza artificiale
e architettura
Offriamo supporto per i sidecar di Ollama, il dimensionamento della VRAM, il routing dei modelli, le politiche di fallback e la protezione di Gateway/Docker: una guida all'implementazione per i team che combinano consapevolmente cloud e ambienti on-premise.