Esecuzione di modelli di IA locali
senza nuvole
dipendenza

Ollama e LLM locali come componenti a monte per OpenClaw Gateway: VRAM, quantizzazione, latenza di inferenza e routing, con le stesse approvazioni e registrazioni del cloud.

✓ Ollama a monte
✓ VRAM / quantitativo
✓ modello di routing
✓ La governance rimane

risposta diretta

Cosa sono i modelli locali?
All'interno di OpenClaw?

Risposta breve: Inferenza LLM sul proprio hardware (in genere Ollama su GPU o CPU) che utilizza OpenClaw Gateway come provider upstream: i token vengono generati localmente, non tramite il cloud Anthropic/OpenAI.

Sfumatura: Locale significa controllo sull'uscita dei dati, sulla latenza e sulla versione del modello, niente di meno. approvazioni sugli strumenti. VRAM, quantizzazione e routing determinano se è fattibile in produzione.

docker · Monitoraggio · Centro

Locale
inferenza
VRAM
limite
Itinerario
politica
audit
registri

Considerazione

Quando i modelli locali sono utili

Nessun dogma del "sempre locale": i compromessi operativi sono espliciti.

Privacy e residenza dei dati

I prompt e il contesto rimangono sulla tua rete, senza alcun tenant a monte presso il fornitore di servizi cloud. La conformità non è automatica; la registrazione e i backup restano di tua responsabilità.

Offline / isolato dalla rete

Inferenza senza connessione internet dopo il download del modello: utile per VLAN isolate; aggiornamenti e patch sono gestiti automaticamente.

Latenza di rete inferiore

Una chiamata LAN a Ollama all'indirizzo :11434 può essere più veloce di una chiamata cloud andata e ritorno. COME GPU/CPU in grado di gestirlo; altrimenti, la velocità sarà inferiore rispetto all'API.

Dati sensibili negli agenti

Contesto di posta/browser al modello locale: meno uscita; ancora Sicurezza e approvazioni sugli strumenti.

Governance e audit

Si controlla quale modello, quale versione, quale quantitativo: traccia di controllo su Gateway + Monitoraggio.

Lato posteriore: manutenzione

Ciclo di vita del modello, driver GPU, ottimizzazione della VRAM, rollback: operazioni più complesse di una semplice "chiave API in .env".

Controparte: hardware

Costi delle GPU, limiti di RAM/VRAM, raffreddamento: niente scalabilità gratuita come nel cloud a pagamento per token.

farmaceutico

Ollama e stack LLM locale

Nessun tutorial di installazione: ecco come si integra con il Gateway in un ambiente di produzione.

Ollama come punto finale di inferenza

OpenClaw Gateway punta a monte a OLLAMA_HOST (sidecar o host). Nessuna sostituzione del Gateway: il routing e gli strumenti rimangono centrali.

Modello di estrazione e ciclo di vita

Targhette (lama3.2:3b non “ultima versione” in produzione); testare i nuovi pesi nell’ambiente di staging prima del passaggio a Gateway.

Quantizzazione (Q4, Q8, …)

Compromesso: VRAM inferiore vs. qualità/allucinazioni. Quantità eccessivamente aggressiva → comportamento instabile in flussi di lavoro.

Inferenza CPU vs GPU

Per modelli/demo di piccole dimensioni, una configurazione basata esclusivamente sulla CPU può essere sufficiente; gli agenti di produzione con strumenti basati su browser spesso richiedono una GPU o un'alternativa cloud.

Cambio di modello

Modelli multipli = ingombri di VRAM multipli; è necessaria una politica di scaricamento per prevenire errori di memoria insufficiente (OOM).

Instradamento locale

Gateway seleziona il fornitore per agente/canale, con la stessa governance del cloud upstream.

Hardware

VRAM, RAM e prestazioni

VRAM

Perché la VRAM è importante

I pesi e la cache KV per la finestra di contesto sono memorizzati nella RAM della GPU. Modello troppo piccolo per la VRAM → caricamento fallito; contesto troppo grande → OOM a metà richiesta.

Esempio: 7 miliardi di Q4 su GPU da 8 GB è possibile, 13 miliardi e oltre di contesti lunghi spesso non senza offload.

CTX

Finestra di contesto

Contesto più lungo = più memoria e latenza. I dump del browser/posta in un singolo prompt consumano molta VRAM.

Esempio: Troncare/riassumere prima di trarre inferenze; separare i modelli di piccole dimensioni per la valutazione preliminare.

ZIO

OOM e uscita 137

Docker Olama sidecar senza limite di memoria può mandare in rovina l'intero VPS — vedi docker Sezione RAM.

Esempio: Statistiche Docker + limite cgroup sul servizio olama.

Scambio

Pressione di swap e di memoria

Scambio CPU con OOM GPU → inferenza in secondi per token — sembra un “agente sospeso”.

Esempio: Disabilita lo scambio per i nodi di inferenza o monitora vmstat.

LAT

latenza di inferenza

Il numero di token dipende dalla GPU, dalla quantità e dalla dimensione del batch. L'automazione del browser attende LLM: una versione locale lenta comporta un flusso di lavoro lento.

Esempio: Misurare la latenza p95 prima della messa in produzione; impostare i timeout per le chiamate agli strumenti.

Confronto

Modelli cloud vs. modelli locali

Neutro: le soluzioni ibride sono comuni nell'automazione delle PMI.

Privacy / uscita

Locale: I dati rimangono nella LAN/VPC

Nuvola: Inquilino a monte e DPA

Latenza (tipica)

Locale: Basso su LAN come GPU OK

Nuvola: Internet + coda

Costi (PMI)

Locale: Spese in conto capitale GPU + alimentazione + gestione

Nuvola: In base all'utilizzo/abbonamento

governance

Locale: Gestisci il modello e i log

Nuvola: Politiche del fornitore + il tuo gateway

Monitoraggio

Locale: VRAM, temperatura della GPU, stato di salute di Ollama

Nuvola: Errori API, limiti di frequenza

conformità

Locale: Possibilità di residenza

Nuvola: Fornitore di certificati

Affidabilità

Locale: Il tuo hardware/SPOF

Nuvola: SLA del fornitore

Scalabilità

Locale: Limitato da VRAM/GPU

Nuvola: Elastico (con costi)

percorso

Multimodello
percorso

Risposta breve: Non esiste un unico modello per tutto: sono necessarie policy Gateway specifiche per agente/canale, con fallback e gestione della latenza.

  • → Modello piccolo contro modello grande: Triage con 3B/7B on-premise; forte motivazione a favore di un modello più ampio o del cloud — separazione nella politica di routing.
  • → Agenti del browser + locale: I passaggi DOM attendono LLM: l'inferenza locale lenta si traduce in un'automazione lenta; valutare il cloud per i percorsi interattivi.
  • → Passaggio al cloud: In caso di OOM, timeout o sovraccarico: fallback controllato a soluzioni compatibili con Anthropic/OpenAI — nessuna doppia scrittura silenziosa.
  • → Suddivisione del carico di lavoro: Riepilogo locale di sola lettura; pianificazione degli strumenti di mutazione con il cloud — vedi Strumenti per agenti.
  • → Politiche di routing: Per ogni canale/agente nella configurazione del Gateway; documentare quale modello e perché — verifica in caso di incidente.
🔀 Politica di riserva

Documento: per OOM/timeout → quale modello cloud, token massimi, quali dati possono uscire. Nessun fallback silenzioso senza RBAC-revisione.

Fallimenti

Quando i modelli locali non funzionano

VRAM

Esaurimento della memoria GPU

Due modelli caricati o picco di contesto → CUDA OOM; Gateway vede upstream 500/timeout.

Perfetto

Inferenza lenta

Solo CPU o limitazione termica: la coda di approvazione sembra un'IA difettosa.

Pugnalata

Instabilità e corruzione

Download incompleto, disco pieno nell'archivio del modello: il riavvio non risolve il problema senza un controllo di integrità.

Quantitativo

Quantificazione errata

Bassa qualità → più allucinazioni nei piani degli strumenti: non è che "il modello sia stupido", ma un compromesso sbagliato.

Agente

Ritardo dell'agente del browser

Ogni decisione relativa al DOM attende i token, ovvero dei timeout nella catena di strumenti del browser.

Errori a monte: Problemi · controllo OLLAMA_HOST e VRAM prima della reinstallazione di Gateway.

produzione

inferenza locale
lista di controllo

Stessa governance del cloud: Strumenti per agenti e le autorizzazioni rimangono attive.

📋 Produzione di modelli locali

FAQ

Modelli locali —
risposta diretta

Ollam, GPU, VRAM, fallback cloud: prima una breve premessa.

Problema infrastrutturale →

Risposta breve: Inferenza LLM sul tuo hardware (Ollama, llama.cpp, stack GPU) come upstream per OpenClaw Gateway: nessuna API cloud per ogni token.

Sfumatura: Locale = gestisci pesi, VRAM e aggiornamenti; Gateway rimane l'orchestratore per agenti e strumenti.

Seguito: docker configurazione sidecar

Risposta breve: Sì, con blocco, monitoraggio, limiti di memoria, test di staging e fallback; no, come "ultima richiesta su un piccolo VPS senza osservabilità".

Causa: OOM e silent slowdown sono incidenti di produzione.

Seguito: Registri e monitoraggio

Risposta breve: Non necessariamente: i modelli di piccole dimensioni possono essere eseguiti sulla CPU per la fase di triage; gli agenti interattivi e i flussi di lavoro basati su browser solitamente richiedono la GPU o il cloud.

Causa: token/s su CPU rispetto a CUDA.

Consiglio: misurare la latenza prima del commit in produzione.

Risposta breve: La memoria GPU per i pesi del modello e la cache di inferenza rappresenta un collo di bottiglia, insieme alla RAM, per il processo Ollama.

Sfumatura: L'espansione della finestra di contesto consuma VRAM; la quantizzazione riduce l'ingombro a scapito della qualità.

Seguito: Sezione VRAM in questa pagina.

Risposta breve: Limiti hardware (GPU/CPU), quantizzazione, lunghezza del contesto, agenti concorrenti: non vale la regola "locale = sempre più veloce".

Causa: scambio, strozzatura termica, due modelli caricati simultaneamente.

Aggiustare: Instradamento, modello più piccolo, fallback cloud per il percorso critico.

Risposta breve: In caso di carenza di VRAM, elevati requisiti di qualità, carico di picco elastico o se la gestione della GPU non è adatta al team.

Sfumatura: La soluzione ibrida è comune: locale per la gestione della privacy, cloud per le elaborazioni più complesse.

Seguito: Instradamento multimodello sopra.

Risposta breve: Più sicuro per Uscita dati, non automaticamente per azioni — Gli agenti con shell/browser rimangono rischiosi.

Causa: Inferenza locale ≠ governo locale.

Seguito: Sicurezza · RBAC

IA autogestita

Infrastruttura locale di intelligenza artificiale
e architettura

Offriamo supporto per i sidecar di Ollama, il dimensionamento della VRAM, il routing dei modelli, le politiche di fallback e la protezione di Gateway/Docker: una guida all'implementazione per i team che combinano consapevolmente cloud e ambienti on-premise.

✓ Recensione di GPU/VRAM
✓ modello di routing
✓ Cloud ibrido/locale