Quale GPU mi serve per eseguire IA in locale?

Per eseguire modelli IA in locale e consigliata una GPU con almeno 8 GB di VRAM. La NVIDIA RTX 3060 (12 GB di VRAM) e una solida opzione di ingresso e raggiunge circa 30 token/s con Llama 3.1 8B in Q4.

Quanta VRAM serve per eseguire Llama 3?

Llama 3.1 8B richiede circa 5 GB di VRAM in Q4. Per Llama 3.3 70B servono circa 42 GB di VRAM oppure Apple Silicon con 48 GB di memoria unificata.

Posso eseguire IA senza GPU?

Si. Modelli piccoli come Phi-3-mini possono girare solo su CPU a circa 10-15 token/s su un i7 moderno. Servono almeno 16 GB di RAM e prestazioni piu basse rispetto a una GPU.

Scegli un modello.
Ti diremo quale hardware ti serve.

Name: RunAIatHome
Author: RunAIatHome

Requisiti VRAM precisi, benchmark reali e GPU compatibili, senza tentativi.

Basta tirare a indovinare. Trova la GPU che determina quali modelli di IA puoi eseguire">VRAM e la GPU esatte che ti servono in meno di 5 minuti.

Selezione modello attiva

Llama 3.1 8B Phi-4 Stable Diffusion Qwen2.5 Coder

Inizia da un modello Vedi setup reali

Profilo modello

Phi-4

Microsoft · 14B parametri

OTTIMIZZATO

Requisito VRAM

8.4 GB

4GB8GB12GB16GB 24GB+

Nodi locali consigliati

Inferenza FP16

Latenza 24ms

Perché è così difficile

Eseguire IA in locale e piu difficile di quanto dovrebbe essere

Le specifiche non bastano

TFLOPS, core CUDA e tensor ops non dicono quali modelli puoi davvero eseguire. Le prestazioni reali dipendono da banda memoria e quantizzazione.

Decisioni hardware sbagliate

Comprare la GPU sbagliata puo limitarti per anni. La VRAM e il collo di bottiglia principale per gli LLM e molte GPU consumer sono sottodimensionate.

Nessuna risposta chiara

Molte guide sono vaghe o datate. Quando un tutorial viene pubblicato, architetture e ottimizzazioni runtime sono gia cambiate.

Elimina le supposizioni.

Il nostro motore diagnostico confronta le capacita reali della tua macchina con ogni modello del catalogo. Nessun benchmark sintetico: inferenza reale su hardware reale.

Controlla il tuo hardware in 2 minuti

Come funziona