Que GPU preciso para executar IA local?

Para IA local, recomenda-se uma GPU com pelo menos 8 GB de VRAM. A NVIDIA RTX 3060 (12 GB) é uma excelente opção de entrada e executa Llama 3.1 8B a cerca de 30 tokens/s em Q4.

Quanta VRAM preciso para Llama 3?

Llama 3.1 8B precisa de cerca de 5 GB de VRAM em Q4. Para Llama 3.3 70B são necessários cerca de 42 GB de VRAM ou Apple Silicon com 48 GB de memória unificada.

Posso executar IA sem GPU?

Sim. Modelos pequenos como Phi-3-mini podem correr em CPU a 10-15 tokens/s num i7 moderno. Precisa de pelo menos 16 GB de RAM e deve aceitar um desempenho mais baixo.

Escolha um modelo.
Nós mostramos que hardware você precisa.

Name: RunAIatHome
Author: RunAIatHome

Requisitos exatos de VRAM, benchmarks reais e GPUs compatíveis, sem adivinhação.

Deixe de adivinhar. Encontre a GPU que determina que modelos de IA pode executar">VRAM e GPU exatas de que precisa em menos de 5 minutos.

Seleção ativa de modelo

Llama 3.1 8B Phi-4 Stable Diffusion Qwen2.5 Coder

Começar com um modelo Ver setups reais

Perfil do modelo

Phi-4

Microsoft · 14B parâmetros

OTIMIZADO

Requisito de VRAM

8.4 GB

4GB8GB12GB16GB 24GB+

Nós locais recomendados

Inferência FP16

Latência 24ms

Por que isto é difícil

Executar IA local e mais dificil do que deveria

Especificacoes nao dizem tudo

TFLOPS, CUDA cores e tensor ops nao dizem quais modelos consegue realmente executar. O desempenho real depende de largura de banda de memoria e eficiencia de quantizacao.

Decisoes de hardware erradas

Comprar a GPU errada pode limitar o seu sistema durante anos. A VRAM e o principal gargalo para LLMs, e muitas placas de consumo ficam aquem para inferencia local.

Sem respostas claras

Muitos guias sao vagos ou desatualizados. Quando um tutorial e publicado, arquiteturas de modelos e otimizações de runtime ja evoluiram.

Elimine as adivinhacoes.

O nosso motor de diagnostico cruza as capacidades exatas da sua maquina com cada modelo do catalogo. Sem benchmarks sinteticos: inferencia real em hardware real.

Verifique o seu hardware em 2 minutos

Como funciona