32 GB VRAM · Q4 natif Amazon
RTX 5090
Points forts
- Exécute CodeLlama 34B en Q4 natif
- 32 GB VRAM — marge suffisante
Moteur local prêt
CodeLlama 34B
10 GPUs grand public peuvent exécuter CodeLlama 34B en Q4 nativement. Seuils VRAM précis et benchmarks ci-dessous.
10 GPUs compatibles
19 avec offloading
34B paramètres
16K contexte
Meilleur choix
RTX 5090 · 32 GB VRAM Q4 natif
Prix et disponibilité peuvent changer · lien affilié
Javier Morales Spécialiste matériel IA — 8 ans d’expérience
GitHub: github.com/javier-morales-ia
llama.cpp 0.2.x · CUDA 12 · ROCm 6 · mis à jour mensuellement · méthodologie →
Contexte d’exécution
ARCHITECTURE TRANSFORMER
CONTEXTE 16K TOKENS
QUANTIFICATION 4-BIT GGUF
FOURNISSEUR Meta
LICENCE llama-2-community
BESOIN VRAM
19 GB
4GB 8GB 12GB 16GB 24GB+
Décision matérielle
Ce modèle nécessite unGPU haut de gamme (24 GB VRAM)
Minimum
RX 7900 XT
Fonctionne en Q4 — utilisable avec un peu d’attente
20 GB VRAM
Voir config compatible Équilibré
M4 Max 48GB
Meilleur équilibre valeur/performance au quotidien
48 GB VRAM
Voir config compatibleGPUs compatibles pour CodeLlama 34B
Meilleures options par compatibilité, marge VRAM et valeur — prix et disponibilité peuvent varier.
24 GB VRAM · Q4 natif Amazon
RTX 4090
Points forts
- Exécute CodeLlama 34B en Q4 natif
- 24 GB VRAM — marge suffisante
128 GB VRAM · Q4 natif Amazon
M4 Ultra
Points forts
- Exécute CodeLlama 34B en Q4 natif
- 128 GB VRAM — marge suffisante
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Comment exécuter ce modèle
Vérifiez si votre GPU peut exécuter CodeLlama 34B →
Calculateur VRAM — vérification instantanée
RTX 5090
32 GB · Exécute Q4 nativement · Voir la disponibilité
*Les prix et la disponibilité peuvent changer. Certains liens sont affiliés.
Configuration requise
VRAM GPU 19 GB GPU haut de gamme
RAM système 29 GB
32 GB recommandés
Stockage 19 GB Q4 · SSD recommandé
CPU Tout CPU moderne GPU requis
VRAM par quantification
| Quantification | VRAM nécessaire | Espace disque | Qualité |
|---|---|---|---|
| FP16 (qualité maximale) | 68 GB | 68 GB | Maximum |
| Q8 (haute qualité) | 34 GB | 34 GB | Quasi sans perte |
| Q4 (recommandé) Meilleur équilibre | 19 GB | 19 GB | Recommandée |
| Q2 (minimum) | 10 GB | 10 GB | Perte de qualité |
Détails du modèle
| Développeur | Meta |
| Paramètres | 34B |
| Fenêtre de contexte | 16,384 tokens |
| Licence | llama-2-community |
| Cas d’usage | coding, chat |
| Sortie | 2023-08 |
Installer avec Ollama
ollama run codellama:34b Hugging Face
codellama/CodeLlama-34b-Instruct-hf Exigences techniques
Votre GPU peut-il exécuter CodeLlama 34B ?
CodeLlama 34B nécessite <strong class="text-primary-container">19 GB de VRAM</strong> en Q4. 10 GPUs grand public atteignent ce seuil. En dessous de 8 GB ou 17 GB, la latence d’offload augmente fortement.
10GB Minimum critique
19GB Optimal Q4
34GB Haute qualité Q8
68GB Max FP16
Matrice de performance matérielle
10 Q4 natif · 19 offload
GPUs recommandés pour CodeLlama 34B
Benchmarks réels
Sans avis sponsorisés
Sélection éditoriale
Basé sur les données
Meilleurs choix selon compatibilité, marge VRAM et valeur; prix et disponibilité peuvent varier.
RTX 5090
32 GB VRAM
Q4 natif
Voir disponibilité →
RTX 4090
24 GB VRAM
Q4 natif
Voir disponibilité →
M4 Ultra
128 GB VRAM
Q4 natif
Voir disponibilité →
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
CodeLlama 34B — Guide de compatibilité
CodeLlama 34B nécessite un GPU haut de gamme comme la RTX 4090 ou un Mac avec M2 Ultra (ou mieux). La version Q4 demande 19 GB de VRAM. Consultez le calculateur VRAM pour vos options.
Comparez les GPUs pour CodeLlama 34B
Quel GPU vaut le coup ? Spécifications et benchmarks réels côte à côte.
Matériel compatible
GPUs qui exécutent CodeLlama 34B en Q4, triés par score de performance IA.
Benchmarks réels
Sans avis sponsorisés
Basé sur les données
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Alternatives plus pratiques
Modèles similaires dans la catégorie coding avec des besoins VRAM comparables.
Vous ne savez pas quel GPU il vous faut pour CodeLlama 34B ?
Le calculateur VRAM vous indique exactement quelle quantification votre matériel peut supporter.
RTX 5090
Voir disponibilité
Prix mis à jour quotidiennement