32 GB VRAM · Q4 natif Amazon
RTX 5090
Points forts
- Exécute Phi-3.5 MoE en Q4 natif
- 32 GB VRAM — marge suffisante
Moteur local prêt
Phi-3.5 MoE
9 GPUs grand public peuvent exécuter Phi-3.5 MoE en Q4 nativement. Seuils VRAM précis et benchmarks ci-dessous.
9 GPUs compatibles
19 avec offloading
41.9B paramètres
131K contexte
Meilleur choix
RTX 5090 · 32 GB VRAM Q4 natif
Prix et disponibilité peuvent changer · lien affilié
Javier Morales Spécialiste matériel IA — 8 ans d’expérience
GitHub: github.com/javier-morales-ia
llama.cpp 0.2.x · CUDA 12 · ROCm 6 · mis à jour mensuellement · méthodologie →
Contexte d’exécution
ARCHITECTURE TRANSFORMER
CONTEXTE 131K TOKENS
QUANTIFICATION 4-BIT GGUF
FOURNISSEUR Microsoft
LICENCE MIT
BESOIN VRAM
21 GB
4GB 8GB 12GB 16GB 24GB+
Décision matérielle
Ce modèle nécessite unGPU haut de gamme (24 GB VRAM)
Minimum
RTX 4090
Fonctionne en Q4 — utilisable avec un peu d’attente
24 GB VRAM
Voir config compatible Équilibré
M4 Max 48GB
Meilleur équilibre valeur/performance au quotidien
48 GB VRAM
Voir config compatibleGPUs compatibles pour Phi-3.5 MoE
Meilleures options par compatibilité, marge VRAM et valeur — prix et disponibilité peuvent varier.
24 GB VRAM · Q4 natif Amazon
RTX 4090
Points forts
- Exécute Phi-3.5 MoE en Q4 natif
- 24 GB VRAM — marge suffisante
128 GB VRAM · Q4 natif Amazon
M4 Ultra
Points forts
- Exécute Phi-3.5 MoE en Q4 natif
- 128 GB VRAM — marge suffisante
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Comment exécuter ce modèle
Vérifiez si votre GPU peut exécuter Phi-3.5 MoE →
Calculateur VRAM — vérification instantanée
RTX 5090
32 GB · Exécute Q4 nativement · Voir la disponibilité
*Les prix et la disponibilité peuvent changer. Certains liens sont affiliés.
Configuration requise
VRAM GPU 21 GB GPU haut de gamme
RAM système 32 GB
32 GB recommandés
Stockage 21 GB Q4 · SSD recommandé
CPU Tout CPU moderne GPU requis
VRAM par quantification
| Quantification | VRAM nécessaire | Espace disque | Qualité |
|---|---|---|---|
| FP16 (qualité maximale) | 84 GB | 84 GB | Maximum |
| Q8 (haute qualité) | 42 GB | 42 GB | Quasi sans perte |
| Q4 (recommandé) Meilleur équilibre | 21 GB | 21 GB | Recommandée |
| Q2 (minimum) | 11 GB | 11 GB | Perte de qualité |
Détails du modèle
| Développeur | Microsoft |
| Paramètres | 41.9B |
| Fenêtre de contexte | 131,072 tokens |
| Licence | MIT |
| Cas d’usage | chat, coding, reasoning, analysis |
| Sortie | 2024-08 |
Installer avec Ollama
ollama run phi3.5-moe Hugging Face
microsoft/Phi-3.5-MoE-instruct Exigences techniques
Votre GPU peut-il exécuter Phi-3.5 MoE ?
Phi-3.5 MoE nécessite <strong class="text-primary-container">21 GB de VRAM</strong> en Q4. 9 GPUs grand public atteignent ce seuil. En dessous de 8 GB ou 19 GB, la latence d’offload augmente fortement.
11GB Minimum critique
21GB Optimal Q4
42GB Haute qualité Q8
84GB Max FP16
Matrice de performance matérielle
9 Q4 natif · 19 offload
GPUs recommandés pour Phi-3.5 MoE
Benchmarks réels
Sans avis sponsorisés
Sélection éditoriale
Basé sur les données
Meilleurs choix selon compatibilité, marge VRAM et valeur; prix et disponibilité peuvent varier.
RTX 5090
32 GB VRAM
Q4 natif
Voir disponibilité →
RTX 4090
24 GB VRAM
Q4 natif
Voir disponibilité →
M4 Ultra
128 GB VRAM
Q4 natif
Voir disponibilité →
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Phi-3.5 MoE — Guide de compatibilité
Phi-3.5 MoE nécessite un GPU haut de gamme comme la RTX 4090 ou un Mac avec M2 Ultra (ou mieux). La version Q4 demande 21 GB de VRAM. Consultez le calculateur VRAM pour vos options.
Comparez les GPUs pour Phi-3.5 MoE
Quel GPU vaut le coup ? Spécifications et benchmarks réels côte à côte.
Matériel compatible
GPUs qui exécutent Phi-3.5 MoE en Q4, triés par score de performance IA.
Benchmarks réels
Sans avis sponsorisés
Basé sur les données
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Alternatives plus pratiques
Modèles similaires dans la catégorie chat avec des besoins VRAM comparables.
Vous ne savez pas quel GPU il vous faut pour Phi-3.5 MoE ?
Le calculateur VRAM vous indique exactement quelle quantification votre matériel peut supporter.
RTX 5090
Voir disponibilité
Prix mis à jour quotidiennement