Un anneau de progression circulaire indique une utilisation de la VRAM de 100,0 % en rouge. En dessous, le texte affiche « INSUFFICIENT », suivi d’un besoin de 287,2 GB de VRAM pour une limite de 12 GB.

Quel GPU pour votre IA locale ? Le calcul en 10 secondes

Accueil » Quel GPU pour votre IA locale ? Le calcul en 10 secondes

Les tokens, c’est comme les jetons dans un casino, on en crame très vite et ça coûte cher ! Et là on se dit, mais pourquoi pas héberger en local ? En plus, on sera souverain.

Mais quelles ressources, combien de VRAM (mémoire vidéo / GPU), comment le calculer et le budgétiser ?

C’est très simple, rdv sur ce calculateur : https://apxml.com/tools/vram-calculator

Article content

On choisit sa catégorie : inférence / fine-tuning

Son modèle, en l’occurence le dernier DeepSeek V4.1 Flash

La quantization, c’est à dire la compression du modèle. On réduit la précision du modèle pour gagner de la place. Généralement on choisit INT4 qui permet d’obtenir une excellente compression(~70%) tout en gardant une qualité acceptable.

Le KV Cache Quantization, c’est la compression du cache d’entrée. Pour chaque requête en entrée, on doit l’encoder et la stocker ce qui prend de la place.

Article content

Ensuite, on configure les variables d’exploitation de notre modèle, c’est à dire comment on va l’utiliser.

BatchSize : Le nombre de requête traité en même temps. Si on en a 32, notre modèle est capable de traiter 32 requêtes en même temps.

Sequence Length : La longeur en token de notre input + output. Plus elle est grande, plus cela nous prend du KV Cache. C’est important en fonction des requêtes prévues. Si on traite des gros documents, on aura besoin de grande séquence (> 32’000), si on traite des commentaires on aura besoin de moins (8’000 par exemple)

Et Concurrent Users : Le nombre d’utilisateur que nous prévoyons en même temps.

Article content

Et ensuite, voilà, nous avons la mémoire VRAM (Gpu) nécessaire pour faire tourner en local notre modèle en fonction de notre configuration.

Article content

On voit ici que la facture est salée. 282.7GB de VRAM.

J’aurai au minimum besoin de 6X NVidia Rtx 6000 Ada de 48 GB (~60’000$) ou d’un Mac Studio M3 Ultra avec 512 GB de mémoire unifiée (~15’000$).

Fait intéressant, on peut voir aussi la Generation Speed, le nombre de token par seconde généré, très important pour la rapidité de notre sytème.

On peut aussi faire une comparaison de coût avec du cloud. Si je louais cette même infrastructure en cloud, cela me reviendrai un peu près à $8.40 de l’heure. Soit 200$ par jour, 6000$ par mois, 72000$ par année. On peut voir alors que l’investissement dans un Mac Studio M3 Ultra (~15’000$) peut être amorti en moins de 3 mois.

Mon expertise : Intelligence artificielle & cybersécurité

Développement d’intelligence artificielle pour votre entreprise​

Développement IA

Utilisez des solutions IA qui dépassent la simple performance technique pour générer un impact mesurable sur la croissance et la compétitivité

AI Agent & Agentic AI - Consulting en Intelligence Artificielle

AI Agent & Agentic AI

Exploitez la puissance des AI Agents et de l’Agentic AI pour transformer vos opérations : tâches automatisées, processus coordonnés pour une valeur stratégique décuplée

Machine Learning & Deep Learning – De l’analyse à l’innovation

machine learning & deep learning

Exploitez le machine learning et le deep learning pour transformer vos données en prédictions fiables et effectuer des décisions automatisées

Entraînement & Fine‑Tuning de modèles IA - Intelligence artificielle

Entraînement & Fine-tuning

Transformez grâce à l’entraînement de modèles IA et au fine‑tuning, des modèles génériques en solutions sur‑mesure, capables de générer des prédictions pertinentes

Embedding & Knowledge graph : La recherche sémantique à votre service​

Recherche sémantique

Améliorez l'accès à vos données grâce à la recherche sémantique utilisant les embeddings et les graphes de connaissances

RAG – Génération augmentée par la recherche documentaire​

Base documentaire & RAG

Grâce à la technologie RAG (Retrieval-Augmented Generation), interrogez vos documents et obtenez des réponses précises et sourcées

Edge AI sur mesure – IA en temps réel et optimisée pour vous

IA Local & Edge AI

Exécutez vos modèles IA directement sur vos équipements en local : optimisez vos coûts, gardez le contrôle de vos données ainsi que de vos processus métiers

Déploiement de modèles IA - Mise en production de vos modèles

Mise en production & déploiement

Passez de l’expérimentation à la production, automatisez le déploiement de vos modèles d’intelligence artificielle & améliorez la fiabilité

Cybersécurité de l’IA : Guardrails, Sanitisation, Proxies et Protection

Cybersécurité IA

Assurez la cybersécurité de vos modèles d’intelligence artificielle et de vos données grâce aux guardrails, à la sanitisation des prompts, aux proxies en respectant les derniers standards