Table des matiĂšres
Quand on monte une machine pour faire tourner des modĂšles en local, on commence par la carte graphique. On compte la VRAM, on refait les calculs trois fois. Et la carte mĂšre, on la prend en dernier, souvent celle qui tient dans ce qui reste du budget. Ce n'est pas idiot : pour de l'infĂ©rence, c'est le composant qui pĂšse le moins sur les performances. Jusqu'au jour oĂč elle vous empĂȘche d'ajouter une seconde carte, ou de passer Ă 128 Go de RAM. LĂ , elle pĂšse beaucoup.
Ce qui compte vraiment
Les slots PCIe : combien, et surtout oĂč
Un modĂšle de 70 milliards de paramĂštres ne tient pas dans 24 Go de VRAM, mĂȘme quantifiĂ©. La solution habituelle, c'est deux cartes graphiques. Et c'est prĂ©cisĂ©ment lĂ que la carte mĂšre devient un sujet. Il faut deux emplacements x16 physiques, mais pas seulement : il faut qu'ils soient assez espacĂ©s pour loger deux cartes qui occupent chacune trois ou quatre slots d'Ă©paisseur. Sur pas mal de cartes ATX, le second x16 est collĂ© au premier. La deuxiĂšme carte ne rentre pas, point.
Regardez aussi comment les lignes sont réparties. Sur les plateformes grand public, le processeur ne fournit qu'une poignée de lignes PCIe. Les cartes haut de gamme (X870E chez AMD, Z890 chez Intel, pour prendre deux exemples récents) savent couper le x16 en deux x8. Les cartes d'entrée de gamme laissent souvent le second slot cùblé en x4 à travers le chipset. Pour de l'inférence pure, ça fonctionne : une fois le modÚle chargé en VRAM, il n'échange plus grand-chose avec le reste de la machine. Mais le chargement traßne, et certaines méthodes de répartition entre GPU en souffrent nettement.
La RAM : quatre barrettes, pas deux
Pas assez de VRAM ? On décharge une partie du modÚle sur la mémoire systÚme. C'est lent, c'est moche, mais ça fait tourner des modÚles qu'on ne pourrait pas lancer autrement. Encore faut-il pouvoir y mettre de la RAM. Une carte avec deux slots DDR5 plafonne vite. Avec quatre, on monte à 128 Go, parfois 192 selon le BIOS. Détail qui n'en est pas un : avec quatre barrettes, la fréquence mémoire baisse souvent. On y perd un peu de bande passante, et la bande passante mémoire est exactement ce qui limite l'inférence sur CPU. Un compromis à connaßtre avant d'acheter, pas aprÚs.
Le stockage, qu'on oublie toujours
Un modÚle, c'est 10, 40, 80 Go. On en collectionne vite une dizaine. Trois slots M.2 ne sont donc pas un luxe. Vérifiez lesquels partagent leurs lignes avec un slot PCIe : sur certaines cartes, remplir le troisiÚme M.2 désactive le second x16. C'est écrit dans le manuel, en petit, page 30.
Ce qui ne compte presque pas
Le PCIe 5.0 face au 4.0 : pour de l'infĂ©rence, la diffĂ©rence est Ă peu prĂšs invisible. Le Wi-Fi 7, l'Ă©clairage, les radiateurs sculptĂ©s : aucun rapport avec les tokens par seconde. L'Ă©tage d'alimentation taillĂ© pour l'overclocking extrĂȘme : les charges IA font chauffer le GPU, pas l'alimentation du processeur. Autrement dit, la carte « gaming » Ă 500 ⏠n'est pas forcĂ©ment une bonne carte IA, et une carte Ă 250 ⏠avec la bonne disposition de slots peut faire mieux.
Faut-il changer la vĂŽtre ?
Si vous avez un seul GPU et que vous comptez en rester là : non. Changez la carte graphique et n'y pensez plus. Si vous visez deux cartes, ou plus de 64 Go de RAM, ou si votre carte actuelle est en DDR4 avec deux slots, alors oui, le changement de plateforme devient le vrai sujet. Et il entraßne le processeur et la mémoire avec lui.
Pour ceux qui veulent quatre GPU ou 256 Go de RAM, on sort du grand public. Les plateformes station de travail (Threadripper, Xeon W) offrent bien plus de lignes PCIe et de canaux mémoire, à un prix qui n'a plus rien à voir. Mais ça, c'est un autre article.







