Ordinateurs

La « loi de Huang » n’existe pas, malgré le responsable de l’IA de Nvidia

Au cours de la dernière décennie, Nvidia a plus ou moins inventé le marché moderne de l’IA et de l’apprentissage automatique. L’entreprise continue de faire des progrès remarquables de génération en génération et la performance d’Ampère par dollar est très bonne. Nvidia n’a actuellement aucune concurrence sérieuse sur le marché de l’IA GPU.

Mais – après avoir dit tout cela – il n’y a pas de « loi de Huang ». C’est l’appellation attribuée au PDG de Nvidia, Jensen Huang par le le journal Wall Streetc’est Christophe Mims.

Alors, qu’est-ce que la loi de Huang ? Eh bien, c’est une définition mal comprise de la loi de Moore, mais avec le nom « Huang » devant au lieu de « Moore ». Spécifiquement:

« Je l’appelle la loi de Huang, d’après le directeur général et co-fondateur de Nvidia Corp., Jensen Huang. Il décrit comment les puces en silicium qui alimentent l’intelligence artificielle font plus que doubler leurs performances tous les deux ans.

Pourquoi la définition ne fonctionne pas

Mims commence son explication en confondant la loi de Moore avec la mise à l’échelle de Dennard. La loi de Moore prévoyait que le nombre de transistors sur une puce doublerait tous les deux ans. La mise à l’échelle de Dennard a prédit que la construction de transistors plus petits plus rapprochés réduirait leur consommation d’énergie et permettrait des horloges plus rapides. La loi de Moore est une mesure de la densité. La mise à l’échelle de Dennard mesure les performances par watt et se rapporte aux performances absolues. Il est vrai que ces deux découvertes distinctes sont souvent combinées dans une conversation familière, mais dans ce cas précis, confondre les deux obscurcit la vérité de la situation.

Mims écrit : « La loi de Moore a ralenti, et certains disent que c’est fini. Mais une loi différente, potentiellement non moins importante pour le prochain demi-siècle de l’informatique, est apparue.

Comme nous l’avons discuté quelques fois sur ce site Internet, la signification de la loi de Moore est complexe et sujette à des changements périodiques. Si vous confondez par erreur la loi de Moore et la mise à l’échelle de Dennard, la loi de Moore a beaucoup ralenti. Si vous considérez strictement la loi de Moore comme une mesure de la densité des transistors, elle est en fait maintenue proche de son rythme historique à long terme. Ce graphique de 1970 à 2018 le montre assez clairement. Ce qui a cassé, c’est la mise à l’échelle de Dennard, qui s’est terminée vers 2004.

Les vitesses d’horloge absolues du processeur ont augmenté très lentement depuis 2006, tout comme les TDP. La mise à l’échelle des transistors, en revanche, s’est poursuivie à un rythme soutenu.

Pour étayer son argumentation, Mims se tourne vers Bill Dally, vice-président principal de la recherche chez Nvidia:

Entre novembre 2012 et ce mois de mai, les performances des puces de Nvidia ont été multipliées par 317 pour une classe importante de calculs d’IA, déclare Bill Dally, scientifique en chef et vice-président senior de la recherche chez Nvidia. En d’autres termes, en moyenne, les performances de ces puces ont plus que doublé chaque année, un rythme de progression qui fait pâlir la loi de Moore en comparaison.

Image par Nvidia via WSJ

Je suis celui qui a étiqueté cette image – l’original manque d’étiquettes – mais d’après la chronologie, ce sont les GPU auxquels le graphique fait probablement référence. Pascal a été lancé en mai 2016, Volta a été annoncé en mai 2017 et Turing a été expédié au cours de la seconde moitié de 2018.

Psssssst :  Cascade Lake d'Intel avec DL Boost s'affronte avec Titan RTX de Nvidia dans les tests d'IA

Je vais ignorer le fait qu' »une classe importante de calculs d’IA » n’est littéralement pas une métrique et traiter la revendication de performance 317x comme véridique. C’est une énorme augmentation des performances. Le seul problème est que la loi de Huang dépend évidemment de la loi de Moore + des restes de la mise à l’échelle de Dennard + du seau de technologies supplémentaires comme FinFET que les ingénieurs déversent dans chaque nœud pour en tirer des améliorations raisonnables.

Si vous consultez le tableau, la plupart des améliorations de performances de Nvidia sont spécifiquement liées aux transitions de nœuds. Nvidia a considérablement amélioré les performances sans transition de nœud à deux reprises dans l’histoire récente – d’abord de Kepler à Maxwell (la première petite bosse juste avant 2015, qui ne reflète pas l’ampleur de l’amélioration du GPU dans les jeux), puis de Volta à Turing . Mais bien que Nvidia soit capable d’extraire des processus supplémentaires du même nœud, vous pouvez également voir à quel point les nouveaux nœuds de processus ont été importants pour les performances globales de Nvidia. La loi de Huang, si elle existait, ne pourrait pas remplacer la loi de Moore. La loi de Huang est activé par la loi de Moore.

À mesure que les avantages des transitions de nœuds diminuent, le taux d’amélioration des performances de l’IA va ralentir.

Pourquoi la loi de Huang n’existe pas

Tout d’abord, l’existence d’un indépendant La loi de Huang est une illusion. Malgré les commentaires de Dally sur le fait d’aller bien en avant de la loi de Moore, il serait beaucoup plus exact de dire « Nvidia a profité de la loi de Moore pour augmenter la densité des transistors, tout en améliorant simultanément les performances totales de l’appareil à un rythme effectivement plus rapide que la mise à l’échelle Dennard seule aurait prédit .”

Psssssst :  D-Wave rend le temps de l'ordinateur quantique gratuit pour tous ceux qui combattent le coronavirus

La loi de Huang ne peut exister indépendamment de la loi de Moore. Si la loi de Moore est en difficulté – que ce soit en termes de mise à l’échelle des transistors ou d’inclusions d’amélioration des performances vaguement définies, la loi de Huang l’est également. TSMC n’a fait que des prévisions améliorations de performances limitées à 5 nm et moins, et cela aura un impact sur les performances que chaque nouvelle génération de produit peut offrir. Cela va mettre plus de pression sur les ingénieurs de Nvidia pour obtenir de meilleures performances au niveau par transistor, et les humains ne sont pas très doués pour ça.

Deuxièmement, il est trop tôt pour prendre ce genre de décision. Lorsque Gordon Moore a publié son premier article en 1965, il a examiné la période de 1959 à 1964. Plus tard, en 1975, il a de nouveau révisé son article et a augmenté le temps prévu pour qu’il double d’un an à deux. Cette même année, le professeur Caltech Carver Mead a popularisé le terme «loi de Moore». Au moment où il l’a fait, la «loi» était en vigueur depuis environ 16 ans. Si nous regardons la représentation du WSJ de la chronologie de Nvidia, Pascal ou Volta a été le premier GPU à vraiment offrir tout type de performances AI/ML utiles. « Loi de Huang » est tous de 3-4 ans. Même si nous utilisons le chiffre de 2012 de Dally, il n’a que huit ans. C’est une déclaration prématurée.

Troisièmement, il n’est pas clair que l’amélioration de l’IA/ML puisse continuer à croître à son rythme actuel, même si nous supposons que les améliorations de la loi de Moore continuent d’offrir des avantages substantiels. L’ajout de la prise en charge de fonctionnalités telles que FP16 et INT8 permet à AMD, Nvidia et Intel d’augmenter les performances de l’IA en exécutant plus d’instructions en un seul cycle d’horloge, mais tous les types de charge de travail ne fournissent pas des résultats appropriés de cette façon et il n’y a pas un nombre infini d’utiles , des cibles de faible précision de plus en plus petites parmi lesquelles choisir. Au cours des dernières années, les fabricants ont été très occupés à cueillir des fruits à portée de main. Finalement, nous allons manquer. Nous ne pouvons pas subdiviser une norme à virgule flottante jusqu’à « FP0.0025 » dans le but de construire un réseau neuronal hyper-efficace. Amazon, Google, Facebook et des entreprises similaires n’ont pas une quantité infinie d’espace à consacrer à la construction de réseaux d’IA toujours plus grands.

Psssssst :  Intel lance le QLC 96 couches de 2e génération avec un nouveau SSD 665p

Considérez le smartphone. Il y a dix ans, il n’était pas rare qu’un nouveau smartphone double ou presque le double des performances de son prédécesseur, sans parler de la mise à niveau visuelle une fois que les écrans « Retina » sont arrivés sur le marché, et des énormes sauts dans la qualité de l’appareil photo. Cela n’arrive plus. Le rythme d’amélioration, qui était fulgurant au début, s’est ralenti. Les gens ne remplacent plus leur téléphone aussi rapidement qu’avant.

Si une personne avait proposé une «loi sur l’emploi» d’amélioration des performances des smartphones fin 2010 basée sur le taux d’amélioration de l’iPhone 3G -> iPhone 3GS -> iPhone 4, elle aurait l’air plutôt idiote en 2020. Ce n’est pas qu’il y a quelque chose ne va pas avec les smartphones modernes – ils ne s’améliorent tout simplement pas aussi rapidement qu’avant.

Encore une fois, ce n’est pas un coup contre Nvidia. Le marché de l’IA/ML a explosé rapidement, avec des dizaines d’entreprises travaillant sur le silicium, et Nvidia a dominé l’ensemble du secteur. Jensen Huang est un PDG incroyablement prospère. Mais avec la disparition de la mise à l’échelle de Dennard, la récolte rapide de fruits à portée de main et l’avertissement de TSMC de moins d’améliorations des performances sur les futurs nœuds, il est prématuré de déclarer que quiconque a établi une quelconque loi régissant la croissance des performances à long terme. La mise à l’échelle de Dennard a duré des décennies. La loi de Moore (encore une fois, strictement définie en termes de densité) est toujours en vigueur 61 ans plus tard.

Je dis que nous lui donnons une décennie. Si la loi de Huang est une réalité aujourd’hui, elle le sera toujours en 2030. Si ce n’est pas le cas, elle n’a jamais existé. Quelle que soit la réponse, Jensen Huang restera l’un des chefs d’entreprise qui a été le pionnier de l’intelligence artificielle et de l’apprentissage automatique.

Maintenant lis:

Bouton retour en haut de la page