Circuits spécialisés pour l’intelligence artificielle
Dès les premières expériences de systèmes d’intelligence artificielles à base de réseaux de neurones, aujourd’hui en plein essor avec les développements d’IA générative tels que ChatGPT, il est apparu que l’architecture matérielle des processeurs généralistes n’était pas optimale, et qu’il serait préférable de disposer de processeurs spécialisés. Pendant longtemps le franchissement de cet obstacle s’est heurté à un problème de poule et d’œuf : pour entreprendre le développement, très coûteux, de processeurs spécialisés, il aurait fallu avoir démontré l’intérêt des réseaux de neurones, mais pour effectuer cette démonstration il aurait fallu disposer de processeurs spécialisés.
Au début des années 2000 une révélation providentielle allait trancher ce dilemme : des chercheurs en IA (Geoffrey Hinton et ses étudiants de l’Université de Toronto) découvrirent que les Graphics Processing Units, (GPU, processeurs graphiques) de nouvelles génération pouvaient très bien être utilisés pour les calculs de réseaux de neurones, comme expliqué ici. En effet ces calculs, comme l’affichage graphique, nécessitent une grande quantité d’opérations en parallèle, mais sans nécessairement une précision aussi grande que celle des processeurs généralistes. Ces nouvelles cartes graphiques avaient été mises au point essentiellement par Nvidia, ce qui explique l’ascension fulgurante du chiffre d’affaires et du cours de bourse de cette entreprise.
De son côté Google n’était pas en reste et mettait au point sa Tensor Processing Unit, disponible depuis 2016 dans les serveurs infonuagiques (Cloud) de la firme, puis en 2021 son circuit Google Tensor, intégré à un System on Chip (SoC) à base de processeurs ARM et disponible pour les fabricants de smartphones à système Android (Apple a ses propres circuits pour les iPhones). Ces développements sont décrits plus en détail dans un article de John C. Dvorak pour The Chip Letter.
On peut se demander à quoi peut servir un circuit d’IA connexioniste dans un téléphone portable : essentiellement à l’amélioration des fonctions photographiques et vidéo, mais on peut imaginer d’autres systèmes d’apprentissage automatique (Machine Learning).
Les expériences de Google
Google est à la fois un grand fournisseur d’infonuagique (Google Cloud Platform), un vendeur de smartphones (les Pixel 6), et l’auteur du système d’exploitation le plus répandu à la surface de la terre, Android, spécialement adapté aux smartphones. Cette entreprise est donc bien placée pour comparer les performances de calculs selon qu’ils sont effectués dans le Cloud ou en utilisant des smartphones, et cela sans être suspect de conflits d’intérêt, puisqu’ils sont vendeurs des deux types de solutions. C’est ce qu’ils ont fait et publié dans un article des CACM intitulé Energy and Emissions of Machine Learning on Smartphones vs. the Cloud et signé par David Patterson (lui-même), Jeffrey M. Gilbert, Marco Gruteser, Efren Robles, Krishna Sekar, Yong Wei et Tenghui Zhu.
Les auteurs ont mené de multiples expériences avec des smartphones et des chargeurs de marques et de modèles variés. Ils ont aussi compulsé les enquêtes auprès des utilisateurs pour connaître leurs pratiques d’achat et d’utilisation. Voici leurs observations principales :
– La plupart des études sur la consommation énergétique des smartphones omettent de parler des chargeurs, alors qu’ils consomment en moyenne trois fois plus d"énergie que les smartphones eux-mêmes ; les coupables principaux sont les utilisateurs de multiples chargeurs (39% des utilisateurs ont 4 chargeurs ou plus), branchés en permanence, et, pires encore, les chargeurs sans fil, très inefficaces. Rapportée aux mêmes opérations d’apprentissage automatique effectuées dans des centres de données dans le Cloud, cette inefficacité des chargeurs se paie d’un facteur 2,9 appliqué à la consommation électrique.
– Les opérateurs du Cloud ont toute latitude pour installer leurs centres de données dans des localités où le prix de l’électricité est faible, où le climat diminue les besoins de climatisation, et, c’est une innovation procurée par l’infonuagique, pour déplacer leurs machines virtuelles de fuseau horaire en fuseau horaire afin de bénéficier des meilleurs tarifs horaires. L’utilisateur de smartphone utilise la source d’électricité disponible hic et nunc. De ce fait, et en appliquant le coefficient 2,9 du paragraphe précédent, le bilan carbone de l’entraînement d’un système d’apprentissage automatique sur smartphone sera 25 fois supérieur à celui du même dans le Cloud, même en supposant que l’énergie consacrée au calcul proprement dit soit équivalente.
– Les expériences menées par les auteurs suggèrent que l’entraînement consomme pour le calcul proprement dit 12 fois plus d’énergie sur smartphone que dans le Cloud, ce qui, multiplié par les coefficients des deux paragraphes précédents, nous mène à deux ordres de grandeur d’écart entre les smartphones et le Cloud.
– De 2019 à 2021 l’apprentissage automatique (Machine Learning) a consommé entre 10 et 15% de l’énergie utilisée par les services Cloud de Google, dont les 2/5 pour l’entraînement, alors que cet usage n’a représenté pour 2021 que moins de 3% de l’énergie utilisée par les smartphones, dont 1/100 pour l’entraînement. Le principal défi énergétique pour l’informatique est ailleurs, sans doute du côté du CO2 incorporé lors de la fabrication des ordinateurs et autres matériels.
Les lignes qui précèdent ne sont qu’un bref résumé de l’article, qui présente beaucoup de résultats d’observations et de mesures, ainsi que des développements substantiels sur le bilan énergétique de la fabrication des ordinateurs et des smartphones. Les auteurs attirent notre attention sur le fait que leur article n’est pas une comparaison de l’ensemble des calculs effectués dans le Cloud et sur les smartphones. Ils proposent néanmoins un bon point de départ pour la réflexion à ce propos, fournissent des données réellement observées là où beaucoup d’articles se contentent d’allégations au doigt mouillé, et complètent leurs propres conclusions par un bon tour d’horizon des travaux les plus sérieux accomplis sur un problème crucial auquel nous serons tenus de proposer des réponses.