Alors qu’entre 1959 et 2012 la progression suivait la loi de Moore, avec une puissance doublant tous les deux ans, l'émergence des réseaux neuronaux modernes en 2012, a conduit à ce que la puissance de calcul a été multipliée par 300.000, soit un taux de progression sept fois plus rapide.

Ainsi, le programme Alphago Zero nécessite ainsi 1.860 petaflops par seconde et par jour alors qu'Alexnet, le réseau neuronal conçu par Alex Krizhevsky et sorti en 2012, ne tournait «seulement » avec 0,0054 petaflop par seconde et par jour.

«Cette tendance est due notamment à la baisse des coûts du calcul (nombre d'opérations par watt), mais aussi par de nouvelles configurations des réseaux qui utilisent toujours plus de puces en parallèle », indiquent les ingénieurs d'OpenAI.

La course n'est pas prête de s'arrêter : « le budget informatique mondial est de 1.000 milliards de dollars par an et les limites de ce budget semblent lointaines», selon OpenAI.

Ainsi, la recherche en IA ouvre la porte à une course destinée à acquérir toujours plus de puissance informatique.

Mais le problème grave sous-jacent est que ces énormes serveurs génèrent aussi une énorme pollution : ainsi, une étude de l’université du Massachusetts de juin 2019 a calculé que l'entraînement d'un programme d'apprentissage de langage naturel tel que Transformer générait jusqu'à 300 tonnes de CO2, l'équivalent de 60 années d'émissions pour un humain.

Voir notamment :