Marc 00:00:00 – 00:00:08 : Aujourd’hui, je reçois Louis Thiry, docteur en machine learning, chercheur à l’INRIA sur des sujets de modélisation de l’océan et de la météo. Bonjour Louis. 

Louis 00:00:08 – 00:00:10 : Salut Marc. 

Marc 00:00:10 – 00:00:18 : Alors Louis, est-ce que tu peux nous parler un peu plus de ce que vous faites à l’INRIA sur ces sujets de modélisation océan et météo ? 

Louis 00:00:18 – 00:01:06 : Pour ceux qui ne le savent pas, l’INRIA est un peu comme le CNRS, un institut de recherche publique, mais qui est vraiment spécialisé sur les sciences et technologies du numérique. Puisque l’océan et l’atmosphère sont modélisés sur des ordinateurs qui font des calculs, l’INRIA a plusieurs équipes de modélisation de l’océan et de l’atmosphère, dont l’équipe ANGE. qui est un acronyme de analyse numérique géophysique environnement, dans lequel je travaille. Et moi, j’ai été recruté sur un projet qui s’appelle Océania. Donc le but, c’est d’utiliser des techniques d’intelligence artificielle pour améliorer la modélisation de l’océan, pour y comprendre quelque chose. L’océan, c’est une des parties de la Terre qui est assez inconnue. Il y a beaucoup de fonds marins qu’on a assez peu vus. Il y a beaucoup de choses à découvrir, beaucoup de phénomènes physiques compliqués sur lesquels on a peu de données. Donc il est probable que l’intelligence artificielle nous aide là-dessus. 

Marc 00:01:07 – 00:01:21 : Alors si on part du niveau actuel, la météo, qui nous parlera peut-être plus que les océans, c’est quoi le niveau de précision avec lequel on arrive à la prédire ? C’est quoi l’état de l’art technologique aujourd’hui ? 

Louis 00:01:21 – 00:04:22 : Alors la météo, c’est un système qui est sensible aux conditions initiales. En physique, on en connaît des très simples. Simplement, vous mettez une bille sur le sommet d’une bosse. Vous essayez de la mettre pile au sommet mais en pratique vous la mettrez toujours d’un côté, elle va toujours être décalée et en fait elle va tomber d’un côté qu’on ne peut pas prédire à l’avance. Même si on essaie précisément de la mettre au milieu, elle va toujours tomber un petit coup de vent. Donc c’est un système qui lui est sensible aux conditions initiales puisque un tout petit décalage du point de contact va la faire dévier dans une direction qu’on ne peut pas prédire. La météo c’est un peu la même chose mais l’horizon de temps c’est 14 jours. Donc en fait, on sait qu’au bout de 14 jours, on ne pourra pas prédire précisément la météo. Donc c’est vraiment une difficulté du problème que tout le monde connaît. Il n’empêche qu’on peut faire plus ou moins bien là-dessus. Il y a typiquement un exemple qui est assez intéressant, c’est l’ouragan Sandy qui a frappé la côte est des États-Unis en octobre 2013. Et le centre européen… De quoi ? 2023 ? Non, en 2013. 110, c’était en 2013. Ah d’accord, ok. Il y a 11 ans, ça a été un gros sujet. Ça a fait la gloire du centre européen de météo. Du coup, cet ouragan, c’est un cyclone tropical. En général, les ouragans, les tempêtes naissent comme ça dans le golfe du Mexique, là où il y a des eaux trop chaudes. Et en fait, il s’est dirigé vers le nord avec une trajectoire assez peu habituelle. Et le Centre européen de météo, qui s’occupe de faire des prévisions globales pour l’ensemble des pays d’Europe, a prédit six jours avant sa trajectoire de façon assez juste. Six jours avant, ils ont dit « attention aux Américains, attention, le cyclone arrive sur New York ». Le modèle opérationnel américain ne prédisait une autre trajectoire, qui restait essentiellement au-dessus de l’océan, et du coup, ils ne les ont pas cru. Mais au fur et à mesure, le cyclone a continué d’avancer au-dessus de l’océan et a fini par se diriger vers New York. Et le Centre américain l’a prédit seulement trois, quatre jours avant. 6 jours ou 3 jours pour évacuer la côte est américaine dans des endroits comme New York, Washington, etc. Ça change énormément la donne. Donc on peut faire plus ou moins bien et d’ailleurs les gens maintenant regardent un peu tous ces modèles. Donc depuis cette étape, le centre européen a la réputation d’être vraiment les meilleurs, d’être un peu l’état de l’art. Donc le principe, c’est qu’on cherche à partir des observations qui sont de satellites, d’avions, de bateaux. On a des capteurs partout, des sondes aussi qui volent dans l’atmosphère. Rappelez-vous, je crois qu’il y a deux ans, Il y avait une sonde chinoise qui passait au-dessus des États-Unis, qui avait été abattue, qui était censée récolter des données météo. En réalité, il y en a un peu partout, qui sont collectées de façon centralisée. Le monde de la météo connaît bien les problématiques de données et des analyses statistiques pour reconstruire une image 3D de l’atmosphère avec température, pression, vapeur d’eau, eau précipitable, donc l’eau qui peut tomber, etc. Et une fois qu’on sait où on en est, ce qui est déjà un gros problème, on cherche à prédire cette trajectoire. On sait qu’au-delà d’un horizon de 14 jours, ça n’a pas tellement de sens, mais typiquement on voit qu’à 6, 7, 8, 10 jours, dans cette période charnière, c’est vraiment là que potentiellement on peut avoir un impact. Et pour les événements rares comme des tempêtes qui nécessitent l’évacuation d’une ville, c’est absolument central. 

Marc 00:04:23 – 00:04:33 : Ok, alors du coup, dans le domaine météo, dans les océans, quel genre de data est-ce qu’on a ? De quoi on parle quand on parle de la donnée ici ? 

Louis 00:04:33 – 00:05:53 : Alors du coup, il y a vraiment deux écoles. Du point de vue vraiment, il y a depuis longtemps une communauté d’observation en météo. Par exemple, la fac de Jussieu dans laquelle je travaille, parce que je suis aussi rattaché à la fac. Je suis sur Sorbonne Université. Maintenant, vous avez le laboratoire de météorologie dynamique qui s’intéresse à la modélisation un peu physique. de la météo, mais le LATMO, qui est un laboratoire d’observation de l’atmosphère qui travaille sur les données, donc sur les capteurs, comment est-ce que fonctionnent les satellites, comment est-ce que fonctionnent les différents capteurs, des problèmes de transmission de données, des problèmes de bruit des données, de données corrompues, etc. Donc ça, ça fait très longtemps. Maintenant, pour les gens qui viennent du machine learning, ces données-là ne sont pas directement exploitables. Donc on est en train de voir en fait une… Sans trop de surprises, pour nous je dirais, mais un peu aussi pour le grand public, une révolution apportée par l’IA en météo. Et ces gens-là ont plutôt l’habitude de travailler avec des données complètes, des données reconstruites. Donc eux, leurs données, pour les gens en machine learning, c’est vraiment une image 3D de l’atmosphère qui a été reconstruite. On ne sait pas encore apprendre à partir de données partielles. C’est comme si vous demandiez aux gens qui font de la reconnaissance d’images de reconnaître un chat à partir de 20% des pixels. Il y a deux grandes catégories de données, il y a vraiment les observations qui sont utilisées comme je vous le disais dans les centres opérationnels pour reconstruire l’état actuel et ces reconstructions sont stockées et peuvent servir ensuite pour les gens qui veulent faire du machine learning. 

Marc 00:05:54 – 00:06:17 : Ok. Et alors du coup, qu’est ce que le machine learning peut apporter à la météo? par rapport à dire si je fais un vent en arrière, c’est de la physique. Pour ceux qui, comme moi, n’ont pas fait de physique depuis longtemps. C’est quoi les limites qui font que le machine learning a quelque chose d’intéressant à apporter alors même qu’on connaît les lois de la physique ? On pourrait se dire qu’on va tout faire avec du calcul. 

Louis 00:06:18 – 00:08:50 : Alors, dans la météo, je disais qu’on a cet horizon à 14 jours, mais il y a aussi des phénomènes météorologiques qui ont un impact beaucoup plus long. Par exemple, il y a le phénomène El Niño dont on parle souvent. Qu’est-ce que c’est El Niño ? En fait, c’est une anomalie de température au sud-est du Pacifique, donc au large du Chili typiquement. On observe que là, on a une température très chaude de l’océan par rapport à la normale. Et ça, ça a un impact sur le climat en Amérique du Sud. Et on est un peu en train de se rendre compte potentiellement aussi en Méditerranée… Sur une échelle très grande de la Terre. et à plusieurs mois, on sait dire que l’été va être sec dans le Mexique et au sud des États-Unis. Historiquement, d’ailleurs, on appelle ça El Niño parce que ça arrive autour de Noël, naissance du petit enfant Jésus, donc El Niño en espagnol. Il y a aussi dans les connaissances des phénomènes qui sont vraiment statistiques. en dehors de ça. Quand on pense à des phénomènes statistiques, on se dit que l’IA va clairement pouvoir apporter. Maintenant, comme on a vu, le centre européen est capable de prédire mieux la trajectoire d’un cyclone que le centre américain. et on se dit, est-ce que le machine learning pourrait nous apprendre sur le court terme, à 6, 7, 8, 10 jours, à apprendre des corrections de cette trajectoire ? A savoir, cette fameuse bille qui au bout de 14 jours va dévier, on ne sait pas trop où, est-ce qu’on pourrait avoir une direction plus précise ? Là-dedans aussi, d’apprendre des corrections, ça paraît raisonnable parce que ces équations de la physique sont très compliquées. Ça mélange à la fois de la physique, de la mécanique des fluides, qui sont des équations très compliquées, Ça mélange aussi des équations de la thermique, puisque l’atmosphère est une machine thermique. C’est le fait que l’atmosphère soit chauffée par le soleil. Elle est plus chauffée à l’équateur qu’au niveau des pôles. Et un peu comme dans un moteur, vous avez de la chaleur qui se met à créer l’énergie mécanique. L’atmosphère, c’est un peu pareil. Vous avez des changements de phase. Comment est-ce que l’eau passe de la vapeur à la pluie, à la glace ? Comment est-ce que tous ces transferts se font ? L’interaction avec le rayonnement, c’est vraiment super compliqué. Et il y a un certain nombre d’approximations assez grossières que les gens sont obligés de faire. On ne peut pas résoudre exactement toute la physique. Et là, on se dit que sur les approximations grossières qu’on aura fait, il est clair que le machine learning va pouvoir aider. Et le dernier point, c’est dans cette reconstruction de l’instantané. Comme je vous le disais au début, pour évaluer cette trajectoire, on doit reconstruire l’image à l’instant T de l’atmosphère. Et là, on a vu en images, les gens qui font de l’IRM ont le même problème. Ils ont des mesures partielles de l’intérieur de notre cerveau via des capteurs magnétiques un peu compliqués. Ils doivent reconstruire cette image en 3D du cerveau. Là, l’IA a fait des progrès spectaculaires en reconstruction de ces images. Probablement que ça va être la même chose pour l’ATMO. 

Marc 00:08:50 – 00:08:58 : Est-ce qu’on peut prendre un exemple concret dans le détail d’usage de machine learning sur ce domaine ? 

Louis 00:08:58 – 00:11:30 : Alors, un exemple concret, en fait, on a depuis 2022 une série de publications qui, en fait, ont utilisé des données reconstruites à les centres météo. À chaque fois qu’ils résolvent ce problème à tous les jours, en fait, de reconstruction de l’état d’atmosphère, ils stockent ces données pour faire, après coup, des réanalyses pour voir où est-ce qu’on s’est trompé, typiquement quand il y a une catastrophe qu’on n’a pas su prédire. Le centre européen a publié cette grosse base de données, qui s’appelle ERA5, et depuis deux ans, il y a beaucoup de grosses boîtes de tech, d’ailleurs c’est assez marrant, beaucoup d’universités, de grosses boîtes de tech américaines, mais également d’universités chinoises, et de grosses boîtes de tech chinoises comme Huawei ou Alibaba par exemple, qui publient massivement sur le sujet, et qui du coup prennent en entrée la condition initiale qui est donnée par les centres météo, qui soit en libre accès, soit l’achètent, et font en fait… tourner des prévisions météo auxquelles on a accès. Je sais que Google sur la prévision météo de la précipitation a mis en prod un produit qui est basé d’un papier qui s’appelle Metnet 3 sur précisément la précipitation et sur le site du centre européen de météo. Eux en fait ont repris les codes qui ont été publiés par ces boîtes de systèmes de machine learning pour les prévisions et en fait les gens enfin tout un chacun peut aller regarder concrètement ces prévisions. Donc Sur un aspect très concret, ces modèles tournent en opérationnel et sont capables de faire des prévisions météo qui sont plutôt bonnes. Elles ont quelques problèmes, notamment sur les extrêmes, elles ne sont pas aussi précises, sachant qu’en météo, c’est un vrai sujet. Pour le côté très concret, on en est là. Les centres européens de météo, qui sont vraiment dans un processus d’amélioration continue, commencent à intégrer des techniques de machine learning pour notamment… Un dernier truc dont je n’ai pas parlé en météo, c’est qu’on a des calculs qui sont faits. Et ensuite, dans tous les centres météo, il y a des prévisionnistes qui sont des gens qui ont une vraie connaissance du domaine, un vrai know-how, comme disent les Anglais, et qui prennent les sorties de modèles, différents scénarios. Les modèles, en général, produisent différents scénarios. et qui les regarde vraiment avec un œil d’expert pour détecter les fronts qui seraient capables de partir en situation orageuse un peu instable. Les orages, pour tous ceux qui sont allés en été dans le sud de la France, ça peut arriver très vite et de façon assez imprévisible. Les prévisionnistes le savent et là-dessus, on a déjà cette connaissance. Et je crois qu’ils sont déjà de plus en plus aidés par tout un tas d’outils de machine learning qui segmentent un peu les images pour leur dire où sont les fronts, où sont les possibles instabilités pour les aider dans cette démarche. 

Marc 00:11:31 – 00:11:46 : Sur les algos d’IA eux-mêmes, ça va être quoi les algos les plus utiles justement dans le domaine de la météo ? Quelles vont être les familles d’algos ? Est-ce que c’est de la série temporelle ? Est-ce que c’est plutôt des algos d’image ? 

Louis 00:11:46 – 00:12:18 : Alors, on s’est beaucoup inspiré de l’image en météo. On a pris beaucoup de techniques de type U-Net pour générer. On voit vraiment l’atmosphère, son état global, il est sur la sphère. On fait une projection planisphère, comme on a vu à l’école. On représente ça comme une espèce de grosse image 3D avec un certain nombre de points. En gros, la base de données de référence. C’est du 25ème de degré, ça fait une image de 1400 par 700 pixels sur l’horizontale et à 137 niveaux verticaux qu’on multiplie par un certain nombre de variables, donc la pression, l’humidité, etc. 

Marc 00:12:18 – 00:12:21 : Comment est-ce qu’on les a ces informations ? 

Louis 00:12:21 – 00:12:34 : C’est la fameuse base de données qu’a publiée le centre européen ERA5, qui est l’équivalent de les bases de données ImageNet par exemple pour l’image. Et ça, sans eux, les techniques de machine learning auraient mis beaucoup plus de temps à se développer. Ça aurait été très isolé. 

Marc 00:12:34 – 00:12:39 : Mais quel capteur ? Tu dis qu’il y a 137 niveaux. Comment est-ce qu’on capte sur 137 niveaux ? 

Louis 00:12:39 – 00:13:37 : Pardon si je n’ai pas été clair au début, mais c’est justement le gros sujet tous les jours de la météo. C’est qu’on n’a pas de capteurs sur 137 niveaux verticaux. On a des avions qui volent à 12 km. On a quelques sondes qui sont à 3 km. On a des mesures qui sont très partielles. Cette grosse image, en pratique, on ne voit que quelques pixels, à peu près 10 %, même pas 10 %. Et tous les jours, les centres opérationnels de météo reconstruisent, à partir de ces 10 % de pixels, cette grosse image 3D. Ils stockent ça au fur et à mesure. Et surtout, ils utilisent ça comme donnée initiale pour faire des prévisions. Donc ce gros travail-là, pour l’instant, l’intelligence artificielle n’est pas vraiment capable de le faire, mais quand on lui donne ça, quand on donne toutes ces images, on est capable, en fait, en réutilisant des techniques de vision, de faire des modèles de forecast, et sinon, c’est ce qu’on appelle des modèles auto-régressifs, c’est-à-dire qu’ils prennent l’état à l’instant T, et ils prédisent, en fait, l’état à l’instant T plus 2 heures ou T plus 6 heures, et comme ça, en fait, on peut, en prenant la prédiction, on peut comme ça les faire tourner sur une dizaine de jours de façon itérative. 

Marc 00:13:39 – 00:14:00 : J’ai l’impression que finalement, tu nous parles de modélisation de l’atmosphère, de météo à l’échelle de la planète et une prévision impossible au-delà de 14 jours. À une échelle beaucoup plus petite, est-ce qu’on ferait les choses différemment ? Par exemple, je pense à Roland Garros et à la prédiction quasiment de l’ordre de la minute de la pluie qui va arriver. C’est des choses qui n’ont rien à voir ? 

Louis 00:14:00 – 00:15:05 : Alors, on a un peu les mêmes problèmes. On a parfois d’ailleurs des temps de divergence qui peuvent être un peu plus courts, typiquement en montagne, dans des zones comme ça, dans des régions un peu plus locales. Et le principe dans ces cas-là, c’est qu’il faut avoir de l’information à plus grande échelle. Par exemple, les gens qui font sur le Roland-Garros, ils ont besoin d’avoir les nuages sur toute la France à peu près trois heures avant, parce que les nuages, ça peut aller très vite, ça peut aller jusqu’à 300 km heure. De la même façon, les gens chez Météo France qui font au niveau de la France ont besoin des modèles globaux qui sont produits par le Centre européen de météo. Parce que par exemple, la tempête Kiaran qui nous a heurté en novembre dernier, là où on avait des vents importants, trois jours, deux, trois jours avant d’atteindre la France, elle se formait au large des terres neuves au large du Canada, au sud de la mer. Et après, à l’époque, je crois que le jet stream en altitude, ça a monté à 300, 400 km heure. Donc ça arrive très vite. De la même façon, quand on a des vents importants, la prévision dans l’heure à Roland-Garros dépend d’un truc autour. Dans ces cas-là, il faut faire une modélisation à plusieurs échelles. On a le modèle global qui permet ensuite de faire des prévisions au niveau de la France. Ces prévisions de la France permettent de faire des prévisions régionales et enfin jusqu’à un modèle très local pour Roland-Garros par exemple. 

Marc 00:15:06 – 00:15:15 : D’accord. Alors, est-ce que tu as des exemples de grands verrous, de grands obstacles que vous avez dû surmonter dans vos travaux ? 

Louis 00:15:15 – 00:17:12 : Un obstacle qui est quand même assez général dans ce domaine, c’est l’obstacle des données. Comme on disait, c’est-à-dire qu’on a cette grosse base de données qui est sur l’atmosphère globale, donc qui permet de faire énormément de publications sur ce sujet-là, donc vraiment prédire l’état global avec une résolution d’à peu près 25 km. Quand on a 1400 points comme ça sur la Terre, c’est… On a un point tous les 25 km, donc c’est un modèle qui est très grossier. Typiquement, sur la région Île-de-France, on a un seul point. On n’a pas les variations autour de Paris, c’est très grossier. Le gros verrou que les gens ont, c’est la production de la donnée. On a vu récemment une publication d’NVIDIA sur Taïwan, et là, pour le coup, ils ont récupéré des données du centre taïwanais, qui avaient stocké, qui pour le coup ne sont pas publiés en open source, donc ils ont pu faire ce travail grâce à un accord. Donc le gros verrou aujourd’hui, c’est les données. Beaucoup de gens, mais même des petits groupes universitaires en Chine, avec pas forcément énormément de moyens, sont capables de rivaliser avec les meilleurs sur la prévision de l’atmo global parce qu’il y a ces données. Sur les modèles locaux, c’est beaucoup plus compliqué. D’autant plus que c’est allé tellement vite que je pense que le centre européen, je ne sais pas s’ils regrettent d’avoir publié ces données. Ils ont gardé des données de plus haute résolution et de meilleure qualité. Mais c’est vrai que c’est allé très vite et je pense que ça doit un peu grincer des dents là-bas parce qu’ils arrivent sur certaines métriques à faire beaucoup mieux que le centre européen en très peu de temps, bien sûr en ayant besoin de ces données. Et je pense que ça a un peu refroidi un certain nombre de gens qui voudraient publier ces données. Je crois que Météo France avait plutôt une stratégie d’ouverture des données progressivement. Est-ce que ça va continuer comme ça ? Je ne sais pas, mais c’est le vrai verrou sur ce sujet. Les gens qui travaillent en images ou en textes, vous avez des bases de données absolument énormes qui sont disponibles assez facilement. Déjà Open Source, avec peu de restrictions de droit d’usage, quelques bases de données payantes qui viennent compléter ça. Donc, On est un peu dans le régime du pauvre des données. Ça limite concrètement ce qu’on est capable de faire. 

Marc 00:17:12 – 00:17:38 : Tu parles beaucoup des travaux américains, chinois. Tu nous as parlé des travaux européens en 2013, donc il y avait l’ouragan six jours avant. C’est quoi l’état des lieux aujourd’hui, des avancées ? Est-ce qu’il y a une prépondérance, comme tu as l’air de le souligner, sur les travaux américains, chinois ? Est-ce qu’aujourd’hui, les Européens sont encore dans la course ? 

Louis 00:17:38 – 00:19:55 : Alors sur le volet des publications. C’est clairement majoritairement des groupes, typiquement Google a deux ou trois équipes d’ailleurs qui sont en compétition en interne. En Chine, on a beaucoup le Shanghai AI Lab, on a l’université de Tsinghua, on a Huawei, Nvidia aussi publie beaucoup sur ce sujet, Microsoft aussi a fait une publication là-dessus. Alors le centre européen a été très réactif. par contre là-dessus, c’est-à-dire que déjà il y a un certain nombre de personnes du centre européen qui sont co-auteurs de ces publications, chez Google, chez Nvidia également, ils sont dans une logique de collaborer, Parce qu’à l’opposé, on est encore dans une période où ces boîtes publient les codes avec ces publications, et le centre européen a très vite réapproprié ces codes, et comme c’est vraiment eux qui sont capables de générer l’image 3D à n’importe quel instant, c’est eux qui sont vraiment le plus à même de faire tourner ces modèles opérationnels, donc c’est ce qu’ils ont fait, et ça très vite. Le papier GraphCast de DeepMind qui a été publié dans Science en novembre, avait été publié sur une archive en ligne en décembre 2022. Le code avait été sorti 4-5 mois plus tard, autour de mai-juin, et le centre européen l’a implémenté en octobre, et ses prévisions avec ce modèle sont déjà disponibles. Donc ils sont très réactifs, et du coup, ils sont en train de monter une équipe là-dessus qui est très sérieuse. Au niveau des publications, je pense que… Je ne sais pas trop comment est-ce qu’ils ont vu cette stratégie. En tout cas, le fait est qu’aujourd’hui, ils ont publié ces données, l’air de dire « amusez-vous avec? », ce que les gens ont fait de façon à qu’il y ait beaucoup de réussite. Et ils sont un peu en train de récupérer ces idées avec une stratégie là-dessus qui se tient tout à fait. Et ça, ça bénéficie à l’ensemble des pays qui se sont mis d’accord pour collaborer pour ce centre européen, dont Météo France, qui potentiellement vont bénéficier de toutes ces avancées. Donc là-dessus, c’est assez sioux de leur part, sachant qu’ils ont publié cette base de données avec une résolution de 25 km sur la Terre. Ils en ont, eux, une en interne avec une résolution de 10 km, qui sont réputées d’être bien meilleure qualité, qu’ils n’ont pas publié, en fait. Donc potentiellement, ils ont là-dessus un énorme avantage sur ce verrou qui bloque un peu tout le monde. Maintenant, c’est quand même beaucoup des technos qui sont publiés avec des codes de Google. Ça tourne en JAX, ça tourne bien sur les puces TPU de Google. Je pense que ça vient un peu mitiger ça. 

Marc 00:19:55 – 00:20:38 : D’accord. Je refais un peu un aller-retour entre les différentes échelles. Là, tu me parles de données à l’échelle de la planète, cette fameuse résolution très grosse. Au niveau de la petite résolution, question très pragmatique. Dans des missions passées avec des clients, j’ai eu besoin d’aller chercher de la donnée météo, etc., C’est une donnée, il y a beaucoup d’API qui proposent les météos, tel jour à telle heure dans telle ville, il faisait tant de degrés. Ce n’est pas très fiable, ce n’est pas très bien documenté ce qui est fiable ou ce qui n’est pas. Qu’est-ce qui existe aujourd’hui comme source de données météo, sachant que ça peut représenter des volumes de données assez conséquents assez vite, pour quelque chose d’assez micro à l’échelle de la ville, à l’échelle de l’heure. 

Louis 00:20:40 – 00:22:51 : Je pense que c’est essentiellement toutes ces données des sorties de modèles de centres opérationnels, dont Météo France qui vend ces modèles les plus hautes résolutions, qui les vend à des providers qui ensuite les revendent. On a vraiment deux types de données. On a des données brutes capteurs, donc là c’est est-ce qu’il y a une station météo à cet endroit-là et est-ce qu’elle publie ces données. Il y a un site qui s’appelle Wonderground.fr qui collecte tout un tas de stations météo. Il y a des particuliers, à vrai dire, qui installent. D’ailleurs, si ça vous intéresse, vous pouvez installer une station météo chez vous et publier les données en open access sur un réseau qui permet aussi à toutes les institutions de météo de s’améliorer, notamment pour faire de l’analyse à postériori. Est-ce qu’on a bien prédit à cet endroit-là ? Par exemple, mon beau-père qui habite dans un coin paumé de la Normandie, le village d’à côté, il y a un type qui a une station météo comme ça. Il peut… Et on a un relevé comme ça très précis de ce qu’il a plu, du relevé de précipitation. Mais après, si on est entre trois météos, on voit bien que juste faire la moyenne entre les trois les plus proches, ce n’est pas raisonnable, ne serait-ce que si elles sont à 50 km. Et dans ce cas-là, ces données météo, elles ont été digérées par un système de complétion, c’est ce que je racontais tout à l’heure. On a ces quelques pixels à droite à gauche. On essaie de reconstruire entre ces pixels, sachant que localement, parfois, on a des effets qui sont très compliqués. Donc oui, il y a un vrai problème de fiabilité là-dessus. Et d’ouverture de ces données aussi, à vrai dire. Météo France, c’est un institut qui gagne de l’argent, à qui on a demandé d’ailleurs d’en gagner dans les années 2000. Je ne sais pas bien exactement comment ça s’est passé, mais… Il n’y a pas vraiment une politique d’open data généralement, mais essentiellement parce que c’est un problème compliqué qui coûte cher et du coup, c’est un peu compliqué de les donner comme ça gratuitement. Effectivement, au niveau local, je pense qu’il y a potentiellement un impact énorme du machine learning. Le problème, c’est comme il n’y a pas vraiment de benchmark de référence comme ces données RAC5 sur la planète, on n’a pas pu encore voir l’impact potentiel de l’IA parce que tous ces gros groupes qui sont très forts n’ont pas pu appliquer un peu leur… leur moulinette, leur méthodo qui est super efficace pour évaluer les gains possibles. Sur les phénomènes locaux, parfois c’est quand même très dépendant. L’impact typiquement de la végétation peut être énorme. Ça, je serais très surpris de voir en termes d’ordre de grandeur qu’est-ce qu’on gagne sur des modèles locaux. 

Marc 00:22:51 – 00:22:58 : Est-ce que vos travaux machine learning pourraient être généralisés à d’autres situations, à d’autres problèmes ? 

Louis 00:22:58 – 00:25:26 : Cette approche, oui, je pense qu’elle peut être généralisée à d’autres problèmes. La météo, c’est un domaine qui intéresse beaucoup l’armée, parce que ça a des impacts énormes. Je crois bien que dans le cadre de la guerre en Ukraine récemment, la météo a eu beaucoup d’impact sur l’avancée des chars à un moment. En tout cas, c’est quelque chose que regarde beaucoup l’armée. Mais dans le genre de problèmes comme ça, où vous avez des observations partielles, comment est-ce que vous détectez par exemple un sous-marin sous la mer ? vous envoyez des ondes dans la mer et vous regardez comment vous les recevez dans d’autres capteurs. On a un peu le même problème, ça s’appelle les problèmes inverses en général. Vous avez quelques données partielles, un système physique, et vous cherchez à reconstruire l’état global. Dans cette catégorie des problèmes inverses, Basé sur la physique, la météo est en train d’apporter une vision particulière, c’est la vision des modèles hybrides. Il y a notamment un papier de Google qui s’appelle Neural GCM, que moi personnellement j’ai beaucoup aimé, qui date d’octobre dernier, où ils ont fait vraiment un modèle hybride entre des équations physiques et du machine learning. Ce qui n’est pas si fréquent que ça en machine learning. Pour l’instant, on est plutôt dans l’approche où les gens font des approches pure data, donc vraiment avec que du modèle, quelques a priori généraux qui viennent influencer un peu l’architecture. Mais voilà, à la marge, c’est vraiment, on a des données, un modèle entrée-sortie. Et là, on commence à avoir des vrais modèles hybrides physique machine learning qui sont en train de vraiment très bien marcher sur des cas réels. Ce papier notamment, ce qui est vraiment impressionnant, c’est qu’ils entraînent un modèle météo pour faire de la prévision à court terme, sur prévision à 6-10 jours. Et en fait, ce modèle qui est prévu pour tourner 6-10 jours, en fait, il fonctionne de façon autoregressive, comme j’expliquais, donc il fait un pas en avant et puis… Il peut faire comme ça un certain nombre de pas en avant, mais les autres modèles qui sont entraînés comme ça, au bout de 10-15 jours, les prévisions commencent à être assez irréalistes et au bout de 30 jours, ça n’a aucun sens physiquement. Là, on a un modèle qui est entraîné sur 7 jours et capable de tourner pendant 40 ans. En tout cas, ils ont fait une expérience où ils ont lancé 40 simulations. Il y en a deux tiers qui ont tenu jusqu’à 40 ans et qui donnent des climatologies, des moyennes sur 40 ans, on appelle ça des climatologies, parce que ça… Ça informe sur les évolutions potentielles du climat qui sont parfois assez fines, assez justes, qui correspondent en tout cas aux données de référence. Donc cette base de données RA5, on a des données du début des années 80 à la fin des années 2010 qui reproduit les tendances notamment de réchauffement, de variation de précipitation sur cette période. Donc ça, c’est vraiment moi le truc qui m’a personnellement impressionné. 

Marc 00:25:26 – 00:25:27 : Sur 7 jours ? 

Louis 00:25:27 – 00:25:28 : Sur 7 jours. 

Marc 00:25:28 – 00:25:31 : Un entraînement sur 7 jours et une prédiction du réchauffement ? 

Louis 00:25:31 – 00:25:44 : Sur 40 ans, oui. Alors elle n’est pas exacte, mais on voit en fait dans les tendances statistiques, on voit des tendances qui qualitativement sont bonnes. On n’est pas sur exactement les bons chiffres, au niveau du quantitatif ce n’est pas exact, mais je crois que ça en a surpris plus d’un. 

Marc 00:25:44 – 00:25:53 : Comment c’est possible, parce que l’input de réchauffement climatique a priori c’est les gaz à effet de serre, est-ce que les teneurs en gaz à effet de serre font partie des inputs du modèle du coup ? 

Louis 00:25:53 – 00:26:02 : Il semblerait que ce modèle qui est là pour apprendre une correction du modèle physique est en quelque sorte vu dans les données qu’il y avait une tendance au réchauffement. 

Marc 00:26:02 – 00:26:05 : Sur 7 jours, il a déjà vu une tendance. 

Louis 00:26:05 – 00:27:18 : En tout cas, sachant qu’il a été entraîné sur toute une base de données qui couvre 40 ans, il peut y avoir aussi des effets de l’entraînement là-dessus. Alors, c’est toujours compliqué d’ouvrir la boîte noire en machine learning, de savoir qu’est-ce qui se passe derrière le fait que de… On a par exemple le phénomène des spurious correlations. Je ne sais pas si vous connaissez cette anecdote qui rigolote, mais un système de reconnaissance d’images qui reconnaît très bien les tanches, qui sont des gros poissons. Et quand on regarde quels sont les endroits de l’image qui sont les plus importants, c’est les doigts du pêcheur qui sont sur la tanche. Parce que statistiquement, les photos de tanches que vous voyez sur Internet, c’est un pêcheur qui est très fier de sa prise. Du coup, c’est à travers les petits doigts, ces petits patches d’images avec des doigts qui dépassent sur un fond marron de couleur de tanche. qui sont les plus significatifs. Il est possible qu’il y ait des spurious correlations, qu’il ait capturé une tendance sur la base de données qu’il arrive à reproduire sur des simulations. On ne sait pas bien pourquoi, mais grosse surprise. C’est probablement le fait qu’on ait mis de la physique qui permet de stabiliser tout ça, parce que les équations de la physique, ce n’est pas n’importe quoi, l’énergie est à peu près conservée. Si vous avez des systèmes qui ne conservent pas l’énergie ou qui injectent un peu d’énergie ou qui en enlèvent sur 15 jours, sur un an, vous avez complètement changé l’énergie. Vous avez des prédictions qui n’ont absolument aucun sens. 

Marc 00:27:18 – 00:27:21 : Alors qu’est-ce que tu préfères dans ce travail ? 

Louis 00:27:21 – 00:28:52 : Ce que j’aime bien, c’est justement ce côté interdisciplinaire. Parce qu’on commence à avoir des techniques hybrides, physiques, IA. Les données elles-mêmes viennent de systèmes de prévision du temps. qui font du dialogue, et ça depuis des dizaines d’années, entre les données et la physique. C’est déjà une communauté qui est assez riche, parce que vous avez des gens qui envoient des satellites dans l’espace pour mesurer des nuages, tout un tas de données, des gens qui envoient des sondes, qui dialoguent en permanence avec des météorologues. C’est déjà une communauté de la météo qui est très multidisciplinaire, des physiciens, des mathématiciens, des informaticiens. Et là en plus on arrive, c’est un peu le choc des cultures aussi, parce que les gens en IA ils arrivent et souvent ils disent bon on va remplacer ça par du machine learning, ça tend à les crisper un peu. Mais je trouve que cet échange il est vraiment intéressant en fait. Parce que déjà on va apprendre avec ces gens là des choses sur la prédictibilité de la météo. Si quelqu’un par machine learning fait mieux que vous sur 11 jours, ça veut dire probablement que vous pouvez faire mieux sur 11 jours. Ça a tendance à dire, là, on a vraiment quelque chose à gagner, notamment sur cette variable, par exemple, sur la précipitation. En fait, jusqu’à 12 jours, on peut avoir des valeurs cohérentes. Le machine learning l’a prouvé, donc potentiellement, on pourrait le faire. Ça peut vraiment apporter une motivation. Et inversement, comme on voit, les gens qui font du pure machine learning, ils ont des prévisions précises, mais qui ne sont pas très stables. Et quand ils discutent avec des physiciens, ils arrivent avec ce truc un peu surprenant, que je ne comprends toujours pas… modèle entraîné sur 7 jours et qui est stable sur 40 ans. Et voilà, ça c’est vraiment super riche et je pense qu’il en sortira de très bonnes idées. 

Marc 00:28:52 – 00:28:56 : De l’autre côté, qu’est-ce qui est le plus pénible dans ce milieu ? 

Louis 00:28:56 – 00:30:06 : Je pense que c’est un peu le revers de la médaille, c’est que les communautés scientifiques ont parfois des côtés un peu claniques, un peu grégaires et que quand on est au milieu de tout ça, on n’est plus sous un parapluie. On est un peu sans casquette, ça c’est vrai que ça a tendance un peu à… Déjà, quand on dit qu’on a fait du machine learning, on peut avoir un peu l’a priori. Ah oui, donc toi, tu penses qu’on va remplacer toute la science ? C’est le genre de truc qu’on ressent. J’évite de dire que j’ai fait une thèse en machine learning. Je le dis un peu plus tard. Les gens, en général, sont agréablement surpris. Tu t’intéresses à la physique alors que tu as fait du machine learning. Ça, je sens que ça peut crisper. Et inversement, les gens de machine learning, quand on dit qu’on fait de la modélisation physique aussi, qu’on cherche à résoudre des équations, ils te disent, non mais, Coco, c’est Hasbin de résoudre des équations. Maintenant, c’est… C’est l’IA qui va tout apprendre. Qu’est-ce que tu perds ton temps ? En plus, c’est des choses qu’on voit beaucoup. Donc le côté, on se sent un peu seul. Moi, après, je pense que c’est un peu mon tempérament. En discutant avec des gens avec qui on n’est pas d’accord, on est obligé de bétonner ce qu’on a à dire. Ça rend intelligent. Alors qu’être au sein d’une communauté où ils pensent tous pareil et dire oui, je suis d’accord avec vous, ça ne mange pas de pain et ça n’aide pas trop à réfléchir. 

Marc 00:30:06 – 00:30:10 : Est-ce que tu as une anecdote à nous partager ? 

Louis 00:30:10 – 00:33:27 : À vrai dire, j’en ai deux. La première série d’anecdotes, c’est qu’en fait, on entend dire qu’il y a une espèce d’émulation de compétition qui est en train de se mettre en place, aussi bien chez Google, parce que comme je disais, chez DeepMind, c’est plutôt pure data. Il y a l’équipe de Michael Brenner chez Google Research, donc lui, Michael Brenner, est prof à Harvard, qui ont publié ce fameux neural GCM qui pense qu’il faut inclure de la physique. On m’a rapporté des conversations à des confs où les uns les autres disent, ceux qui sont pure data, dire non mais eux avec leur physique, ça ne va pas marcher leur truc, on va faire mieux qu’eux. Et inversement, ceux qui mettent un peu de physique disent non mais comment est-ce qu’ils pensent qu’on peut tout apprendre dans un contexte de changement climatique ? On a les statistiques qui sont en train d’évoluer, comment est-ce qu’on peut penser que l’IA pourront aussi pour les études climatiques ? La machine learning est sérieusement envisagée pour les études climatiques. Là, c’est vrai qu’avec le recul qu’on a sur 40 ans, si on a un modèle qui reproduit une tendance de réchauffement climatique constante sur 40 ans, on ne va pas apprendre grand-chose, si ce n’est qu’il va nous prédire que ça va continuer à augmenter linéairement. Or, toute l’incertitude est de savoir est-ce que le réchauffement va plutôt exploser, est-ce qu’il va plutôt stabiliser, etc. C’est vraiment des questions assez fines qui nous intéressent. Donc, on a ça à la fois dans les grosses boîtes, mais aussi au centre européen, paraît-il. Il y a des équipes qui veulent faire du machine learning en même temps que la physique, des équipes qui veulent faire tout ça. Et on a cette espèce de compétition qui est, à mon avis, assez bénéfique, qui va se mettre en place. Donc, à mon avis, quand on a cette émulation, ça risque d’accélérer. Et ça, c’est assez chouette. L’autre truc, c’est que dans la communauté climatique, les gens ont pas mal changé d’avis. Je me rappelle avoir une conversation en janvier dernier avec des gens de la communauté climat où je leur avais dit « Vous savez, moi j’ai fait un stage personnellement chez DeepMind, une succursale de recherche de Google. » qui avaient des bons résultats, mais qui avaient un certain nombre de problèmes, notamment le fait que sur le long terme, les prédictions n’étaient pas du tout stables. Donc, les gens qui faisaient des études climatiques disaient, bon, ça ne nous concerne pas. Le fait que les prédictions étaient assez floutées au fur et à mesure qu’on avançait dans le temps, parce que c’est des systèmes qui cherchent à prédire en moyenne et qui, du coup, ont intérêt à être conservatifs, en fait, donc à faire des prédictions assez molles, assez vite. Et le fait que sur les extrêmes aussi, ils étaient plutôt moins bons. J’aurais dit, mais à mon avis, ils ont bien identifié ces problèmes, d’autant À mon avis, vous leur avez pas mal répété. Parce qu’eux, pour le coup, sont allés présenter leurs travaux aux climatologues et leur dire « Qu’est-ce qui vous dérange dans nos modèles ? ». Et je leur ai dit « Je ne serais pas étonné que dans 6-7 mois, vous ayez une deuxième salle de publication où ils aient réglé une partie des problèmes. ». C’est des gens qui vont très vite et ils ont une méthodologie qui marche bien. Surtout quand vous leur donnez des scores ou en tout cas quand vous identifiez précisément des choses à améliorer, vous allez voir, ils vont très vite. Et à l’époque, ça les avait fait marrer. Ils étaient là, ouais, ouais, c’est ça. Et justement, ce fameux papier neural GCM, quand ils l’ont vu, à ce moment-là, j’ai été recontacté par ces chercheurs. Ils m’ont dit, est-ce qu’on peut en discuter avec toi ? Parce que c’est vrai que tu avais un peu vu le truc venir. Et là, ça les faisait moins rigoler. Donc, ils se sont un peu rendus compte. Ils avaient un peu cette posture de, oui, bon, notamment dans la communauté climatique. Météo, je pense qu’ils ont réagi assez vite. Ils se sont dit, oula ! Ça va chauffer, quoi. Les communautés climatiques, ils se sentaient un peu à l’abri. Oui, bon, 15 jours, ce n’est pas du climat. Même moi, j’ai été surpris. J’étais un peu prévenu. 

Marc 00:33:27 – 00:33:46 : Oui, c’est assez similaire à ce qu’on a assez souvent dans l’IA et on pourrait parler de chat GPT et C’est l’impression qu’en prédisant le mot suivant, en se basant sur des statistiques, ça va être rigolo deux minutes, mais ça ne va rien faire de révolutionnaire. Et puis, ChatGPT est sorti et ça a mis quelques claques. 

Louis 00:33:46 – 00:34:32 : C’est une sacrée claque. Je pense que ça a été un peu la même chose. Alors, il y a un truc qui reste profondément sympa dans cette collaboration et cet échange, c’est que Les données viennent encore de cette communauté de physique, etc. Je pense qu’ils ont vraiment intérêt à dialoguer. Là où je pense que dans le texte, ça a été plus délicat, sur la communauté un peu classique qui utilisait les techniques d’analyse formelle, où ils essayaient de modéliser la grammaire comme un système formel, avec des techniques de lampe de la calcul, techniques très théoriques, où on essayait de faire… une modélisation presque mathématique avec un système de règles de la grammaire, mais qui n’ont pas vraiment produit de résultats que je sache. Je ne connais pas très bien le domaine, mais le fait est que les gens qui ont fait ChatGPT, etc., n’ont rien repris de ces travaux. 

Marc 00:34:33 – 00:34:50 : Oui, comme en vision, il y avait les travaux qui consistaient à essayer de repérer des êtres humains en prenant des cylindres pour les bras, une boule pour la tête, un cylindre pour le corps. C’est une méthode analytique qui a du sens, mais qui n’est pas… le chemin des méthodes qui marchent aujourd’hui. 

Louis 00:34:50 – 00:36:00 : Exactement. Mais dans la communauté vision, ils étaient déjà allés vers des méthodes un peu statistiques, ils apprenaient des méthodes de régression linéaire, etc. Et il y a beaucoup de gens qui ont vu beaucoup de similitudes entre ce qu’ils faisaient, entre ce que faisait un réseau de neurones et ce que faisait leur méthode un peu hiérarchique où ils prenaient des fils de convolution, etc. C’est une communauté qui a mieux digéré où il y a eu une vraie émulation et un apport. En météo, c’est d’autant plus vrai. C’est un peu comme si, en vision, on n’avait que des images avec des bouts de pixels. Les gens qui faisaient du machine learning devaient systématiquement aller voir des experts de l’image qui reconstruisaient toutes les images dont les gens en machine learning ont besoin pour pouvoir apprendre. Je pense qu’entre-temps, les gens de machine learning se seraient intéressés à ce problème de… de reconstruction, c’est probablement ce qu’ils vont faire dans l’atmo. Ils vont dire, bon, pour l’instant, on est tributaire des centres opérationnels pour avoir cette image 3D à un instant T. Il y a déjà, d’ailleurs, un travail chinois, Feng Wu 4DVAR, où en fait, ils réutilisent une méthode qui s’appelle 4DVAR pour faire ça. Ils la réimplémentent avec des réseaux de neurones. Les résultats sont exceptionnels, mais ils ont vite identifié le problème et ils ont fait un premier essai qui est quand même assez convaincant. 

Marc 00:36:01 – 00:36:05 : Alors c’est quoi tes prochains travaux en IA ? 

Louis 00:36:05 – 00:37:36 : Alors ça, grande surprise pour moi, je suis en train de travailler avec un collègue sur technique du traitement d’image, sur la reconnaissance d’image et génération d’image. Je ne m’y attendais pas trop, j’étais parti de la communauté machine learning parce que C’est une communauté où il y a plein d’émulations, mais il y a un truc qui est un peu flippant, je trouve, c’est le banc de macro. C’est le banc de macro où tous les macros changent de direction en même temps et vont en fait dans une autre direction. C’est l’impression que j’avais eue quand il y avait eu le Visual Transformer qui était apparu à ICLR. 2021, je crois. 2021 ou 2020, je ne sais plus. 2020, oui. Et là, d’un coup, tout le monde a dit les convenettes, les réseaux convolutifs, on va tous faire des transformeurs pour la vision. Et le fait est que ça a pris massivement. Alors là, il y a Mamba, c’est le dernier truc à la mode qui est sorti, qui règle le problème d’attention quadratique. Je suis en train de me demander si le banc de macro n’a pas encore changé. Moi, j’ai fait ma thèse sur les propriétés des réseaux convolutifs pour la classification d’images. Il y a un côté un peu genre wow. Donc, tout ce que j’ai fait, ça n’intéresse plus personne. Et voilà, c’est ça qui me faisait un peu flipper. Donc, c’est pour ça que je suis allé aussi. J’avais aussi envie de voir des choses un peu plus concrètes. L’océan, ça m’attirait pas mal. Ma conversion en océan s’est fait un peu par hasard. Je suis arrivé à Rennes pour des raisons personnelles. Il y avait un post-doc disponible. C’était le directeur d’équipe, Étienne Mémin, venait lui de la vision. En fait, il travaille sur l’estimation de mouvement pour reconnaître le mouvement des fluides à partir de photos. Donc, c’est comme ça que j’ai fait le changement de domaine. Je ne pensais pas y arriver, mais en fait, c’est hyper excitant tout ce qui se passe en IA et ça m’a donné envie de retravailler là-dessus. 

Marc 00:37:36 – 00:37:56 : C’est un peu ce qui s’est passé aussi avec Stable Diffusion et… Et les GAN, à un moment donné, c’était le… Les GAN, il y en avait partout, c’était le futur. Et puis Stable Diffusion, j’ai l’impression, a tué les GAN, on n’en entend plus parler. Alors qu’il y a plein de choses prometteuses, mais les gens ne vont pas chercher dans cette direction. Et peut-être qu’un jour, quelqu’un rouvrira le dossier. 

Louis 00:37:56 – 00:38:22 : Je pense que c’est encore plus brutal parce que les modèles de diffusion réutilisent des réseaux convolutifs pour faire du débrutage. C’est un peu la renaissance des réseaux convolutifs. Ce qui fait que je m’y réintéresse aujourd’hui avec mes connaissances sur les réseaux convolutifs. C’est vrai que les GAN, c’est hyper violent. Les gens disent que ça avait problème de mode collapse, pas assez de variété. C’est pas impossible que ça réapparaisse, mais vu la performance des modèles de diffusion… 

Marc 00:38:24 – 00:38:31 : Il y a un sacré écart à creuser. Alors, qui est l’invité ? Est-ce que tu nous suggères pour un prochain épisode ? 

Louis 00:38:31 – 00:39:06 : J’ai réfléchi justement sur les modèles de diffusion. Il y a Valentin de Bortoli qui a fait le MVA avec nous, qui maintenant est chez DeepMind. Nous, on s’entendait très bien quand on faisait le MVA. On faisait pas mal de devoirs ensemble, on a fait des projets ensemble. Après on s’est un peu perdu de vue en thèse et j’ai revu en juin dernier. et là lui il est vraiment à la pointe sur ses modèles de score matching, diffusion score matching, denoising diffusion model. Il habite à Londres. du coup, c’est peut-être pas très pratique mais il est vraiment à la pointe là-dessus et je pense que ce serait super intéressant de l’avoir. C’est vraiment un des français qui fait parmi les choses les plus à la pointe dans le domaine. 

Marc 00:39:06 – 00:39:09 : Super, et bien merci beaucoup Louis. 

Louis 00:39:09 – 00:39:10 : Je t’en prie Marc, c’était un plaisir. 

Marc 00:39:11 – 00:39:14 : Vous venez d’entendre Louis Thiry, chercheur à l’INRIA sur Data Driven 101.