Marc Sanselme 00:00:00 – 00:00:34 : Bonjour et bienvenue sur Data Driven 101, le podcast qui s’intéresse aux applications concrètes et variées de l’intelligence artificielle et de la data. Je suis Marc Saint-Selm, fondateur de Scopeo, une agence d’intelligence artificielle qui accompagne toutes les entreprises à tirer le meilleur de cette technologie. Dans notre podcast Data Driven 101, je reçois chaque semaine des professionnels pour qu’ils nous partagent leurs expériences et leurs visions sans filtre. Aujourd’hui, je reçois David Mass, Chief AI Officer chez Make.org. Make.org est une entreprise à mission qui a pour objectif d’engager les citoyens pour une transformation positive de la société. Bonjour David. 

David 00:00:34 – 00:00:35 : Bonjour Marc. 

Marc Sanselme 00:00:35 – 00:00:41 : Alors David, est-ce que tu peux nous dire avec tes mots et peut-être plus de détails ce que fait Make.org ? 

David 00:00:41 – 00:02:01 : Nous, chez Make.org, notre mission, c’est vraiment d’engager massivement les citoyens, en gros, dans l’action collective, l’action publique. Et on a deux convictions. La première conviction, c’est que l’intérêt de la technologie, c’est surtout de massifier l’engagement. C’est-à-dire qu’il y a plein de dispositifs participatifs qui sont très, très bien. Le dernier en date, c’est les assemblées citoyennes. C’est très engageant. Les gens qui passent ont une expérience très enrichissante. Ils font des travaux de très bonne qualité, mais ils sont 150. Et la démocratie, c’est quand même une histoire de nombre, c’est de faire participer un maximum de gens. Et on pense que justement, Internet, les réseaux sociaux, les smartphones, c’est vraiment la technologie qui va permettre d’engager un maximum de gens et donc un peu de délivrer la promesse d’Internet des débuts qui était de faire un espèce de grand agora, de grand forum de la démocratie et qui s’est un peu heurté au mur des réseaux sociaux où on a plutôt des chances d’invectation et de haine. Et notre deuxième conviction, c’est l’impact. C’est-à-dire que nous, on fait des consultations citoyennes massives en ligne. Massive, c’est-à-dire qu’on engage entre 50 000 et 100 000 participants typiquement. Et pour les dernières élections présidentielles, on allait jusqu’à 1 million de participants. Vraiment, beaucoup de monde. Mais on ne fait pas juste ça pour savoir ce que pensent les gens. On ne fait pas des sondages. Notre objectif, c’est que ça ait un impact. C’est-à-dire qu’on consulte les gens pour avancer. Et on s’adosse toujours à un projet de changement. Un exemple, on avait travaillé avec le ministère de l’économie sur la loi influenceur et la consultation, elle avait mené à rajouter des éléments dans la loi influenceur, comme l’interdiction de la chirurgie esthétique ou la prise en compte des influenceurs à l’étranger, à Dubaï, par exemple. 

Marc Sanselme 00:02:02 – 00:02:10 : D’accord. Alors j’ai vu le mot réseau social à un endroit. Est-ce que c’est un réseau social ou en quoi ça en serait un ? 

David 00:02:10 – 00:03:05 : En fait, nous, on se définit presque comme un anti-réseau social. À la base, on s’est pensé comme un réseau social, comme une plateforme où on agrège les gens pour faire des choses. Mais ce qu’on a constaté, ce qui est au fondement de Make, c’est que les réseaux sociaux, qui auraient pu être un lieu d’échange formidable, cette espèce d’agora citoyenne dont je parlais et qu’on croyait au début… Et finalement, qu’est-ce que c’est devenu ? C’est devenu un espèce de lieu de combat idéologique où on s’invective, on s’interpelle, où finalement les gens sont hyper fragmentés dans des bulles d’opinion et quand ils se rendent compte, c’est simplement pour se confronter. Et donc, ça n’amène pas à quelque chose de très constructif. Et nous, ce qu’on fait, c’est qu’on prend les gens sur ces réseaux sociaux, sur ces plateformes, et on les amène dans un lieu où ils peuvent avoir un débat constructif et faire quelque chose d’utile. Donc c’est un peu plutôt ça qu’on fait. Et donc on essaye de faire une expérience qui est compatible aux réseaux sociaux, donc qui est proche de la simplicité de ce qu’on a sur les réseaux sociaux, mais qui amène quelque chose d’utile. C’est-à-dire qu’on va arriver, on va te confronter à l’avis des autres, tu vas pouvoir t’exprimer, dire si tu es d’accord ou pas d’accord, tu vas pouvoir donner ton propre avis. Et à la fin, on va agréger tout ça de façon à en faire quelque chose d’intelligible pour que le décideur puisse le mettre en action. 

Marc Sanselme 00:03:06 – 00:03:12 : Ok. Alors pour bien comprendre concrètement le cheminement, on va sur make.org. Qu’est-ce qu’on nous propose ? 

David 00:03:12 – 00:04:05 : Alors, l’expérience courante sur Make More Work, c’est que tu es sur ton réseau social, tu vas avoir passé une publicité, en fait, et qui va t’interpeller sur un sujet, par exemple, sur la violence faite aux femmes, ou là, ça pourrait être sur l’immigration. Et donc, si tu as envie de réagir, tu vas cliquer et tu vas arriver dans ce qu’on appelle une séquence. Donc, on va commencer par te montrer 12 propositions d’autres citoyens. Et là, tu vas pouvoir réagir très simplement juste en donnant ton avis, en votant pour, contre. Tu fais un peu plus que voter pour ou contre. Tu peux aussi exprimer un peu pourquoi. Tu peux qualifier. Tu peux dire parce que je trouve cette idée géniale ou je suis d’accord, mais bof, on est tous contre la guerre. Mais bon, ça ne va pas très, très loin. Et puis après avoir vu 5, 6 propositions, on va te proposer de faire ta propre proposition si tu as envie. Et à ce moment-là, si tu en fais une, elle sera montrée aux autres. Et on va après avoir un mécanisme qu’on appelle d’émergence, c’est-à-dire qu’on va pouvoir identifier grâce au vote des autres citoyens quelles sont les propositions qui peuvent venir de n’importe quel citoyen lambda, qui sont les plus consensuels, soit les plus controversés. 

Marc Sanselme 00:04:05 – 00:04:10 : D’accord. Les citoyens, ça veut dire qu’il faut quand même être inscrit ? Ou c’est le navigateur ? 

David 00:04:10 – 00:04:34 : Non, non, pas du tout. En fait, on n’a pas besoin de s’inscrire. L’idée, c’est qu’on fait un onboarding très léger. C’est-à-dire qu’on a besoin de s’inscrire uniquement quand on fait une proposition. Et en fait, après, comme on a un très grand nombre de gens et qu’on a aussi un mécanisme aléatoire de présentation des présentations, en fait, on est assez bien protégé contre les tentatives de manipulation. On a deux, trois algorithmes qui vérifient qu’il n’y a pas d’attaque synchronisée pour altérer le résultat. Ce qui fait que ça nous permet de prendre l’avis des gens sans leur demander de connexion. 

Marc Sanselme 00:04:35 – 00:04:40 : D’accord, ok. Alors, c’est quoi la nature des données que vous manipulez, du coup ? 

David 00:04:40 – 00:05:00 : Alors, côté IA, le principal, nous, ce qu’on a, c’est des données textuelles. Donc, on a les contributions des citoyens. La forme principale, c’est ces fameuses propositions citoyennes en 140 caractères. C’est la taille d’un tweet ancienne génération. On a d’autres formes d’expression. On a notamment les votes qui sont plus quantitatifs. Et puis, sur d’autres plateformes, on peut aller plus loin avec des commentaires plus riches. Mais côté IA, nous, ce qu’on travaille surtout, c’est le texte. Donc, on fait beaucoup de NLP. 

Marc Sanselme 00:05:01 – 00:05:08 : Ok. Et côté analyse de données, est-ce que tu peux nous partager un peu des décisions prises ? 

David 00:05:08 – 00:05:56 : Alors, on fait deux types d’analyse de données. Déjà, ce qu’on fait beaucoup, c’est qu’on synthétise ce qu’on dit les citoyens pour en faire des rapports. Et là, on va faire du clustering automatique et de la classification pour un peu identifier les thèmes principaux, ranger les propositions des thèmes et puis éventuellement les regrouper par idées. Donc là, on a du NLP classique. Et puis, on est très data-driven parce que nous, on fait de l’acquisition sur les réseaux sociaux. Donc on vit et on meurt par les métriques d’acquisition, donc on monitor très fortement ces métriques. Et un des changements les plus impactants qu’on a eu là-dessus, c’est qu’on s’est rendu compte qu’après ces 12 votes, on perdait beaucoup de gens. Après les a fait voter, on les envoie normalement sur l’interface plus ouverte où ils peuvent explorer propositions. Mais là, on s’est rendu compte qu’il y a à peu près la moitié des gens qui n’allaient pas dans ce nouvel espace et la moitié des gens qui partaient directement sur cet espace. Et on a juste proposé aux gens de refaire une séquence. Et là, d’un coup, 30% des gens se sont mis à refaire une séquence. 

Marc Sanselme 00:05:57 – 00:05:59 : On choisit directement pour l’utilisateur la séquence d’après. 

David 00:05:59 – 00:06:13 : Oui, on en refait une. Ça m’a plu, je recommence. Et là, on a fait plus de 50% sur le nombre de votes pour l’utilisateur. Mais on est tout le temps à regarder nos maîtrises, qu’elles sont optimisées. Ce n’est pas passionnant, mais le travail de l’acquisition, c’est un travail d’un peu de fourmi. Data-driven au quotidien. 

Marc Sanselme 00:06:14 – 00:06:38 : Ok, alors du coup il y a un gros enjeu de quelles propositions on pousse, puisque dans le fond il y a cet enjeu démocratique derrière, il y a quelque chose, on va dire des maths très profondes derrière tout ça, comment est-ce que fonctionne votre algo d’attribution, les 12 propositions que moi je vais voir, comment elles vont être choisies, et quelles sont les contraintes, les objectifs aussi que vous avez dans cet algo ? 

David 00:06:38 – 00:07:46 : Ça, c’est vraiment une compétence essentielle de la plateforme. On a plusieurs enjeux, missions que donne cet algorithme. La mission globale, c’est dire qu’il faut que tous les gens qui font des propositions aient une chance égale d’émerger, c’est-à-dire quiconque soit. Et si on fait une proposition, il faut qu’on ait une chance égale d’être sélectionné parmi les plus consensuels et les plus controversés. Ça, c’est la première chose. La deuxième chose, c’est qu’on veut randomiser parce qu’on ne veut pas que les gens… On veut que ça soit un peu… Qu’on puisse interpréter ce qui en sort. Donc, qu’elle soit preuve d’un sondage. Donc, on veut randomiser la présentation. Et puis, on veut aussi non seulement randomiser, on veut éviter que les propositions qui arrivent plus tard dans la consultation soient désavantagées. C’est ce qu’on voit beaucoup sur les plateformes qui n’ont pas ce genre d’algorithme. Même si on randomise simplement, si tu es là depuis plus longtemps, tu joues plus, tu es plus d’exposition. Donc, on veut contrer ça. Et puis nous, ce qu’on voulait en plus, c’est avoir un peu de robustesse statistique. Et un des problèmes qu’on a, c’est qu’on a environ 200 votes par proposition sur la plateforme et qu’on aimerait que celles qui émergent, les meilleures, elles s’approchent de 1 000 pour rapprocher un sondage. Et donc, on aimerait un algorithme qui enrichisse, qui donne plus de votes aux meilleures de façon à ce qu’elles soient un peu plus fiables statistiquement. Voilà, donc ça, c’était les contraintes. Et donc, en fait, on l’a recasté comme un problème d’exploration et d’exploitation un peu adapté. 

Marc Sanselme 00:07:46 – 00:07:57 : Oui, c’est-à-dire que quand vous voyez que quelque chose plaît beaucoup, vous avez tendance à dire qu’il faut le proposer souvent, puisque c’est probablement un bon candidat pour être une des conclusions de la consultation. 

David 00:07:57 – 00:07:58 : Exactement. 

Marc Sanselme 00:07:58 – 00:08:07 : Là où, quand une proposition est fade, comme non à la guerre, tout le monde est d’accord, mais ça ne fait pas avancer le débat. Là, vous allez petit à petit la faire tomber aux oubliettes. 

David 00:08:08 – 00:09:38 : C’est exactement ça. Et donc, le problème, c’est d’abord d’avoir une métrique qui permet de détecter c’est FAD, c’est pas FAD. Donc là, on utilise à la fois, évidemment, les votes pour contre, mais ces fameuses qualifications qui disent c’est un coup de cœur ou c’est une banalité. Donc, les gens peuvent dire celle-là, elle est bof. Et donc, on va utiliser ça dans un espèce de score composite. Et ensuite, sur la base de ce score, on va essayer de faire tourner cet algorithme, qui est un algorithme d’apprentissage par renforcement. En fait, ça ramène à un problème mathématique classique, qui est le problème d’exploration-exploitation. L’exploration, c’est… J’ai des propositions qui arrivent. Est-ce qu’elles sont bien intéressantes, pas intéressantes ? Est-ce qu’elles sont saillantes ou un peu banales ? Et puis ensuite, une fois que je le sais, j’en mets plus sur celle-là. Mais j’ai de l’incertitude, parce qu’au début, je n’ai pas beaucoup de gens qui ont voté, donc je ne sais pas. Et donc… Et l’algorithme qu’on a choisi, un des deux algorithmes standards qu’on a choisi pour répondre à ça, c’est le Thomson sampling, où en gros, il y a deux ingrédients. Il y a la mesure actuelle de la qualité de la proposition et puis l’incertitude dessus. Et l’idée du sampling, c’est qu’on va tirer au hasard une valeur de qualité de la proposition. Et quand on est très sûr de nous, quand il y a beaucoup de votes, finalement, ce tirage au sort va rester très proche de la valeur d’origine. Et donc, elle va rester parmi les meilleures. Et puis, quand on est très peu sûr, le tirage au sort peut prendre à peu près n’importe quelle valeur. Finalement, une proposition nouvelle pourrait être parfois parmi les meilleures, parfois parmi les mauvaises, donc parfois être sélectionnée dans les 12 et parfois pas sélectionnée. Et puis ensuite, on a adapté cet algorithme, notamment pour éviter ce biais des premières arrivées. En fait, on en prend un peu plus que nécessaire et on va privilégier celles qui sont les plus récentes et qui ont le moins de votes, de façon à rééquilibrer au fil de l’eau la donne pour que les plus récentes des propositions ne soient pas désavantagées. 

Marc Sanselme 00:09:39 – 00:09:53 : Ok, parce que le problème avec l’algo initial, c’est qu’au tout début, il n’y a pas de grands favoris, donc les nouvelles propositions ont beaucoup de chances d’être tirées, et au bout d’un moment, il y a des grands favoris, et donc les nouvelles ont moins de chances d’être tirées, c’est ça 

David 00:09:53 – 00:10:47 : ? Alors, en fait, ce qu’il y a surtout, c’est que le problème classique de l’exploration-exploitation, ça part avec un certain nombre de propositions, mais qui est donné au départ. Ce n’est pas prévu que ça arrive au fil de l’eau. Donc, tous les algorithmes, toutes les preuves mathématiques te disent, si tu as un set de propositions et que tu fais ton algo, exponentiellement, ça converge à un résultat optimal. Bref, tu minimises le regret, c’est optimisé sur des notions mathématiques adéquates. Mais nous, ça arrive au fil de l’eau et donc, il faut qu’on corrige ça. Et donc, on a corrigé ça, effectivement, en donnant l’avantage aux plus récentes, de façon à ce qu’elles rattrapent leur retard, qu’on les fasse gagner plus souvent pour qu’elles aient plus de votes. C’est ça le problème. Et ça, c’est surtout quelque chose qui n’est ni réglé dans l’algo standard, ni sur les plateformes classiques, où on se contente d’un tirage au sort. Et comme je disais, si tu es là depuis longtemps, tu as plus d’exposition et tu as plus de chances de sortir parmi les meilleurs. Ce qui fait que, en gros, si tu veux être pris en compte dans le rapport final, il faut participer les deux premiers jours, alors que nous, tu peux participer dans les derniers jours et sortir quand même. 

Marc Sanselme 00:10:47 – 00:10:49 : Et comment vous réglez un peu ce gain ? 

David 00:10:49 – 00:12:23 : Alors, ça a été très empirique. En plus, ce n’est pas évident parce qu’on est sur des algos probabilistes. Donc, on a fait beaucoup de simulations. On prédéterminait des scores de propositions. On faisait un scheduling, un peu un planning d’arrivée des propositions. Puis, on vérifiait que les bonnes qu’on savait qu’on avait mis à la fin émergeaient quand même ou du moins émergeaient suffisamment souvent parce que tout est probabiliste. Donc, on a une bonne chance d’arriver. Donc, on a beaucoup validé ça par simulation. Et puis après, on a dû le valider en vrai parce qu’on fait des modèles quand on simule, on fait des modèles de la réalité et puis la réalité est très différente. Et donc là, le vrai challenge, le vrai défi, c’était de s’assurer que dans la vraie vie, ça se passait comme dans la simulation. Et donc, il fallait trouver des métriques pour monitorer. Et on a pas mal tâtonné là, et finalement je suis arrivé à deux visualisations extrêmement simples et claires. J’ai pris des quantiles, des quantiles de score, et je regardais le nombre de votes moyens en fonction des quantiles de score estimées. Et là ce qu’on voyait c’est une espèce de courbe comme ça qui est croissante, c’est-à-dire que les 10% qui ont le meilleur score avaient 3 fois plus de votes que la moyenne, alors que les 10% qui avaient le moins en avaient 3 fois moins. Et ce que tu vois c’est qu’au fil de l’eau, ça part à peu près équilibré, et puis tu vois l’algorithme qui creuse la différence entre les meilleurs et les moins bonnes. Et donc quand ça se passe bien, tu vois cet exponentiel qui se crée. Ça, c’était la première vérification pour vérifier qu’on arrivait bien à donner plus de votes aux meilleurs. Et puis, pour vérifier le désavantage du temps, tu fais des quantiles par date d’arrivée. Et là, tu vérifies que ça reste flat. Donc, tu vois souvent que les derniers arrivés, ils ont moins de votes en moyenne que les autres. Et puis, progressivement, ils rattrapent. Et donc, ça, avec deux visualisations très simples qu’on a mis du temps à trouver, on avait un check très rapide que ça se passait aussi bien qu’en simulation. 

Marc Sanselme 00:12:24 – 00:12:37 : Vous partez de l’hypothèse que les bonnes propositions ont autant de chances d’arriver au début qu’à la fin. Est-ce qu’il est raisonnable, cette hypothèse ? Je te taquine un peu. Est-ce que les bonnes idées, elles arrivent pas plus souvent au début ? 

David 00:12:37 – 00:12:58 : Oui, parce qu’en fait, ce qui se passe, nous, c’est que… On pourrait imaginer qu’un débat, c’est des gens qui reviennent et qui partent. En fait, ce qui se passe beaucoup, c’est que… On attire les gens. Et en fait, les gens, quand ils débarquent à la fin, eux, ils ont l’impression qu’ils viennent de savoir que le débat existe. Et finalement, tu en montres 12 propositions, ils n’ont pas l’ensemble du débat. Donc, ils sont quasiment à égalité avec ceux qui arrivaient tout au début. Et donc, ils sont potentiellement aussi intéressants que ceux du début. 

Marc Sanselme 00:12:59 – 00:13:16 : Oui, parce qu’en fait, une question que je me pose qui est importante pour comprendre ça, c’est qu’est-ce qui se passe si je propose quelque chose ? Donc moi, on m’a proposé 12 choses. Il n’y avait pas ma proposition, mais ma proposition, elle existe. Mais elle ne m’a juste pas été proposée. Qu’est-ce qui se passe ? Comment vous fusionnez ma proposition avec celle qui, en fait, était très proche ? 

David 00:13:16 – 00:14:42 : Alors, en fait, au début, on voulait dédupliquer. On s’est dit qu’on n’avait pas envie que les gens nous disent qu’il y a soit la même idée. Ou alors, on voulait essayer de proposer aux gens de rejoindre une idée. Et puis, on s’est rendu compte que nous, comme on est sur des provisions très, très courtes, ce qui n’est pas génial pour exprimer la profondeur de ton idée, mais qui est très, très bien. Nous, on a des milliers d’idées. On peut aller jusqu’à 2, 3 milliers. Personne ne va lire tout ça. Donc, il faut qu’on t’en fasse lire un certain nombre et que ce soit assez rapide. Du coup, des idées courtes, c’est très bien. Et du coup, il y a beaucoup de variants de formulation et souvent en 140 caractères. Soit tu vas être très générique, soit tu vas accéder, tu anglais en fait ta proposition sur un angle ou deux. Et ce qui est génial, c’est quand tu as 5 ou 6, 10 personnes, 20 personnes, 30 personnes qui expliquent la même idée, ils vont l’expliquer avec un angle différent. Et suivant l’angle que tu mets, ça va plus ou moins rencontrer la popularité des gens. Et puis à la fin, quand on fait notre rapport et qu’on a en fait les idées gagnantes, c’est des groupements de 10, 20 propositions qui ont toutes bien fonctionné. Donc on est assez rassuré sur le fait qu’en variant les formulations, l’idée fonctionne. On est aussi rassuré sur le fait qu’il y a beaucoup de gens qui le proposent. Donc c’est aussi un signal. On appelle ça un peu la double validation. Les gens l’ont reçu positivement et en plus, il y a plein de gens qui proposent. Et puis, ça donne, en fait, par l’essai de petites touches impressionnistes, les 10, ça te donne un peu toute la palette de la façon d’écrire l’idée. Et tu retrouves la richesse que tu n’avais pas dans la proposition initiale. Donc, en fait, c’est plutôt une force. Et on a choisi, finalement, de conserver cette diversité et de le traiter à l’analyse en regroupant, donc par des clusterings sémantiques qu’on fait en première passe par de l’IA, en deuxième passe par de l’humain. 

Marc Sanselme 00:14:43 – 00:15:01 : Oui, il n’y a pas besoin de dédupliquer dans la mesure où on n’est pas en train de voter pour une proposition, mais on est en train de voter pour ou contre toutes les propositions qu’on nous donne. Donc finalement, c’est une sorte de note moyenne. Il n’y a pas de force à fusionner les propositions. On ne va pas fusionner les votes, en fait. On va juste moyenner. 

David 00:15:01 – 00:16:23 : Et en plus, ce qu’il faut voir, c’est qu’est-ce qu’on sort de ces consultations. Nous, on sort un panorama de l’opinion avec les propositions les plus consensuelles et les propositions les plus controversées. en fait on appelle ça l’  citoyen et il est assez fort parce qu’il est assez actionnable. cet agenda citoyen c’est-à-dire quand tu as des choses sur lesquelles tout le monde est d’accord finalement en général c’est-à-dire qu’on est d’accord sur le constat sur le problème et qu’il n’y a plus qu’à y aller à mettre en oeuvre des solutions et c’est souvent sur les solutions que ça va être un peu plus compliqué. mais au moins tu as cette espèce de base qui te donne un élan assez fort pour dire là il faut qu’on y aille il faut qu’on se mette d’accord et ça pousse un peu au compromis. nous on fait ce qu’on appelle des grandes causes on réunit des ONG, des entreprises et des pouvoirs publics pour traiter des sujets d’intérêt général comme la lutte contre les violences faites aux femmes ou bien prendre soin de nos aînés. Et on arrive à rassembler des gens qui ne se parlaient pas forcément des ONG, qui sont un peu dans leur précaré, des entreprises ou avec une méfiance mutuelle entre entreprises et ONG. Et le fait que tu t’adosse à une grande consultation citoyenne, tu dis « bon, il y a 100 000 citoyens qui se sont exprimés, tout le monde a dit qu’il faut y aller », Ça nettoie un peu le jeu. Là, maintenant, on est tous d’accord, on y va. On est obligé de se mettre d’accord parce qu’on doit répondre à ça. Et donc, ça permet de déclencher la mise en action. Il y a une force motrice du consensus qui est très forte. Et puis, les controverses ne sont pas inintéressantes. Les controverses, en général, c’est ce qu’on va retrouver dans les lignes des journaux parce que les journaux se focalisent beaucoup plus sur ce sur quoi on n’est pas d’accord que sur ce qu’on est d’accord. Et puis, ça indique aussi les endroits où, si on veut y aller, il va falloir beaucoup plus travailler pour trouver des solutions consensuelles. 

Marc Sanselme 00:16:24 – 00:16:49 : Alors ça m’intéresse de creuser le sujet des controverses et comment est-ce qu’on les fait ressortir, etc. d’un point de vue de l’algo, mathématiquement, etc. Peut-être avant de rentrer dans le détail, est-ce que tu peux nous développer les cas d’usage précédents, historiques, que tu nous as cités tout à l’heure, où Make.org a vraiment utilisé les résultats de ces consultations, qu’on comprenne bien quelle est la suite en fait ? 

David 00:16:49 – 00:18:37 : Alors, on a plusieurs. Nous, le cas emblématique, c’est les grandes causes. On a commencé comme ça. Donc, les grandes causes, en fait, on s’auto-saisit d’un sujet. La première qu’on a fait, donc c’est intéressant parce qu’il y a le plus d’actions, c’était les violences faits aux femmes. C’est juste un peu avant MeToo. Donc, en fait, on est arrivé en pleine vague MeToo. Et on s’est dit, là, il y a un sujet, il faut qu’on y aille. Donc, on a fait une grande consultation, 100 000 personnes. Et on a eu des consensus, des controverses. Et là, après, ce qu’on fait, nous, c’est qu’on fait des ateliers avec les citoyens, les entreprises, les ONG pour faire un plan d’action. Après, on fait un plan de vie d’action et ensuite on est adossé à une fondation, la fondation mec.org, qui va déployer le plan d’action sur trois ans pour avoir de l’impact. Et par exemple, une des choses qui était ressortie dans cette consultation, c’était qu’il y avait un problème quand les femmes fuyaient leur mari parce qu’elles se retrouvaient à la rue, elles ne savaient pas quoi faire. Et donc, l’une des actions qu’on a fait, c’est qu’on est allé voir les chaînes d’hôtels. On leur a dit, mais vous avez des invendus. On ne pourrait pas la mettre à disposition des ONG pour que les femmes puissent s’en servir et faire un logement d’urgence, en fait. Et donc, ça, ça s’appelle l’abri d’urgence et ça fonctionne. Et donc, on a une plateforme où les ONG peuvent aller retrouver des chambres d’hôtels invendues qu’elles peuvent mettre à disposition des femmes qui fuient leur… Donc, ça, c’est un premier exemple. Un deuxième exemple que j’aime bien, parce que ce n’est pas que nous, c’est celui que j’ai cité sur Bercy. C’est un peu une autre plateforme, mais c’est sur la loi influenceur. Ce qu’on a fait, c’est qu’on a pris la loi influenceur, on a pris les dix mesures clés, on l’a mis sur une autre plateforme de consultation, puis là, les gens pouvaient venir Ils pouvaient déjà dire j’aime, j’aime pas ce qu’il y a dedans. Ils pouvaient faire des commentaires pour améliorer la loi. Et donc, on a analysé tous ces commentaires et on a dit voilà ce qui ressort le plus. Et parmi les choses qui ressortaient et qui n’étaient pas dans la loi, la loi avait prévu d’être plus dure sur certaines formes de promotion par les influenceurs. D’abord, il devait dire qu’il y avait certaines formes et d’interdire certaines formes de promotion. Et il était sorti dans la concertation qu’il y avait beaucoup d’influenceurs qui promouvaient la chirurgie esthétique et que c’était très dangereux parce que la chirurgie esthétique, ça reste un acte chirurgical. On ne pouvait pas juste le vendre comme on vendait une crème anti-rite. Et c’est rentré dans la loi, par exemple. 

Marc Sanselme 00:18:37 – 00:18:39 : D’accord. Donc il y a aussi une capacité de lobby sur… 

David 00:18:40 – 00:18:57 : Alors là, c’était parce qu’on travaillait avec eux. L’idée, c’est qu’on travaille avec les commanditaires. On vend en prestation notre capacité à mobiliser les gens autour d’un sujet. Mais on travaille avec les gens avec un espèce de contrat moral qui est on y va uniquement si on s’insère dans un processus où ce qui ressort de la consultation va pouvoir avoir un impact. Sinon, on ne le fait pas, en fait. 

Marc Sanselme 00:18:57 – 00:19:02 : Oui. C’était aussi notre question. Vous êtes une entreprise. Qu’est-ce que vous vendez, du coup ? 

David 00:19:02 – 00:21:26 : Alors nous, en fait, au début, on faisait ces grandes causes. C’est un peu la philanthropie. C’est les entreprises qui financent l’action sur ces grandes causes. Et puis on s’est rendu compte qu’on avait développé un super outil pour mobiliser les citoyens qui marchait bien. Et donc maintenant, on le vend. Alors on peut le vendre soit aux collectivités publiques. On travaille avec la mairie de Paris pour les dialogues parisiens, par exemple. On a travaillé sur la petite enfance. On a travaillé même sur les priorités de la ville de Paris. Et ça marche assez bien. Donc, on peut travailler avec des villes. On peut travailler avec des ministères, comme je l’ai déjà dit. On peut travailler avec l’Europe. On a fait des grandes consultations au niveau européen, en amont des élections européennes. Et puis, on peut aussi travailler pour des entreprises. On a travaillé, par exemple, avec Orange sur le numérique durable. Ils ont envoyé des SMS à tous leurs clients pour leur dire comment on pourrait rendre le numérique plus durable. Il y a des choses qui sont sorties, comme évidemment… Plus recyclés, moins poussés au changement de smartphone, aider les gens à réparer ou à réutiliser leurs anciens appareils. Donc on essaie d’accompagner aussi des marges de transformation des entreprises qui peuvent être soit avec leurs clients, soit internes. Et ce qui est assez génial par exemple dans les entreprises, c’est que souvent on fait des consultations qui sont à la fois internes et externes. Donc on crée un lien direct entre les employés de l’entreprise et les citoyens et ça redonne beaucoup de sens à l’intérieur de l’entreprise sur ce qu’on fait à l’intérieur de l’entreprise. Et puis ça permet aussi de réaligner les consommateurs citoyens avec l’entreprise, leurs attentes et puis aussi en tant que client, ce qu’ils aimeraient que l’entreprise fasse pour la société et pas seulement pour leur profit. Donc cette capacité à faire des consultations, vous la déployez en dehors de votre plateforme aussi ? Mais on le ramène sur notre entreprise parce qu’on se positionne un peu comme des tiers de confiance. C’est-à-dire que quand on participe à une consultation Mike.org, en fait, il y a quand même un petit jeu pas évident dans le participatif. C’est qu’on va faire une synthèse. Donc, c’est égal. On fait que participer les gens. Ils nous disent des choses. On fait une synthèse. Et puis là, il se peut que les résultats ne plaisent pas toujours. En général, ça va. Mais donc, nous, on est là pour être le garant de dire tout ce que vous avez dit, on va l’analyser et on va le publier. Ça va être public. Vous allez l’avoir. Et le commanditaire va s’exprimer, va répondre à tout ce que vous avez proposé. Mais en tout cas, on s’assure que rien ne sera escamoté et que tout sera rendu public. Et ça, c’est un peu cette garantie-là. C’est fort, c’est un peu à garde-fou contre la tendance naturelle qu’on a. On est face à des clients qui sont des gros consommateurs de sondage. Un sondage, on prend et on publie les chiffres qui nous arrangent. Là, on a toujours ce contrat moral dont on est garant, c’est-à-dire qu’on va représenter tout ce qu’il y a. Vous n’êtes pas obligé de tout prendre en compte, vous êtes obligé de répondre à tout. 

Marc Sanselme 00:21:27 – 00:21:39 : Oui, voire même éventuellement, si on va plus loin dans la malhonnêteté, le fait de ne pas respecter l’anonymat des questions, le fait de voir que c’est un tiers de confiance, permet de garantir un peu l’anonymat. 

David 00:21:41 – 00:23:54 : Donc ça, c’est assez fort comme positionnement. Et puis maintenant, ce qu’il y a, c’est qu’au début, on faisait plutôt de la consultation sur des questions ouvertes. Il y a une question ouverte et j’en propose. Et puis, en fait, on a étendu pour accompagner un peu tout le process de la mise en œuvre d’un projet. Au départ, donc à la consultation, quand on démarre. Et ensuite, un projet, quand il est mieux fait, on a cette nouvelle plateforme qui s’appelle Dialogue, qui va permettre aux gens de prendre un projet, de réagir dessus. Et puis avec l’IA générative, on a une nouvelle plateforme qui est arrivée, qui s’appelle Panoramique, qui permet de suivre ce qui se passe dans une assemblée ou dans un groupe de travail. Et donc là, typiquement, ça fait ce qu’on appelle le milieu du papillon, parce qu’en fait, on a deux endroits très massifs qui sont la consultation d’entrée et la réaction sur le projet en sortie, qu’on voit comme des ailes du papillon. Et puis au centre, souvent, ce qui se passe, c’est qu’il y a un travail anti-groupe. Parce que pour passer d’un consensus à un projet, on ne fait pas ça à 10 000. On fait ça généralement dans un groupe de travail, ça peut être 10, 20 personnes, souvent moins. Et donc là, c’est des gens qui travaillent un peu dur, plus en profondeur. Et ça, c’est souvent un peu opaque. Ou ça peut être même une assemblée citoyenne, 150 citoyens. Alors les gens qui sont transparents, ce qu’ils vont faire, c’est qu’ils vont prendre tout ça, ils vont le mettre en ligne. Ils vont te mettre des vidéos, ils vont te mettre des rapports, des projets. Mais en général, tu as des vidéos de 3 heures, par exemple, une convention citoyenne, des rapports de 100 pages, personne ne va lire tout ça. Et puis là arrive l’IA générative. Et l’IA générative, qu’est-ce qu’elle sait bien faire ? Elle sait bien résumer. Et elle, en plus, non seulement résume, mais elle peut répondre à tes questions. Donc, nous, on s’est dit, pourquoi on ne fait pas une plateforme ? On prend tout ça. Et toi, tu arrives en tant que citoyen, tu poses ta question. Et la plateforme, elle va te faire un résumé de ce qui s’est dit par rapport à ta question en te citant les sources. Simple et efficace. Et on a fait ça sur la Convention citoyenne sur la fin de vie avec la Communauté économique, sociale et écologique. La plateforme est en ligne, vous pouvez aller la voir. C’était prévu pour servir dans le cadre de la proposition de loi, puisque la loi arrivait à l’Assemblée suite à cette Convention citoyenne. Et puis, il y a eu une élection anticipée des missionnaires. Toutes les lois ont été arrêtées. Donc, la loi sur la fin de vie n’est pas passée au Parlement. Mais la plateforme est toujours là. On espère bien que cette loi va revenir au Parlement. Et donc, ça permet d’aller se plonger dans ces débats qui étaient très, très riches. Parce que là, les citoyens, ils ont interviewé des experts. Ils ont discuté entre eux, ils se sont posé plein de questions. En vrai, toutes les questions qu’on peut se poser sur la fin de vie, ils se les sont posées. Ils ont eu des réponses d’experts et des dialogues intéressants. Et donc, ça peut être un très bon endroit pour s’informer. Et là, on utilise toute la puissance de l’IA générative pour faire quelque chose qu’elle fait bien et qui est vraiment très utile aux citoyens. 

Marc Sanselme 00:23:55 – 00:24:15 : Oui, ça peut être le lieu pour se forger une opinion sur quelque chose. C’est vrai que ce n’est pas évident d’avoir une opinion sur tout. Pourtant, on est quand même appelé à s’exprimer dans les urnes. Et donc, le RAG, si je comprends bien, le Trivial Augmented Generation, vous permet de faire un outil de question-réponse sur ces textes de synthèse qui sont lus par personne en pratique aujourd’hui. 

David 00:24:16 – 00:25:01 : Et ça permet de se faire une opinion très vite et à son propre rythme, ce qui est génial. Moi, ce que j’adore avec l’IA générative, c’est qu’on redonne le pouvoir à l’utilisateur. C’est-à-dire qu’on est un conversationnel. Donc, on rentre dans le sujet avec ce qui nous intéresse, nous. Parce que souvent, on va arriver sur un résumé d’un journaliste ou même si c’est un outil d’exploration, on va faire des chemins d’exploration qui ont été prédéfinis parce qu’on pense que c’est les bons par des experts qui pensent que c’est bon pour vous. Alors, des fois, ça tombe bien. Mais là, ce qui est génial, c’est qu’on rentre par son propre centre d’intérêt. Et nous, on le couple aussi d’ailleurs avec notre expertise d’acquisition sur les réseaux sociaux. C’est-à-dire qu’on va chercher les gens en disant, vous savez, dans la loi sur la fin de vie, il y a telle proposition qui est un peu innovante ou peut-être un peu controversée. Venez en savoir plus. Donc, on ramène des gens comme ça. Et ça, ça marche. On a fait passer 10 000 personnes sur la plateforme. Ça nous a appris aussi comment les gens s’en servaient. Et ça marche très, très bien. Il y a 50 % de gens qui arrivent sur la plateforme, qui interagissent avec. C’est content. 

Marc Sanselme 00:25:03 – 00:25:20 : Alors revenons sur le sujet des controverses. Comment est-ce qu’on fait pour détecter déjà une controverse ? Qu’est-ce qui caractérise une controverse quand un sujet est donné en consultation ? Et comment est-ce qu’on pourrait favoriser l’émergence de sujets ? 

David 00:25:20 – 00:27:22 : Alors, les controverses, effectivement, nous, on a la chance, en fait, sur la plateforme de consultation, on a le vote des gens. Donc, on a un truc qu’il y a souvent qu’il n’y a pas, parce que souvent, ce qui se passe sur la plateforme, tout le monde peut donner son avis. Et puis, les gens essaient de chercher les controverses par l’analyse sémantique, en essayant d’aller voir où est-ce que les gens proposent à droite, à gauche, quoi. En fait, ça, ça ne marche pas très, très bien. Un bon exemple, c’est la peine de mort. Il y a toujours, dès qu’on prend un sujet un peu controversé comme les violences faites aux femmes ou aux enfants, quelqu’un qui dit « il faut rétablir la peine de mort pour les violeurs » ou autre. Personne ne va jamais dire « il ne faut pas rétablir la peine de mort ». Donc avec une analyse sémantique, on ne verra jamais que la proposition sur la peine de mort, c’est controversé. Si on fait juste une analyse sémantique, on verra que plein de gens proposent la peine de mort. Mais en fait, c’est une minorité active. Nous, on a de la chance, on a des votes. Donc à chaque fois que les gens proposent la peine de mort, il y a des gens qui sont pour parce qu’ils trouvent que c’est mérité pour des violins. Et puis il y a toujours des gens qui, par principe, considèrent que c’est contre. Et donc typiquement, en fait, nous, grâce au vote, à l’analyse purement quantitative des votes et aussi des qualifications, on va pouvoir… Est-ce que les gens sont pour ou contre ? Donc est-ce qu’il y a un équilibre vote-contre ? Et puis aussi, est-ce que les gens sont très engagés pour ou très engagés contre ? Donc il y a des gens qui vont dire surtout pas. Non seulement je suis contre, mais je suis très opposé. Ou alors je suis pour et je suis très pour. Et donc, on a une espèce de score composite qui prend ces… Et la formule mathématique qu’on a derrière, c’est rigolo, c’est juste un max, en fait. C’est juste un max qui nous permet… Ça fait une espèce de triangle, comme ça, qui pointe sur 50-50. Et ça fait ressortir assez bien les sujets controversés, c’est-à-dire qui matchent avec ce qu’est un être humain. Quand on voit les scores, on dit, est-ce que ça, c’est une controverse ? Ça fonctionnait assez bien. Donc, c’est comme ça qu’on l’a validé, en fait. On a demandé à des gens de dire, regardez les scores, les votes, regardez les votes, les qualifications. Est-ce que, pour vous, les votes disent que c’est une controverse ou pas ? Et on avait fait que la matrice correspondait bien à ça. Max vote pour, vote contre. Et Max, surtout pas controversé. Surtout pas au coup de cœur. Et ça, ça nous ramène vers, on a un score maximum quand on est vers 50% de vote pour, vote contre, et 30% de surtout pas et de coup de cœur. Ce qui est un peu ce qu’on a envie de chercher. C’est-à-dire, c’est là où les gens s’opposent le plus fortement. Il y a vraiment des gens fortement pour et des gens fortement contre. Ce n’est pas juste des gens pour ou des gens contre, c’est des gens fortement pour et des gens fortement contre. 

Marc Sanselme 00:27:22 – 00:27:34 : On veut que l’opinion soit le plus proche de 50% et que les opinions soient les plus marquées possible. Mais du coup, c’est quelque chose que vous voulez favoriser, les controverses ? 

David 00:27:34 – 00:29:13 : Nous, au début, on l’avait surtout fait pour lutter contre ce biais sémantique, de dire « c’est pas parce que beaucoup de gens en parlent que c’est consensuel », donc pour faire la différence. Et après, la question, c’est comment on traite ça, et on traite ça en aval, c’est-à-dire quel impact, qu’est-ce qu’on fait sur une controverse. Nous, au début, on s’en sertait surtout pour dire « nous, on travaille beaucoup sur les consensus, parce que notre méthode, c’est si il y a un consensus, on peut avancer, donc si c’est controversé, on ne peut pas avancer pareil ». Et ce qu’on recommande, déjà, ça fait une alerte pour le commanditaire d’attendre. Si vous voulez mettre en œuvre cette solution-là, attendez-vous à avoir une forte opposition. Et donc là, il faut aller plus vers une autre façon de traiter le sujet, qui est peut-être faire plus de délibératifs. Il faut rentrer dans un processus beaucoup plus long de concertation et de recherche du compromis pour mettre en œuvre une solution controversée, alors que sur un sujet consensuel, il faut surtout trouver la mise en œuvre qui va à tout le monde. Donc c’est vraiment un traitement différencié, et on sait que les controverses, c’est là où il faut faire plus attention. Après, ce qui est intéressant aussi, c’est que les controverses, c’est souvent là aussi où arrivent les nouvelles idées. Il y a toujours cette phrase de Gandhi, au début, il vous ignore, après, il se moque de vous, après, il vous oppose, il s’oppose à vous, et après, vous gagnez. Finalement, la controverse, c’est cette troisième étape, après, on s’oppose à vous. Donc souvent, les idées émergentes naissent en controverses et passent en compromis. Et puis, on a vu aussi des idées qui basculaient de controverses en compromis. Un bon exemple, c’est le nucléaire. Le nucléaire, très controversé. Et puis arrive la guerre en Ukraine, et donc crise énergétique. Et là, on se rend compte qu’on est bien content d’avoir du nucléaire pour ne pas trop dépendre du pétrole. Le nucléaire est passé d’une notion plutôt controversée à quelque chose de plutôt consensuel dans la population. Parce que là, les gens se sont dit, si on doit commencer sérieusement à se limiter en gaz et en pétrole, ce qui serait aussi bien pour le climat, mais que la guerre en Ukraine a bien révélé, on est bien content d’avoir le nucléaire. Donc le nucléaire a gagné une opinion plus positive. 

Marc Sanselme 00:29:13 – 00:29:16 : D’accord. Alors, qu’est-ce que l’IA générative a changé pour vous ? 

David 00:29:16 – 00:32:40 : Alors, nous, on faisait déjà de l’IA de chez Mike, puisqu’on faisait beaucoup de TNLP, mais on a eu un coup de tonnerre en fin 2022, quand j’ai arrivé, parce qu’on s’est dit, waouh, ce truc, ça change tout. Alors, pour nous, ce qui a tout changé, c’est l’aspect conversationnel, parce qu’avant ça, il y avait déjà GPT-3, c’était déjà très puissant, les experts ont été dessus, on essayait de s’en servir, on voyait plein de potentiel, et puis arrive le côté conversationnel, et on se dit, là, ça change tout. Et nous, on a vu que ça change tout, parce que justement, ce qu’on a essayé de faire, c’est… d’un power, et les citoyens, je ne sais jamais de bons mots pour ça, mais de donner des bons outils aux citoyens. Et là, on se dit, ça, c’est un super outil. Alors, ce super outil, comme toutes les nouvelles technologies à deux faces, il y a un gros danger. Le gros danger de l’IA générative, c’est que c’est un super outil pour générer de la fake news, générer du deep fake, etc. Et ce n’est pas une crainte illusoire sur la démocratie. C’est quelque chose qui existe. Il y a déjà eu plusieurs cas. En Slovaquie, dans la période de réserve, il y avait un fake audio. On entendait le candidat libéral dire, moi, je vais taxer la bière. Deux jours avant le vote, il a perdu après. Ça a certainement joué un petit peu. Il y a quelqu’un aux États-Unis qui s’est amusé à faire un faux appel de Joe Biden pour dire aux électeurs démocrates de ne pas voter à la primaire du New Hampshire. C’était une première pas très importante pour les démocrates, mais quand même 30 000 appels automatiques avec la voix de Joe Biden qui parle aux démocrates pour dire on n’allait pas voter. Ça a fait un petit coup de tonnerre. Ça a démontré ce qu’on pouvait faire aujourd’hui avec les génératifs. Et puis, maintenant, il y a aussi Génératif, c’est textuel et visuel. Et étonnamment, ceux qui s’en servent de plus en politique, c’est les extrêmes, notamment les extrêmes-droites. En France, ils se sont servis pour faire des visuels de campagne. L’explication, surtout, c’est que les extrêmes-droites décrivent un monde qui n’existe pas. Ils avaient besoin de montrer des hordes de migrants qui débarquaient sur des plages. Il n’y a pas de photo de presse pour ça, parce que ça n’existe pas. Et donc, ils ont demandé à chaque GPT de faire des images de radeaux de migrants qui débarquaient sur les plages pour donner cette vision de la vague de submersion de migrants. Et ils en ont fait comme ça. Donc, c’est assez efficace. Donc, ça existe, c’est déjà là. Donc là, il faut lutter contre. Mais c’est aussi une super opportunité parce que ça donne des super pouvoirs citoyens. Nous, on en a vu trois. Un que je vous ai déjà donné comme exemple, c’est le pouvoir d’accès à la formation complexe, la capacité de résumer et de répondre à des questions. Donc, le RAG, ça permet d’un coup… de comprendre ce qui se passe. Tous les sujets d’intérêt généraux sont très compliqués. Il y a beaucoup d’expertise, il y a beaucoup de contenu et on n’y a pas accès parce qu’on n’a pas le temps. Et là, d’un coup, avec un bon RAG, ce qu’on a fait avec le type panoramique, on peut donner accès aux citoyens. D’un coup, on peut avoir des citoyens mieux informés et qui vont pouvoir mieux décider et s’impliquer dans le biais public. Premier point. Deuxième point, en fait, l’IA peut t’aider à t’exprimer. On n’est pas tous égaux dans la façon de s’exprimer. On a vu dans nos consultations que la formulation compte bien formuler son idée en 140 caractères. Ça fait que tu as plus ou moins de succès. Et on n’est pas tous des rédacteurs de slogans. On n’est pas tous capables de rédiger nos idées de façon à ce qu’elles attirent un maximum de soutien. Et donc, d’un coup, l’IA peut t’aider à faire ça. Elle peut t’aider à mieux creuser tes idées, à améliorer tes argumentations. Et d’un coup, elle nivelle le champ. Donc, elle peut permettre à tout le monde de devenir un bon défenseur de ses idées. Donc ça, on y voit beaucoup de potentiel et on va développer des applications là-dessus. Et le troisième, c’est la délibération en ligne. Nous, on adore les assemblées citoyennes. Simplement, c’est 150 personnes. Mais voilà, on a de l’IA conversationnelle. Une conversation, d’un coup, on se dit, mais est-ce que cette IA pourrait pas être un facilisateur de débats en ligne ? Est-ce que d’un coup, on peut pas massifier un peu l’expérience délibérative des assemblées citoyennes grâce à des IA qui feraient les facilitateurs ? Donc ça, c’est un gros sujet de recherche. Il y a plein de gens qui se penchent dessus. Il y avait déjà Jeremy Fiskin à Stanford qui avait fait un premier prototype d’IA facilitatrice pré-GeneAI. Et là, maintenant, il y a plein de gens qui travaillent sur comment on peut utiliser l’IA générative pour faciliter la délibération. 

Marc Sanselme 00:32:41 – 00:32:57 : Tu as donné des exemples diagénératifs qui viendraient perturber le processus démocratique. Est-ce qu’on doit craindre ça à plus grosse échelle ? Est-ce que vous, à votre niveau, vous avez une posture d’avant-garde ? 

David 00:32:57 – 00:35:35 : Nous, on était quand même très inquiets quand même. L’année, la 2024, on l’a appelée la « election year ». Il y a la moitié de l’humanité qui va voter dans des élections majeures cette année. Il y a des élections américaines, il y a des élections européennes, il y a des élections en Inde. Il y a vraiment des élections partout dans le monde. Et donc, ça arrive au moment où il y a une générative immature. Et on a vu plein d’exemples déjà de manipulation. Et donc, nous, très tôt, en amont des élections européennes, on a essayé d’alerter les pouvoirs publics parce qu’en fait, quand on est aux premières loges, on s’est dit qu’ils s’en rendent peut-être compte, mais ils n’ont peut-être pas d’idée de solution. Donc, on a créé une coalition d’acteurs, de gens qui étaient concernés par ces sujets et qui avaient des solutions, avec E-Info Lab, avec Reporters sans frontières. aussi avec Sciences Po. Et on a essayé de faire un programme qu’on a appelé le Democratic Shield. Comment on peut protéger les élections ? À court terme, qu’est-ce qu’on pourrait faire ? Et on a sorti un programme en 10 actions qui visait à la fois les institutions, les acteurs des élections, c’est-à-dire les médias et les politiques, et puis aussi la société civile. Et on est allé voir après les autorités françaises, on est allé voir les commissaires européens pour un peu leur expliquer tout ça. Et certaines actions ont été mises en œuvre, notamment proposer un code de conduite. Il n’y avait même pas de code de conduite, de bonne conduite de l’usage de l’IA pour les partis. Donc on a fait ce code de conduite qui a été mis en place et pas respecté d’ailleurs par le Rassemblement national, qui n’a pas signalé que leurs images étaient faites par l’IA, mais… La base, c’est au moins de dire que cette image est faite par IA, cette image est un fake, et puis pas l’utiliser en fait. Donc il y avait ce code de conduite aussi pour les médias et pour les influenceurs. Il y avait l’idée tout simplement qu’il y ait au sein des institutions qui fassent un programme de protection des élections, donc qu’ils investissent de l’argent et du temps et qu’il y ait des conditions pour ça, et ça, ça a été fait. Et puis il y avait l’idée aussi de se pencher sur les réseaux sociaux, qui sont en fait l’endroit où se passe cette désinformation massivement, plus que dans les médias classiques. Et d’être un peu plus fort. Et comme l’Europe venait de passer le DSA, le Digital Service Act, on a les moyens légaux de les contraindre à être un peu plus vigilants pendant les périodes électorales. Et donc ça, ça a commencé à être activé pour les élections européennes. D’ailleurs, on a une grosse controverse X des commissions européennes en ce moment sur ces sujets-là. Et donc, ce qu’on voulait faire, on proposait notamment de rendre la période de réserve plus dure sur les réseaux sociaux. C’est-à-dire que les médias s’astreignent assez bien à la période de réserve et les réseaux sociaux, c’est plus lâche. Donc, on voulait utiliser le DSA pour les obliger à être plus réactifs, voire en préemptif, d’empêcher, de limiter la viralité de tout ce qui était politique pendant la période de réserve. Et ça, ça a été mis en œuvre plus ou moins bien. Mais en tout cas, c’est largement défendu maintenant par les pouvoirs publics. Là, nous, on a plus eu un rôle de lanceur d’alerte. On a fait ce qu’on sait faire, créer une coalition d’acteurs avec des solutions et les proposer au pouvoir public. Et on continue à travailler avec la Commission européenne et avec l’Adenum, notamment, en France, pour limiter ça. 

Marc Sanselme 00:35:35 – 00:35:50 : Ils ont des moyens, notamment, par exemple, les TikTok ou Instagram, qui sont quand même gouvernés dans un autre pays. Comment est-ce qu’on applique ces limitations de viralité d’un sujet politique ? 

David 00:35:50 – 00:37:25 : En fait, avant le DSA, avant le Digital Service Act, c’était vraiment plutôt des luttes d’influence entre l’État et l’entreprise multinationale. Chacun joue un peu avec ce qu’il veut. J’imagine qu’il devait mettre dans la balance les avantages financiers, la taxation, voilà. Mais là, avec le Digital Service Act, on a mis des contraintes de responsabilité sur toutes les grandes plateformes. On leur dit, vous ne pouvez pas dire, ce n’est pas moi, je suis juste un provider de contenu, vous devez faire attention et vous devez être préemptif. Vous devez être très réactif pour retirer les contenus qui ne vont pas. Et vous devez même, si possible, agir en… Si on vous le demande, on peut vous demander d’agir en amont. Donc là, du coup, les bras de fer sont beaucoup plus forts. On le voit avec X, Twitter, Thierry Breton. On sent que ça chauffe parce que justement, ces moyens légaux sont utilisés maintenant pour contraindre les plateformes. Et certaines s’y plient plus ou moins bien. Il y a vraiment un impact très, très fort de ces législations. On ne s’en rend peut-être pas forcément compte parce que l’Europe, c’est loin. La RGPD, ça a l’air bizarre. Le DSA, ça ne parle pas à grand monde. C’est des outils légaux qui changent la donne. Nous, sur le RGPD, par exemple, on faisait beaucoup de publicité numérique sur Facebook. On a vu l’avant et après RGPD. C’est-à-dire qu’on ne peut plus cibler n’importe qui, on ne peut plus cibler les jeunes. Quand on fait de la publicité politique, on est très contraint, c’est validé. Il y a vraiment une vraie différence. Avant, c’était vraiment le Far West. Et après, après RGPD, on peut vraiment faire n’importe quoi. Donc ces outils légaux sont très importants et permettent vraiment au pouvoir public de faire pression. Je pense que c’est une spécificité de l’Europe. Et l’Europe est encore à la pointe sur l’IA, puisqu’on a maintenant l’IA Act qui va arriver. Et donc, on est à la pointe de la régulation. On préférait être à la pointe de l’avancée technologique que de la régulation à la technologie. Mais on a une spécificité européenne de faire la technologie de façon responsable. Et je pense que c’est aussi bien qu’on le développe. 

Marc Sanselme 00:37:26 – 00:37:34 : Alors, je repasse un peu sur la technique. Est-ce que tu peux nous parler du projet de fine tuning que vous avez chez Make.org, le fine tuning de modèles ? 

David 00:37:34 – 00:39:18 : Oui, parce que nous, quand on a pensé nos outils, notamment panoramique, on a fait comme tout le monde. On est parti avec les modèles qui étaient disponibles par API, en premier lieu OpenAI. Et ça marchait très bien pour démarrer. On a vu dans les limites. Et donc, nous, en fait, notre objectif, c’est de passer sur du functioning de modèle pour trois raisons. La première, c’est assez documenté, c’est une raison de sobriété et d’efficacité. On s’est rendu compte que quand on a des tâches très précises, notamment le RAG, et nous un RAG sur des données particulières, on peut faire aussi bien qu’un gros modèle avec un petit modèle. Donc l’idée, c’est de prendre un petit modèle et le fine-tuner, faire la distillation d’un gros modèle pour arriver à être aussi pertinent, mais avec un petit modèle moins coûteux, moins gourmand, qui répondra plus vite. Et qui sera peut-être plus adapté à ce qu’on veut faire. Donc ça, c’est le premier point. Le deuxième, c’est que je parlais de l’approche responsable de la technologie. Nous, chez Mike.org, on a lancé avec Sciences Po et les CNRS un programme de recherche sur les biais des IA dans le cadre démocratique. Parce qu’en fait, ces IA ne sont pas parfaites. Alors les IA, en plus, propriétaires, c’est un peu des boîtes noires sur le fine tuning et sur les contraintes. et on se rend compte qu’elles ont des biais qui peuvent avoir un impact sur ce qu’elles font. Et nous, on est sur des sujets sensibles, c’est la démocratie, on ne veut pas qu’une IA ait un biais d’opinion, on ne veut pas que quand elle fasse un résumé, elle privilégie certaines idées plutôt que d’autres, tout simplement parce que dans son corpus d’apprentissage, cette idée était plus présente que la nouvelle, ou on ne veut pas qu’elle privilégie un groupe de citoyens par rapport à un autre, ou des choses comme ça. Et donc, on a un peu listé ces biais et on dit, nous, chez MEC.org, on va mettre des liens un peu partout. On a une espèce de champ expérimental en données réelles et on va travailler avec les chercheurs sur ces données réelles pour mesurer ces biais et essayer de les corriger. Et ça, on ne peut pas le faire sur un modèle propriétaire. Donc, on est obligé d’aller sur de l’open source et sur du fine tuning. Et donc, on va être accompagné par les meilleurs experts du CNRS pour faire ça. On travaille aussi avec Igniface après pour le déploiement de l’évaluation des modèles. Donc ça, ça va être la deuxième partie. Deuxième raison, la responsabilité. 

Marc Sanselme 00:39:18 – 00:39:21 : Pourquoi vous ne pouvez pas le faire avec un modèle propriétaire ? 

David 00:39:21 – 00:39:28 : Alors, ils proposent du fine-tuning, mais si on veut vraiment bien le faire, si on veut aller en profondeur, on va être obligé de partir sur de l’open source qu’on va pouvoir fine-tuner de même. 

Marc Sanselme 00:39:28 – 00:39:30 : Pour avoir le contrôle un peu plus fort. 

David 00:39:30 – 00:40:45 : De toute façon, les chercheurs, ils ne travaillent que sur l’open source. parce que moi, quand je discute avec François Yvon de la Sorbonne Université, il me dit, moi, je veux savoir sur quoi était entré le modèle à la base. Je veux les corpus, etc. Et donc, je veux que ce soit transparent. Ils avaient travaillé sur Bloom, qui était le GPT-3 open source et multilingue. Donc, c’est des gens qui aiment bien repartir de la base et bien maîtriser toute la chaîne d’entraînement du modèle, même si nous, on va travailler surtout sur la dernière étape. Ça, c’est la deuxième raison. Donc, un, plus efficace, plus sobre, deux, plus responsable. Et la troisième, c’est qu’en fait, ce qui est intéressant quand on teste plusieurs LMM, maintenant, on en a plusieurs à disposition, on se rend compte qu’ils ont un style, un ton, et que la façon de répondre n’est pas la même. Et quand on travaille avec plusieurs, à la fin, rapidement, nous, quand on fait nos tests et qu’on compare différents modèles, on est capable rapidement de savoir qui a répondu, simplement parce qu’il y a un style. Et en fait, on a envie de donner notre propre style. Nous, on a envie de donner, de formater les… Le formatage de réponse est très important pour la bonne compréhension de ce qu’on veut. Et donc, nous, on est en train de réfléchir à c’est quoi la bonne façon de présenter une réponse à un citoyen. On va appeler ça le style Make More, la ligne éditoriale Make More. Et en fait, on veut transmettre ça à notre modèle de façon… à avoir des réponses les plus engageantes et les plus pertinentes possible pour les citoyens. Et ça, la bonne façon de le faire, c’est du fine-tuning. Donc, c’est les trois raisons qui font qu’on va travailler là-dessus avec les équipes qui vont arriver sur ce nouveau projet. Ok. 

Marc Sanselme 00:40:45 – 00:40:52 : Alors, est-ce que tu as des erreurs que tu peux nous partager pour nous faire gagner du temps sur tous ces projets d’IA ? 

David 00:40:52 – 00:42:38 : Nous, l’erreur qui est un peu l’erreur de tout le monde et qui est la plus gênante, c’est de trop faire confiance à l’IA. Il y a vraiment un effet très dangereux avec ces GIA génératives. Elles sont faites pour donner des réponses très crédibles, très pertinentes, et elles le font avec un niveau de certitude assez… En gros, qu’elles hallucinent ou qu’elles racontent quelque chose de vrai, elles vont le faire avec le même aplomb. Et nous, êtres humains, on a tendance à considérer que quelqu’un qui parle avec aplomb, qui formule bien sa réponse, ce qui se conçoit bien, s’énonce clairement. Donc, si la réponse est bien formulée, c’est certainement vrai. Et avec une IA, ce n’est pas du tout le cas. Alors, on pourrait penser que les data scientists sont totalement immunes à ça, parce qu’on sait, mais en fait, c’est des biais cognitifs, on en souffre tous. Et c’est très gênant, surtout nous, quand on fait de l’évaluation. Pas sûr quand on fait de l’évaluation, quand on va essayer de voir si l’IA répond bien ou pas. D’abord, le truc, il ne faut pas se laisser piéger, pas parce que la réponse est la bonne qu’elle est bonne. Il faut vraiment la creuser et être plus exigeant, on va s’allier. Mais ça, à la limite, c’est un peu le travail de base. Et puis après, il y a le côté plus vicieux, c’est qu’une façon d’évaluer les modèles, c’est d’utiliser des modèles, des LLM, des évaluateurs, pour évaluer les modèles, pour utiliser un autre modèle pour évaluer un modèle. Et là, ce modèle lui-même peut se tromper quand il évalue. Et là où c’est piégeux, c’est qu’on va prendre un RAGA, on va prendre un G-score et on va se dire, tiens, on va utiliser le modèle comme un évaluateur. Et le risque, c’est de prendre cette évaluation sans aller vérifier la capacité d’évaluation du modèle. Ce qui est un peu le penchant naturel, parce que tu dis, c’est automatique, ça marche bien, j’ai pris GPT-4 comme évaluateur, il doit être bon, et puis j’en lance ma métrique et je travaille sur ma métrique. Et en fait, on s’est rendu compte qu’il y avait quand même des erreurs qui n’étaient pas si fiables que ça en tant qu’évaluateur, le LLM, et que nous, maintenant, les métriques automatiques, on les utilise vraiment pour voir les gros problèmes, les grosses erreurs, mais l’évaluation fine, elle reste à la main, parce que ça ne fonctionne pas. Et ouais, c’est fou qu’on se fasse prendre à ce piège-là nous-mêmes, mais en fait… C’est assez facile de se prendre les pieds dedans, c’est un biais cognitif, et les biais cognitifs, on sait tous qu’on a du mal à y échapper. 

Marc Sanselme 00:42:38 – 00:42:45 : Oui, j’ai vraiment l’impression que l’évaluation, ça reste à la main pour tout le monde. L’évaluation par un modèle, ça pose vraiment beaucoup de… 

David 00:42:45 – 00:42:50 : C’est pratique, ça fait gagner du temps, mais il faut vraiment s’en servir avec précaution. 

Marc Sanselme 00:42:50 – 00:42:53 : Est-ce que tu as une anecdote à nous partager ? 

David 00:42:53 – 00:44:17 : Oui, oui, moi j’ai une anecdote, c’est que c’est tout neuf quand même, cette technologie, et on a beau la connaître, on a beau être dedans, c’est très nouveau. l’IA générative, parce que c’est la première fois qu’on a une IA dont on ne sait pas ce qu’elle va faire. Jusqu’à présent, les IA, c’était des IA très supervisées, qui étaient bonnes, et elles étaient entraînées pour faire une tâche, et… On n’avait pas de grosses surprises. On pouvait être surpris par la qualité. Quand les IA ont battu les radiologues pour détecter des tumeurs, on était bluffés. Mais on savait qu’elles étaient entraînées pour détecter des tumeurs. Et là, c’est la première fois qu’on se retrouve avec une approche boîte noire au lieu de… Et qu’on est en train tous d’essayer de voir ce qu’elle peut faire. Et on reste un peu émerveillés. Et moi, j’ai eu ça. Donc, à un moment donné, on avait des vidéos, on les transcrivait pour les mettre dans notre rag, là. On avait besoin d’identifier les speakers. Et j’arrête. Je me suis dit, comment je peux identifier les gens ? Puis dans la vidéo, t’avais une… une cartouche avec le nom du speaker. et là je me suis dit maintenant GPT-4 là il sait lire les images. est-ce que je peux pas juste filer une image GPT-4 et lui dire dis-moi c’est qui le speaker ça marche très très bien. et donc en fait ce que j’ai fait c’est j’ai fait bêtement j’ai pris une image toutes les 5 secondes et puis j’ai dit à GPT-4 dis-moi s’il y a un nom speaker et dis-moi quel est le nom. et ça m’a identifié. mes 30 vidéos de 15 minutes. bon ça a été un peu long mais ça a marché tout seul. et du coup moi je fais beaucoup du texte je vois beaucoup d’images et c’est génial. c’est ce que montre l’IA. c’est que d’un coup j’étais comme un gamin parce que moi j’ai juste demandé j’ai juste posé une question à une IA et elle m’a donné une réponse qui était finalement fiable pour résoudre mon problème. et c’est voilà ça reste. on reste émerveillé à chaque fois par la puissance de ces IA qu’on découvre tous les jours. et voilà c’est vraiment des monstres qu’il faut qu’on apprenne à dompter. 

Marc Sanselme 00:44:18 – 00:44:22 : ok et est-ce que t’as une opinion à nous partager? 

David 00:44:23 – 00:45:45 : Moi, j’ai une opinion assez forte. Je pense que c’est quand même une vraie révolution, cette IA générative. Alors, on n’est pas à l’IA générale, mais malgré tout, ça va tout perturber, ça va modifier certains métiers, ça va en rendre certains moins nécessaires. Par exemple, dans les traducteurs, on va toujours avoir besoin de traducteurs pour les textes légaux, mais sur la traduction au quotidien, on a moins besoin d’eux. Donc, il y a beaucoup de métiers qui vont être moins nécessaires ou qui vont être transformés. Même pour des matières manuelles, on voit ce que ça donne sur un ajout robotique, IA génératif, c’est assez bluffant. Donc, il va y avoir des transformations de sociétés assez importantes et on a besoin de réfléchir et de s’y préparer. C’est-à-dire, si on veut qu’on fasse ça, si on veut qu’on fasse ça bien et que ça profite à tout le monde plutôt que ça profite toujours à quelques-uns et que ça en laisse beaucoup sur le carreau, il y a vraiment une question de comment, en tant que société, on s’empare d’une technologie aussi disruptive. Et donc, on n’a jamais eu autant besoin de discuter, de délibérer. Nous, chez MEC.org, ce qu’on essaie de faire, justement, c’est de donner des outils qui permettent la réalisation de ce débat et faire en sorte que ça sorte. Et on essaie d’utiliser l’IA de façon intelligente pour que ce débat puisse se faire. Mais vraiment, avec l’IA génératif, tout comme le changement climatique, on est face à des changements majeurs de société. On n’a jamais eu autant besoin de discuter, de délibérer. Et c’est important que tout le monde s’en saisisse. Moi, j’étais allé au CESE, notamment, pour en parler. Là, il va y avoir un cycle délibératif du CESE sur l’IA. Il faut vraiment que tout le monde commence à réfléchir à… Comment on fait ça et comment on fait évoluer la société pour que ce soit positif pour tout le monde ? 

Marc Sanselme 00:45:45 – 00:45:53 : Ok, alors est-ce que je peux te demander un nom de quelqu’un que tu aimerais entendre sur Data Driven 101 dans le futur ? 

David 00:45:53 – 00:46:28 : J’ai cherché un nom qui ne soit pas un nom évident. J’aimerais bien entendre Cyprien Mélin de Dict.ai. Il a fait un truc assez sympa, une application qu’on a tous envie d’avoir. Tu prends ton téléphone, tu le poses sur la table, tu enregistres ce qu’il se dit dans une réunion et ça te fait un résumé. C’est une application assez logique de l’IA. Mais bon, je pense que techniquement, ce n’est pas si évident. Tu es dans une pièce, tu as plusieurs interlocuteurs, tu es avec un micro de smartphone. Rien que récupérer la transcription correctement, ce n’est pas évident. Et puis après, qu’est-ce qu’on en fait ? C’est quoi un bon résumé ? Ils ont parlé de réfléchir à des analyses qu’on peut en faire pour comment on peut te résumer efficacement et qu’elles sont utiles à Réunion. Donc voilà, je pense qu’il y a des beaux défis techniques. Ça serait intéressant à entendre. 

Marc Sanselme 00:46:28 – 00:46:29 : Merci beaucoup, David. 

David 00:46:29 – 00:46:31 : Merci, Marc. 

Marc Sanselme 00:46:31 – 00:46:34 : Vous venez d’entendre David Mass, Chief AI Officer chez Make.org.