Marc Sanselme 00:00:00 – 00:00:28 : Bonjour et bienvenue sur Data Driven 101. Je suis Marc Sanselm, l’hôte de ce podcast qui s’intéresse aux applications concrètes et variées de l’intelligence artificielle et de la data. Dans Data Driven 101, je reçois chaque semaine des professionnels pour qu’ils nous partagent leurs expériences et leurs visions sans filtre. Aujourd’hui, je reçois Louis Poirier, co-founder et CTO de AutoDM AI. AutoDM AI est une plateforme d’IA conversationnelle multi-agents conçue pour optimiser les interactions de vente de produits complexes par une automatisation avancée. Bonjour Louis. 

Louis Poirier 00:00:29 – 00:00:30 : Jean-Marc ? 

Marc Sanselme 00:00:30 – 00:00:38 : Alors Louis, je te rends la parole et je te laisse nous expliquer peut-être plus généralement l’ambition d’Autodème. 

Louis Poirier 00:00:38 – 00:02:28 : Merci de m’avoir. En fait, Autodm, on est parti d’un constat il y a quelques années que l’expérience en ligne était un peu nulle, que grosso modo, c’était ce qui était sorti de la tête d’un product manager pour pouvoir présenter un peu différents produits, mais que grosso modo, il y avait très peu d’interactions et que les gens se perdaient sur des sites, que particulièrement sur des produits complexes, on y reviendra, mais… Typiquement, un voyage ou autre, en fait, on ne sait pas ce qu’on cherche, on ne sait pas ce qu’on veut et on a besoin un petit peu d’aide, l’aide d’un… typiquement d’une personne en agence pour pouvoir un peu t’orienter vers un produit qui t’intéresse. Et donc, on voulait un peu chercher comment est-ce qu’on pouvait répliquer cette expérience, mais en ligne. Grosso modo, les boîtes dépensent une fortune en SEO pour être bien positionnées. Les gens arrivent sur leur site et ensuite ils se perdent, ils se barrent. Donc, c’est une opportunité qui est manquée. Et donc, on a décidé de se lancer un petit peu là-dessus. Donc, ce qu’on fait, c’est effectivement pour une première application, d’optimiser un petit peu tout ce qui est le traitement des inbound leads, donc les gens qui arrivent sur le site, comment est-ce qu’on répond à leurs questions, on les oriente, on leur propose des produits, on explique la proposition de valeur et on les emmène jusqu’à un funnel soit e-commerce, soit de mise en contact avec quelqu’un au téléphone. Donc ça, c’est la première application. Et derrière, l’idée, c’est de devenir à terme une plateforme d’IA conversationnelle pour tous les cas d’usage, à la fois le traitement d’inbound lead plus loin dans le funnel. Tu peux imaginer création de devis, etc. Et puis, à l’inverse, sur le customer support ou sur d’autres cas d’usage peut-être un peu plus communs aujourd’hui, comment est-ce qu’on se positionne comme la plateforme de référence pour les entreprises ? 

Marc Sanselme 00:02:28 – 00:02:34 : Alors, est-ce qu’on peut rentrer dans le détail d’un client ou d’un client en particulier pour mieux comprendre ? 

Louis Poirier 00:02:34 – 00:05:02 : Ouais, avec plaisir. Alors, on a commencé dans le voyage. En fait, on a rencontré le PDG d’Avas Voyage, donc grosse agence de voyage en France et en Europe, qui en fait a vite accroché sur la vision et en fait nous a proposé de prendre en main leur site web et de mettre aujourd’hui un chatbot et demain une interface conversationnelle plus riche. Et donc, on est déployé chez eux depuis mai à peu près. Et en fait, ce qu’on a fait, première chose, c’est qu’on a optimisé un petit peu le transfert de leads depuis les gens qui arrivent vers des gens qui sont chauds et prêts à être rappelés. Donc ça, on l’a mis en place, etc. On a boosté leur volume de leads par x3. Donc le problème derrière, c’est qu’il y avait un problème de qualité de lead probablement. Ça devenait trop simple de rentrer dans le funnel. Et aussi de volume de traitement. La boîte n’est pas forcément équipée pour pouvoir gérer du jour au lendemain une augmentation de lead de cette ampleur. Dans la V2 qu’on a sortie récemment pour eux, on fait la… propositions de produits. Donc, en fait, on s’est plugué sur une technologie qu’ils utilisent, qui s’appelle l’orchestra, qui contient 30 000 produits, 105 millions de références. On a tout organisé dans un graphe de connaissances. On a mis notre solution par-dessus d’orchestration, multi-agents, etc. On pourrait y revenir. Et l’idée finale, c’est que maintenant, les utilisateurs, au lieu d’être immédiatement envoyés vers le CRM, ce qu’on fait, c’est qu’on les envoie vers des produits. On leur propose des produits d’abord, ce qui permet de faire deux choses intéressantes. La première, c’est de requalifier un petit peu les utilisateurs en leur proposant des choses qui… correspondent à leur budget, qui correspondent à leurs besoins, quand ils ne savent pas où aller, etc. Les gens qui sont plus motivés peuvent faire autre chose. Et les gens qui sont vraiment motivés, en fait, on arrive sur des qualités de lead qui sont vachement plus hautes. Donc on arrive, c’est vachement plus sympa pour les opérateurs, les gens de l’agence qui vont les rappeler, qui vont passer deux heures, trois heures à faire un devis, d’avoir des gens en face qui sont motivés et qui ont envie d’acheter un voyage. Et donc, à terme, on fera plus. C’est-à-dire qu’on s’engage déjà vers du suivi de lead, du nurturing, etc. avec Avast toujours. 

Marc Sanselme 00:05:03 – 00:05:13 : D’accord. Sur le parcours client, ça démarre, le client est sur le site. Il y a quoi ? Une bulle en bas à droite, c’est ça le chatbot ? 

Louis Poirier 00:05:13 – 00:06:11 : Aujourd’hui, on a fait un format chatbot parce que c’est hyper simple à intégrer. C’est une ligne de JavaScript que tu rajoutes dans le site web. On est déjà en conversation avec plein d’autres boîtes dans le voyage et d’autres où l’expérience va bouger dans la barre de recherche centrale qui devient un peu… communes sur les sites aujourd’hui. et l’idée c’est d’avoir une expérience un point d’entrée qui est beaucoup plus facile mais ensuite de les rediriger vers du conversationnel parce qu’on est convaincu que le conversationnel est mieux que la recherche directe. pour les produits complexes encore une fois parce qu’il y a un aller-retour sur comment définir ce que tu veux quelles sont les questions que tu devrais te poser pour acheter un vélo à 2000 euros ou un voyage à 5000. Il y a des produits complexes. À chaque fois, il y a un échange qui doit avoir lieu. Et donc, l’expérience aujourd’hui, c’est un chatbot. Mais le but, c’est de faire du conversationnel. 

Marc Sanselme 00:06:11 – 00:06:23 : D’accord. Ce système multi-agent, pour bien comprendre, qu’est-ce que tu appelles agent et comment ça s’articule exactement ? 

Louis Poirier 00:06:23 – 00:06:43 : La meilleure définition d’agent que j’ai trouvée, c’est celle qui a été donnée par le mec qui a créé Langchain, qui en fait était « dès qu’un LLM décide un peu du flow logique qui passe derrière, donc en fait, dès que le LLM va un peu décider de comment est-ce que le système doit se comporter? 

Marc Sanselme 00:06:43 – 00:06:44 : ». 

Louis Poirier 00:06:44 – 00:07:32 : Donc en fait, nous, ce qu’on appelle des agents en termes plus simples, ça va être l’équivalent de personnes spécialisées. Donc tu as une personne au début qui t’accueille et ensuite tu as une personne qui est plus spécialisée sur une destination et ensuite tu as un closer qui vient te vendre le produit. Donc en fait, on a comme ça des agents spécifiques qui ont des compétences particulières, des outils et qui peuvent répondre à des questions diverses et variées. En fait, ce dont on s’est rendu compte, c’est que sur les chatbots génération 1 ou génération d’avant, Imaginez Chatbot, SNCF ou autre, pas pour prendre quelqu’un en particulier, mais c’est des trucs hyper figés où en fait on peut poser une question, on rentre dans un decision tree et ensuite on ne peut pas en sortir. 

Marc Sanselme 00:07:32 – 00:07:35 : On propose des réponses, on va cliquer sur la réponse. 

Louis Poirier 00:07:35 – 00:08:44 : Le conversationnel permet la non-linéarité. On peut aller dans une direction ou dans une autre. Les agents permettent de couvrir des cas d’usage qui sont beaucoup plus larges. On a des agents qui vont donner des numéros d’agence. On a des agents qui vont donner des liens d’enregistrement vers les pages des sites. des sites aériens. On va avoir un agent qui, je ne sais pas comment le dire gentiment, mais si on ne veut pas voir le bot, on peut lui dire va-t-en et l’agent va-t-en, va fermer le bot. Ce genre de petits trucs un petit peu. Donc, pouvoir répondre à une multitude de questions, pouvoir avoir des comportements un petit peu variés. Et bien sûr, les agents, les forts qui vont faire du RAG, qui vont faire de la recherche d’informations, qui vont faire de la recommandation de produits, etc. Mais c’est assez intéressant de voir qu’il y a besoin d’une multitude de petits agents qui sont éventuellement plusieurs RAGs sur des corpus différents, par exemple, qui permettent d’isoler bien mieux les différents types de questions et de répondre mieux aux questions de l’utilisateur. 

Marc Sanselme 00:08:45 – 00:08:54 : Ok, et alors justement, pourquoi il y a besoin de faire plein de petits agents ? Pourquoi est-ce qu’on ne peut pas faire un gros agent qui a toutes ses instructions ? 

Louis Poirier 00:08:54 – 00:10:08 : Ma vue sur le sujet, c’est qu’un jour, ce sera probablement faisable. Aujourd’hui, ça ne l’est pas. Même les agents, même les modèles les plus gros, en fait, ont quand même une forte tendance à halluciner. Donc, aujourd’hui et pour les années à venir, je dirais, en fait, pouvoir diviser la tâche en plus petits composants qui sont donc plus facilement testables, sur lesquels on va pouvoir bloquer un petit peu les accès à certaines sources de données ou à d’autres, sur lesquels on va pouvoir contrôler vraiment ce qui est dit, ça permet d’obtenir une qualité qui est vachement meilleure. Là, en fait, on se retrouve à avoir non pas un seul modèle avec une capacité, les réseaux de neurones ont une certaine capacité d’apprentissage, au lieu d’utiliser toute cette capacité pour des faits, pour des tâches qu’on pourrait très bien expliquer de façon… En fait, on vient au contraire diviser la tâche en demandant à un LLM de faire quelque chose de très spécifique. Ça me permet moi en plus d’utiliser des modèles qui sont beaucoup plus petits, pas des LLM mais des SLM, qui coûtent moins cher, qui vont plus vite, qui me permettent d’avoir une expérience bien meilleure. Meilleure qualité, moins cher, plus rapide. 

Marc Sanselme 00:10:08 – 00:10:09 : À quel point petit ? 

Louis Poirier 00:10:09 – 00:10:58 : A quel point petit ? Alors aujourd’hui, on utilise beaucoup des modèles publics parce qu’en fait, on n’a pas une grosse équipe. Donc, se lancer dans du fine tuning, etc., ce serait un petit peu rude. Mais on utilise des GPT-4 mini, des Gmini 1.5 Flash. Il est très probable qu’on utilise des modèles Lama 3.2 ou ce genre de choses pour pouvoir faire des choses assez simples et l’extraction d’informations, la génération de codes, ce genre de choses. Et ensuite, éventuellement, à un moment particulier, dire moi j’ai besoin d’un modèle qui parle hyper bien le français, l’anglais, l’italien, l’espagnol. Et là, envoyer ça à un modèle plus lourd qui parlera mieux et qui sera capable d’avoir un ton de meilleure qualité. Ou un modèle petit mais spécialisé vraiment dans le langage. 

Marc Sanselme 00:10:58 – 00:11:04 : Alors comment est-ce que ça a démarré l’aventure ? 

Louis Poirier 00:11:04 – 00:13:44 : L’aventure, en fait, avec Philippe et Adrien, qui sont mes deux cofondateurs, on a bossé à C3AI, qui est une grosse boîte américaine, maintenant en côté, pendant une dizaine d’années. Et en fait, on vendait des grosses solutions d’IA pour l’industrie. L’industrie, donc… Le pétrole, la manufacture de papier, de différentes choses, l’intelligence américaine, tout ce qui est militaire, etc. Les banques, etc. Des gros cas d’usage complexe et donc des contrats qui valaient aussi plusieurs dizaines de millions de dollars par an. Donc, on a appris à bosser ensemble, à livrer des projets, à faire des… cas d’usage entreprise hyper complexe avec des contrats compliqués aussi. et en fait on s’est un peu regardé à un moment en se disant ce serait bien de pouvoir adresser un fait un jour un problème qui nous tient plus à coeur qui était ce problème d’expérience sur le web qui était pas génial. Le DNA est arrivé. En fait, Philippe était parti faire un sabbatique et au lieu de revenir bosser avec nous, s’est lancé. C’est un peu lancé sur du rag, essayer de faire quelque chose à une dizaine d’euros par mois pour pouvoir installer sur des petits sites ou sur des sites de musées, etc., Et en fait, c’est vite rendu compte que ça ne marchait pas. On était en conversation, etc. Moi, pendant ce temps-là, je continuais à faire du Gen AI pour toujours ces gros cas d’usage avec des modèles, pour le coup, fine-tunés spécifiquement pour des cas d’application particuliers, AirGap, etc. Et en fait, on s’est retrouvés en janvier 2024 à bosser sur ce sujet. avec cette première idée de, il faudrait déjà que le LLM, les modèles soient capables de poser des questions, plutôt que juste répondre à des questions, ce qui est un peu nul. Comment est-ce qu’on fait en sorte que le LLM pose des questions ? À partir de ça, en fait, on a pu dériver, on a pu trouver, identifier un problème chez nos partenaires qui était justement cette création de lead. De la création de lead, comme je l’ai dit tout à l’heure, on a identifié qu’il fallait pouvoir qualifier les leads. Donc en fait, la mise en place d’un système de recommandation de produits, de compréhension surtout fine des produits en mettant ensemble différentes technos. Et ensuite, on a évolué plus dernièrement vers vraiment une plateforme plus large. Donc c’est juste trois potes qui se sont lancés sur une idée et l’idée a évolué avec les retours de nos clients. 

Marc Sanselme 00:13:45 – 00:14:12 : Ok, c’est marrant, tu parlais de pricing tout à l’heure, je réalise que comment on price en fait, j’ai un vrai point de question, comment on vend une assistance par chatbot, est-ce que c’est quelque chose qui est pressé au volume d’usage, est-ce que c’est à la conversation, au message, au mois ? 

Louis Poirier 00:14:12 – 00:16:14 : Oui, c’est hyper intéressant. Ça dépend vraiment de ce qu’on fait. Je pense que si on fait un cas d’usage qui est simple, on peut éventuellement penser à un abonnement. Nous, en fait, on est sur des cas d’usage qui sont compliqués, avec surtout un impact assez direct sur la top line, ce qui est assez sympa, ce qui nous permet d’être plus créatifs sur les modèles de pricing. Aujourd’hui, on fait beaucoup de l’équivalent de cost plus. C’est-à-dire que nous, on sait combien ça nous coûte de traiter… quelque chose, une requête. Et donc derrière, on facture une marge par rapport à ça. En plus de ça, on est sur de l’entreprise, donc il y a toujours un côté accompagnement, un côté mise en place de la solution, etc. On n’est pas sur… Tu passes ta carte de crédit et tu peux utiliser la solution parce qu’il faut se plugger sur tes données, il faut s’intégrer sur ton CRM. Il y a toujours un truc un peu bizarre qui a été fait d’un point de vue IT sur lequel il va falloir se plugger. Et donc, en fait, on fait un pilote. Ça nous permet de commencer à mettre en place la solution. On met très vite en place la solution. En quelques jours, on a quelque chose entre les mains du client. Il peut tester, nous faire des retours, etc. On rajoute des sources de données, on rajoute des agents au fur et à mesure des itérations. Il continue à tester. On décide de mettre en live et ensuite, ils ont un mois ou deux de run pour voir un peu qu’il y a bien un ROI. Et ensuite, suite à ça, on convertit. Donc, comment est-ce qu’on price ? Aujourd’hui, c’est beaucoup, je te dis, un truc à la conversation. On ne price pas l’interaction, nous, parce qu’on se dit que c’est notre boulot de minimiser la durée des échanges pour pouvoir amener rapidement l’utilisateur à une résolution de son problème. Par contre, on commence à mettre en place un peu des intéressements aux résultats. C’est-à-dire que dans un contrat qu’on a signé récemment, on va prendre une partie, un pourcentage, comme un apporteur d’affaires. de ce que génère ce lead-là. 

Marc Sanselme 00:16:14 – 00:16:18 : D’accord, oui. On prend un peu de risque. 

Louis Poirier 00:16:18 – 00:16:56 : Sur le cas spécifique de la vente, il y a ça. Sur le cas plus spécifique de l’optimisation customer support, ce genre de choses, c’est plutôt de l’optimisation de l’humain. Et donc, comment est-ce qu’on price ? Alors, nous, on fait toujours une analyse un peu économique de combien est-ce que ça va rapporter à l’entreprise. On essaie d’être dans un cas d’usage où, grosso modo, la valeur économique qu’on délivre va être dix fois… ce que nous, on va coûter. Ça nous donne un peu une idée. Nous, on sait combien ça nous coûte. Ça nous donne une marge et on rentre dedans pour négocier avec le client un petit peu ce qu’il serait faire de lui facturer. C’est classique en entreprise, je pense. 

Marc Sanselme 00:16:58 – 00:17:06 : Comment est-ce que vous avez découpé votre problème en sous-problèmes ? Comment est-ce que vous résolvez chaque sous-problème ? 

Louis Poirier 00:17:06 – 00:20:40 : Il y a trois problèmes principaux. Il y a un problème de capture de l’intention de l’utilisateur. Comme on est sur du multi-agent et qu’on a envie de pouvoir orienter vers le bon agent, on a besoin de faire une bonne capture d’intention, sinon c’est game over. On a besoin ensuite… C’est un problème difficile celui-là ? Oui, parce que ce n’est pas une classification standard, parce que c’est du multi-round. Au fur et à mesure que la conversation évolue, il faut garder le contexte de la conversation initiale pour pouvoir savoir que la personne est venue avec un besoin. Est-ce que le besoin a évolué ou pas ? Quelle est la question qui est actuellement posée ? L’intention de la question actuelle n’est pas forcément la question de la conversation globale. Donc en fait, on joue pas mal sur des effets de mémoire entre l’état dans lequel on est à un point T et l’état global qu’on essaie de résoudre, c’est-à-dire la vente d’un voyage ou juste une interrogation sur une destination particulière, etc. Donc ça, la classification de l’attention, c’est chaud. Et puis, la deuxième chose, c’est que… Enfin, c’est chaud, c’est intéressant surtout. Et la deuxième chose, c’est qu’en fait, quand tu commences à avoir beaucoup d’agents, c’est plus dur. Parce qu’il y a beaucoup d’agents qui vont avoir des petites subtilités les uns par rapport aux autres. Et en fait, il faut… C’est là que des modèles un peu spécialisés peuvent devenir intéressants. C’est-à-dire que si on arrive à converger vers un nombre d’agents particuliers, une configuration particulière, là on peut commencer à accumuler de la donnée, ce qu’on fait, et fine-tuner un modèle spécifiquement. Il n’y a pas besoin de beaucoup d’exemples, c’est un peu l’avantage, mais fine-tuner un modèle spécifiquement pour cette petite, pas forcément un modèle de langage d’ailleurs, mais pour pouvoir justement faire cette classification et cette orientation. Mais grosso modo, si on arrive à faire l’orientation bien, ça résout quand même une bonne partie du problème parce que la question derrière, elle peut être au pire un peu nulle. Au moins, elle est cohérente. La deuxième chose, c’est justement de mettre les bons agents en place. Quels sont les agents qu’il faut avoir construits ? Quels sont les agents qui permettent d’avoir un peu cet aspect interactif, sympa ? On a des clients qui nous demandent de faire des petites blagues au milieu des… au milieu des conversations, etc., parce qu’un agent humain le ferait. Donc, comment est-ce qu’on peut essayer de mettre ça en place ? Alors, ça, c’est… Ça, il y a une partie mise à disposition d’agents et donc création, donc code, produit. Et puis, il y a une partie un peu customisation pour le client en particulier du ton. Quel est le ton qu’on veut donner ? Est-ce qu’on veut mettre… C’est débile, mais des emojis ou pas ? Est-ce qu’on veut être sympa ? Est-ce qu’on veut être très respectueux ? Enfin, tu vois, il y a différentes choses comme ça. Et c’est pour ça qu’on fait un projet. Et qu’on ne fait pas juste une mise en ligne parce qu’on pense que la qualité, il ne sera pas si on fait juste de façon complètement automatique. Dernière chose qui est un challenge, ça va être autour de la connaissance de la donnée de l’entreprise. Et là, ça devient aussi hyper intéressant parce que certes, il y a du contenu en ligne. Tu peux savoir si c’est Avas, par exemple, qui est Avas, quelle est leur valeur, etc. Tu peux avoir des offres produits qui sont sur leur site. On arrive à avoir un flux interne, mais c’est quand même beaucoup plus simple. Mais comment est-ce qu’on va mettre à disposition ces 30 000 produits, 105 millions de références, donc les dispos, les prix, 

Marc Sanselme 00:20:40 – 00:20:40 : etc.? 

Louis Poirier 00:20:40 – 00:23:02 : ? pour pouvoir justement recommander quelque chose à un utilisateur qui me dirait moi je veux partir avec mes filles qui aiment faire du surf en janvier ou pour moins de 2000 euros comment est-ce que je trouve quelque chose qui correspond à ça? c’est quelque chose qui aujourd’hui est d’ailleurs pas résolu par les systèmes traditionnels de recherche d’informations. donc nous on a fait au passage un petit truc qui marche mieux et qui intéressent d’ailleurs les gens en interne pour pouvoir recommander à leurs clients des choses derrière leur bureau, des produits. Mais grosso modo, cet aspect produit et finalement aussi des données qui sont en interne, des briefs qui ont été donnés aux gens qui vendent, que la boîte n’est peut-être pas confortable de mettre en ligne, mais qu’elle serait confortable de mettre dans un agent. Comme si la même confiance qu’elle ferait à un humain, de ne pas tout divulguer, de ne pas balancer le papier, mais juste d’avoir la connaissance. Nous, on a une connaissance fine sur les pays, par exemple. Où est le meilleur endroit ? Quelles sont les recommandations ? Quelles sont les expériences qu’ils ont sur le pays ? Et ça, ce qui est sympa, c’est que ça traduit une tendance, on pense, qui est la réémergence des marques. Donc, en fait, on est passé par une phase où c’est devenu une commodity. C’est devenu… Toutes les agences se ressemblaient, etc. Et là, ça permet de remettre, en tout cas en ligne, ça permet de remettre devant les gens qui ont fait le boulot d’écrire du contenu, de bien connaître l’ordination, de bien faire leur taf, etc. Donc, on bosse avec plusieurs boîtes, certains qui sont des distributeurs, d’autres qui sont des concepteurs de voyages, etc. Et en fait, il y a une certaine connaissance du besoin de leurs clients, une certaine connaissance des métiers, etc., qui vraiment transparaît lorsqu’on met en place les agents, les agents qui sont mis et qui… qui savent où aller, quand aller, pourquoi aller à une destination, qui sont capables d’avoir un peu des points de vente, des arguments de vente, ça rend tout de suite la conversation beaucoup plus intéressante et on pense que c’est cool. Ça permet aux gens qui ont fait le taf d’avoir des bénéfices sur leur boss et de différencier un peu les expériences en ligne malgré une technologie qui est similaire. 

Marc Sanselme 00:23:04 – 00:23:36 : Je rebondis sur ce que tu as dit. Tu dis qu’il y a un brief qui peut être intéressant de donner à l’IA, mais qu’on ne veut pas forcément publier sur le site web. À une époque, je pense encore aujourd’hui, pas mal de gens s’amusent à essayer de faire recracher le prompt système à n’importe quel type d’IA. Est-ce que vous vous protégez contre ce genre d’attaque ? Est-ce que c’est un sujet aujourd’hui pour vous de savoir qu’il y a des utilisateurs qui, en face, vont essayer de faire ressortir le brief ? 

Louis Poirier 00:23:36 – 00:25:09 : Ouais, alors c’est pas un sujet hyper… qui nous fait flipper plus que ça, parce qu’en fait, quand on voit les conversations, la majorité des gens ne fait quand même pas ça. Mais c’est un sujet qui est arrivé. On a essayé de nous attaquer, etc. On s’est bien défendus, c’est cool, mais… mais il y a des gens qui jouent aujourd’hui. je pense que c’est plus des joueurs plus que des hackers. les gens ils testent 2-3 trucs etc. mais ce qu’on fait? on met en place des guardrails. donc il y a les LLM qui ont déjà des mécanismes de protection Ne serait-ce que sur des sujets non éthiques, par exemple. Donc, il y a déjà un peu des aspects là-dedans qui sont un peu le dernier filet de ce cours. Mais par-dessus ça, nous, on met des guardrails. Donc, il y a des appels LM spécifiques qui sont faits pour justement identifier des choses qu’on n’aimerait pas faire, de l’override de prompte, répéter mille fois la même chose et que ça nous coûte en token. Essayer d’extraire de l’information, parce que comme nos agents peuvent éventuellement avoir accès à des informations sur les clients, aujourd’hui c’est hyper limité, en fait ce serait, je ne sais pas bien comment est-ce qu’ils attaqueraient, mais comme ils pourraient le faire un jour, en fait on met déjà la couche de cadrage par-dessus en disant si jamais ça commence à aller dans cette direction-là, tu coupes. On a des mécanismes de sécurité, encore une fois, sur les sujets non éthiques, etc. C’est important pour ne pas que le LLM, qui est quand même assez obséquieux, commence à essayer de répondre dans la veine de ce que tu as demandé. « J’ai envie de planquer ma thune, où est-ce que je vais 

Marc Sanselme 00:25:09 – 00:25:09 : ? » 

Louis Poirier 00:25:09 – 00:25:37 : par exemple. Certes, tu parles d’une destination, mais tu n’as peut-être pas envie de répondre à ce genre de questions. Et en fait, on met des guardrails en place. Aujourd’hui, on le fait un peu nous-mêmes. Il y a des technos qui existent. Il faut que je regarde un peu plus. Je pense que c’est un truc qu’on outsourcera peut-être. Enfin, on prendra une technologie pour la plugger. Je pense que là, il y a un vrai truc intéressant à faire et potentiellement des boîtes qui se montrent qui sont cool. 

Marc Sanselme 00:25:37 – 00:25:44 : Quels exemples de grands verrous, grands obstacles technologiques vous avez dû surmonter en interne ? 

Louis Poirier 00:25:44 – 00:31:12 : On a déjà parlé de pas mal de choses, mais sur les verrous technologiques, il y a quelque chose qui est Il y a quelque chose qui n’est pas souvent mis en avant sous prétexte qu’il y a long chain, il y a long graph, il y a des frameworks qui existent un petit peu, qui est qu’il faut tout mettre ensemble. Ce n’est pas un gros verrou technologique, mais si tu veux créer une plateforme qui va être capable de s’adapter non pas juste aux ventes, mais aux ventes dans leur diversité, les ventes à travers différentes industries et autre chose que des ventes, En fait, tu commences à voir émerger une plateforme qui n’existe pas vraiment sur le marché aujourd’hui. Il y a des boîtes qui augmentent, etc., qui se montent, etc. Mais ces plateformes-là, elles sont soit très balbutiantes. En fait, il n’y a pas d’intérêt de les utiliser forcément tout de suite. Soit elle ne marche pas. Donc nous, on a ce fait, ce pari déjà d’investir de façon importante dans nos plateformes, que ce soit sur l’ingestion des données, les types de database qu’on utilise, des stores en général. qu’on utilise, la représentation qu’on a des données, les types qu’on va utiliser pour pouvoir bien contrôler ce qui se passe, etc. Il y a tout un problème déjà de computer science qui est intéressant. Tous les problèmes de gardes réels, etc. Comment est-ce qu’on crée des apps ? Comment est-ce qu’on crée des configs qui vont être très versatiles ? Aujourd’hui, on a des clients, par exemple, c’est pas une config dont ils ont besoin, mais c’est une dizaine en fonction de l’heure de la journée, en fonction de… en fonction de la géolocalisation de la personne, en fonction si elle est sur mobile ou desktop, etc. Tu peux mettre des options, mais tu peux aussi faire des comportements d’agents complètement différents. Et en fait, comme on a pas mal investi, c’est des choses qu’on avait appris à C3, la façon dont on avait conçu notre plateforme à l’époque, mais Mais en fait, on a un peu réutilisé des idées similaires pour pouvoir, justement, dès le début, avoir une plateforme qui allait s’adapter à tous ces cas d’usage un peu différents et qui nous permettent surtout de rapidement déployer des solutions. Donc ça, c’est le premier verrou technologique, je dirais, qu’on a, pour le coup, sur lequel on a pris pas mal d’avance, je pense, c’est cette création d’une plateforme et non pas d’une solution one-off qu’on n’arriverait pas à répéter. L’idée, encore pour nous, c’est d’être… c’est d’être une solution de software et donc de ne pas dépenser trop à faire du service à droite à gauche. donc comment est-ce qu’on fait une plateforme en plus de ça qui est extensible pour que des partenaires puissent venir se plugger dessus et créer des agents eux-mêmes configurer etc. pour des industries qu’on n’a peut-être pas envie de traiter etc. ou qu’on n’a pas la bande passante pour traiter une ouverture pour des partenariats futurs avec des boîtes d’intégration et autres. Ça, c’est un premier verrou technologique. Deuxième, plus fondamental, c’est ce que je te disais sur la La capture de l’intention et la maîtrise un petit peu de la mémoire, etc. C’est assez marrant, il y a des librairies entières qui font juste de la mémoire. On voit qu’on arrive à faire des choses qui sont hyper intéressantes, nous, sur des temps mésoscopiques. J’ai des temps longs, la conversation a commencé, j’ai des gens qui vont revenir plus tard. Si je suis dans un environnement logué, je peux me souvenir de certaines informations sur eux. Au contraire, sur la mémoire courte, j’ai juste une interaction, j’ai quelques interactions de suite. Je bosse là-dessus pour pouvoir, encore une fois, mieux capturer l’intention, mieux capturer ce que le client veut, etc. Et puis, la dernière chose qui est la plus importante, c’est le knowledge graph. Sur le knowledge graph, on a passé pas mal de temps. J’étais assez dubitatif au début. Alors, j’appelle ça knowledge graph, c’est plus un knowledge engine. Sur le knowledge graph, j’étais un petit peu dubitatif au début parce que je l’avais essayé par le passé et ça ne marchait pas forcément génial. Enfin, c’est… l’application… La différence de paradigme n’était pas justifiée par la valeur que ça m’apportait par rapport à une base de données SQL, par exemple. Je peux faire des joints en SQL, etc. Et en fait, là, on voit des choses beaucoup plus intéressantes où on arrive à avoir des… Une flexibilité déjà sur le graphe et sur les données qu’on va mettre dedans. On arrive à avoir des motifs aussi sur comment est-ce que les produits sont liés les uns aux autres. On arrive à faire émerger des relations et ça avec des temps d’accès qui sont vachement plus courts que si je devais faire tous mes joints dans tous les sens, etc. et réfléchir un peu à la volée. Je suis beaucoup plus convaincu aujourd’hui sur Knowledge Graph et sa valeur. Par contre, comment est-ce qu’on a combiné ça avec du Vector Store pour pouvoir faire des recherches sémantiques ? Comment est-ce qu’on a combiné ça aussi avec des Data Stores plus traditionnels pour pouvoir avoir soit du volume ? je vais mettre des images, etc. Soit du nombre de lignes hyper important parce que j’ai des centaines de millions de références et que mettre 100 millions de nœuds dans mon graphe, ça n’allait pas forcément être hyper sympa. Donc voilà, comment est-ce qu’on vient ensuite lier tous ces trucs-là ensemble pour pouvoir justement coordonner les appels à ces différents data stores, utiliser un peu les avantages de chacun pour pouvoir répondre mieux aux questions de l’utilisateur ? 

Marc Sanselme 00:31:12 – 00:31:32 : Je suis très intéressé par… On rentrerait peut-être dans le détail ou un exemple de ce que tu dis. quand tu dis je vois bien comment le knowledge graph peut être mieux que des joins sur SQL. Est-ce qu’on peut prendre un exemple ou rentrer un peu dans le détail pour qu’on apprenne mieux ? 

Louis Poirier 00:31:32 – 00:31:32 : Oui, alors… 

Marc Sanselme 00:31:34 – 00:31:48 : Un knowledge graph, déjà, en gros, c’est des mots qui sont reliés entre eux. Sur un graph, les sommets sont des mots et il y a des arcs entre les sommets qui représentent des liens sémantiques qui ont été trouvés dans… 

Louis Poirier 00:31:50 – 00:35:07 : Tu peux faire même un truc plus générique où tes nœuds, ça va être des objets. Ils ont des propriétés, ils ont différents aspects. Aujourd’hui, nous, on met un produit entier. Par exemple, c’est un nœud. Ça pourrait être juste l’ID de ce produit-là. On peut mettre plus d’informations, ce qui nous permet de filtrer ces nœuds-là. Donc, ce qu’on appelle un « property graph », c’est qu’il y a des propriétés sur les nœuds, il y a aussi des propriétés effectivement sur les relations. Et ces relations, ça peut être des liens sémantiques au sein d’un papier. Tu prends un papier, un article, tu le mets dans un graphe et ça te permet de savoir qui est le boss de qui, dans quelle boîte il bosse, etc. Ça peut être aussi, dans notre cas, des relations entre un produit et des thèmes. Je parle d’un circuit, il va y avoir des thèmes aventure, famille, historique, culturel, gastronomie, ce genre de choses. Je peux déjà commencer à connecter ces trucs-là, ce qui me permet demain de dire… L’utilisateur est intéressé par ce produit-là, mais en fait, il est déjà allé en Grèce par exemple. Quels sont les produits qui seraient reliés à ce produit-là via justement tous les thèmes qui s’y rapprochent ? Trouver un peu les produits les plus reliés, les plus courts chemins, récupérer les produits correspondants et recommander un peu ce produit peut-être en Croatie, au Montenegro, etc. Donc en fait le graphe permet d’avoir ces relations, faire émerger, nous en fait on vient ploguer dedans plein de données sur les produits, dans le voyage parce que c’est quand même un exemple assez simple. On va mettre les destinations, quel type de produit c’est, est-ce que c’est un circuit, est-ce que c’est un hôtel, est-ce que c’est différentes choses. On va mettre les pays qui sont visités, on va mettre différentes choses, etc. Et en fait, au-delà de ça, on va prendre de l’AI, on va regarder les descriptions des produits, on va faire émerger des thèmes. On va trouver que l’hôtel, il a le Wi-Fi ou pas, qu’il y a des toboggans, combien il y en a, etc., Que le circuit passe par ces endroits-là, différents endroits très particuliers de la Namibie ou du Kenya, etc. Et pouvoir comme ça avoir vraiment une représentation de la donnée qui est non seulement ce que le client nous a donné, Mais en plus de ça, augmenter toute une critérisation de filtres, de choses qu’on peut faire qui n’étaient pas capables de faire avant. Une critérisation chez un client type Abbas, c’est quelqu’un qui regarde tous les produits, qui se tape les descriptions et qui va dire est-ce que ça, ça parle bien d’aventure ou pas ? Tu peux imaginer que c’est une tâche qui est juste insurmontable si on doit faire ça pour tous les produits, etc. Donc on commence à trouver des filtres un peu dans tous les sens, etc. Mais c’est compliqué. Nous, on peut faire ça avec de l’AI en quelques minutes. Donc, le graph permet d’avoir un petit peu cette représentation à la fois flexible, parce que toutes les propriétés que j’ai sur les nœuds, je peux en mettre, je peux les enlever, etc. Et aussi, je peux rajouter des thèmes au fur et à mesure et recréer des liens et surtout imaginer des liens qui pourraient exister entre des produits qui ne seraient sinon vraiment pas clairs sur le papier. 

Marc Sanselme 00:35:07 – 00:35:13 : On est d’accord, tout ça se passe à pré-processing time, on n’est pas sur run time là. 

Louis Poirier 00:35:13 – 00:35:59 : Alors, on va faire pas mal de boulot en pré-processing, effectivement, à augmenter la donnée, etc. Et au run time, par contre, il y a des requêtes qui sont faites justement de relations entre des produits qui seraient des joints énormes en SQL, à dire il faut que ça se join avec ça et que ça y est machin, et puis ensuite il faut filtrer sur telle propriété et autre. Et là, en fait, dans le graphe, on arrive à faire ce cheminement d’un produit à un autre. Moi, la façon dont je pense, c’est vraiment, je peux mapper des patterns et regarder quel est le pattern qui va bien matcher dans mon graphe, au lieu de devoir évaluer tous les patterns possibles et puis regarder si c’est le bon ou pas. Donc, au lieu de faire un scan, j’arrive à faire un lookup. 

Marc Sanselme 00:36:00 – 00:36:00 : D’accord. 

Louis Poirier 00:36:00 – 00:37:36 : C’est peut-être pas très bien expliqué, mais ça marche dans les faits, donc c’est ça qui est bien. Le pattern représente quoi ? est relié à un autre produit qui serait dans un pays particulier, avec des thèmes particuliers, avec des trucs de mon genre. Donc en sequel, je ferai une recherche sur le premier produit, j’aurai toute une série de candidats, et ensuite je devrais regarder tous ces candidats-là, voir quels sont d’autres produits qui sont reliés, alors que là, moi je dis, tu envoies cette requête en disant… Voilà un peu la tête du graphe. En cipher, tu peux décrire limite de façon visuelle comment est-ce que les points sont connectés aux autres. Et en fait, tu as une réponse en quelques millisecondes juste de l’existence. Parce que tu joues aussi sur l’existence d’une relation ou pas, etc. Donc… Qui d’autre que ce produit est connecté à telle ou telle thématique ? Je peux tirer sur le produit et avoir toute sa description, etc. Je peux aussi savoir quels sont les thèmes qui sont dessus. Je peux aussi savoir quels sont les produits qui sont reliés à ces thèmes derrière. Donc, commencer à avoir une idée du voisinage de ce produit-là. 

Marc Sanselme 00:37:36 – 00:37:36 : D’accord. 

Louis Poirier 00:37:37 – 00:38:17 : Ça permet d’ouvrir des conversations qui seraient sinon difficiles d’avoir, mais qui sont dans la tête des agents lorsqu’ils recommandent des produits. J’ai parlé beaucoup de voyage, mais en fait, on fait ça aussi pour l’efficacité énergétique. On commence à rentrer dans l’automobile, on va rentrer dans le cosmétique. Dans l’immobilier, il y a pas mal de cas d’application. Dès que c’est un produit un peu complexe, difficile à comprendre ou justement, il faut savoir quelles sont les bonnes questions à poser, etc. Il y a tout un avantage à avoir cette représentation riche de la donnée. et de pouvoir recommander ces produits-là ou pouvoir même, si ce n’est pas pour de la recoproduit, ce même engine, il peut être utilisé pour du RAG tout à fait traditionnel pour pouvoir parler d’une destination ou d’autre chose. 

Marc Sanselme 00:38:18 – 00:38:36 : Oui, parce que de base, un LLM est capable, avec sa connaissance, son prior, avec tout ce qu’il a appris, il est capable de trouver des idées de questions à poser quand on lui donne une thématique. Mais on restera sur ce qu’il connaît déjà. Là, vous pouvez l’augmenter sans réentraîner un LLM qui est quelque chose de très technique, très coûteux. 

Louis Poirier 00:38:38 – 00:39:43 : et puis surtout beaucoup de contrôle c’est à dire que on arrive à dire ton contexte c’est ça et c’est rien d’autre. donc tu arrives à avoir une réponse qui est beaucoup plus précise plutôt qu’un mix un peu de toute la connaissance qui a pu être utilisée pour l’entraînement. si tu demandes à notre chat du PT de te faire un voyage ça va être compliqué cool de prime abord. Et ensuite, tu vas te rendre compte que ça va être toujours le même voyage qui va ressortir. Alors que là, nous, on a des clients qui ont envie d’avoir des voyages peut-être sur mesure avec des choses particulières, etc. Les fiches évoluent. On a des flux de données au moins quotidiens sur les… sur les produits, les dispos, etc. Donc en fait, je ne vais pas commencer à te recommander un produit qui n’existe pas ou qui n’est plus disponible et je ne vais pas essayer de… S’il y a une nouvelle fiche pour un produit, j’ai envie justement de te parler de ce nouveau produit. Donc entraîner des LLM là-dessus, je pense que ça n’a pas beaucoup de sens. Par contre, faire du RAG avec un R plus riche que juste sémantique, c’est le rétrival qui est plus riche que juste un rétrival sémantique. Ça, il y a des choses hyper intéressantes. 

Marc Sanselme 00:39:45 – 00:39:57 : Hyper cool. Qu’est-ce que tu donnerais comme conseil à des gens qui veulent développer des agents conversationnels pour eux-mêmes ? 

Louis Poirier 00:39:57 – 00:43:11 : Comment c’est simple. Je pense que c’est le premier truc. Pas commencer à se dire il faut que je crée tout un truc hyper large, etc. Commencer éventuellement avec un framework, pourquoi pas, longchain ou autre. Et ensuite, complexifier seulement une fois qu’on a bien compris ce qui s’est passé. Comment c’est simple et devenir vraiment bon là-dedans ? Parce qu’en fait, je pense que tu le vois aussi, mais le gros problème du January aujourd’hui, c’est quand même que c’est trop simple de commencer. par rapport à peut-être du ML traditionnel, ce qui fait que les gens pensent que voilà, le truc il répond, c’est cool, je peux le mettre en prod. Non, en fait, l’équipe technique, elle va dire ça, ensuite elle va le mettre devant l’équipe métier. L’équipe métier va dire, vous êtes des rigolos, en fait, ça ne marche pas du tout votre truc. Donc, en fait, faire un cas d’usage qui est simple, bien rentrer dedans, bien maîtriser tout le scope, limite avoir un catch-all qui ne répond pas à toute une série de questions. Et ensuite, au fur et à mesure, rajouter des compétences pour pouvoir justement traiter des cas d’usage qui sont plus riches. Et c’est là que… comme on le disait tout à l’heure, du multi-agent, c’est bien parce que ça isole assez facilement les compétences que tu as envie de rajouter. Quitte à un moment, faire un refactoring d’agents, dire ces deux agents-là, en fait, c’est le même, je peux lui donner des compétences plus grosses, etc. Mais au moins, on sera déjà très bon sur un cas d’usage particulier qui a de la valeur, en fait, parce que si tu es très bon à un truc, tu arrives à… tu peux l’utiliser, alors que si tu es un peu nul partout, ça n’a aucun intérêt. Donc ça, je dirais que c’est le premier conseil. Deuxième conseil, c’est peut-être de ne pas s’amuser à fine-tuner tout de suite. Il y a les modèles qui sont publics, qui ne coûtent rien. Nous, on a des coûts de LLM qui sont hyper petits, hyper faibles. Utilisez ces modèles GPT-4 mini, Gmini 1.5 Flash… C’est un peu plus cher, mais ils sont bien aussi. Il y a plein de Mistral, ils ont des super petits modèles, etc. Donc en fait, ces petits modèles, soit en local sur un Mac, parce que ça marche quand même hyper bien, soit en remote avec un service comme ça qui va te coûter quelques euros par mois de LLM, tu peux déjà faire des trucs super. Donc pas se dire j’ai besoin de me plonger là-dedans et de tout de suite essayer de faire un fine tuning ou que ce soit, c’est une perte d’agent monstre. Je commencerais par ça, je reviens de très bon sur un truc et je commencerais avec des modèles un peu standards et bien commencer à maîtriser ce qui se passe sur les agents, comment est-ce que je passe de un agent à deux agents, à trois agents, comment est-ce que je crée des modèles des passages d’un agent à l’autre sous certaines conditions, etc. Il y a plein de trucs hyper intéressants. Il y a des très bons cours aussi qui ont été faits sur Deep Learning AI qui permettent d’un peu rentrer dedans avec des partenaires en général, mais leurs frameworks sont une bonne façon de commencer à réfléchir à ce sujet. 

Marc Sanselme 00:43:15 – 00:43:27 : Quels seraient les pour et les contre ? Quels seraient les obstacles pour développer ce que vous faites en interne dans une entreprise ? 

Louis Poirier 00:43:27 – 00:44:04 : Le gros truc qu’on voit, nous, qui manque, c’est la qualité. Les entreprises se lancent, elles ont un autre métier, en général, que de faire de la tech. Elles ont des équipes techniques qui sont bonnes, etc. Mais en fait, elles font un proto. C’est un peu le drame aussi du GenAI, c’est qu’on est dans un monde de POC. On fait des POC partout, on fait des proof of concept qui ne vont jamais en prod. Je crois qu’il y avait des études de BCG, de McKinsey, etc. qui disaient que c’était des taux hallucinants. On met beaucoup de choses en POC, mais on ne va pas en prod. Et donc, pourquoi on ne va pas en prod? 

Marc Sanselme 00:44:04 – 00:44:04 : ? 

Louis Poirier 00:44:04 – 00:48:13 : Parce qu’en fait, la qualité vue par le métier… partie métier, n’est pas là. Je dirais que c’est le frein principal, encore plus qu’un ROI ou autre. C’est juste qu’on a honte de mettre ça devant un client final ou devant les utilisateurs, ça n’apporte pas de valeur, etc. Donc, la qualité, un truc qui m’amuse un petit peu, c’est sur une conversation qui va faire 10 interactions pour qu’une sur 10… pour qu’on ait au moins 9 sur 10 qui se passent bien, il faut que chaque interaction soit 99% bonne. C’est-à-dire que si tu multiplies ça par le nombre de LLM auxquels on va faire appel, la complexité des guardrails, tout ce dont on parlait juste avant, tu te retrouves à avoir des barres qui sont hyper hautes, et tu ne l’inventes pas comme ça. il faut savoir comment gérer ce genre de choses. il faut savoir aussi avoir une approche un peu ML du truc. avec j’ai un test set et je ne m’amuse pas juste à pousser des promptes et à voir un peu ce qui sort. tiens ça marche ça marche ça marche. et puis en fait tu le mets en prod et tu as oublié de retester toutes tes questions d’avant et en fait le truc ne marche pas sur ces questions là. c’est assez frustrant mais il faut le faire. Donc en fait, le point qualité est essentiel et en fait, nous, je pense qu’on a vraiment une qualité qui est au-dessus du lot. La deuxième chose, je dirais, ça va être la flexibilité. On parlait de données, de sources de données, mais tous nos clients, ils ont des systèmes qui sont différents. Il y a des gens qui inventent leur propre CRM, ça existe encore. Il y a des gens qui ont des intégrations un peu bizarres avec ServiceNow, avec Salesforce, avec des trucs, donc il faut un peu pouvoir gérer tout ça. Et au-delà de ça, on a aussi des catalogues produits qui sont riches, dans des formats en général assez dégueux, et qu’il faut pouvoir gérer. Et en fait, nous, comme on a créé déjà ce qu’on appelle un canonique, c’est-à-dire une représentation un peu connue de la donnée qu’on attend. Les intégrations qu’on va faire avec les systèmes sources sont beaucoup plus simples, parce qu’on sait déjà quelle est la target. Donc on fait l’intégration avec le système source vers notre target, on développe au fur et à mesure, mais on se positionne déjà, en fait, quand on arrive dans la boîte, on se positionne déjà comme un partenaire technologique avec les dirigeants, en disant l’idée c’est de faire effectivement de la vente aujourd’hui pour cette dimension-là, mais comment est-ce que derrière on va pouvoir accompagner la vente plus loin dans le funnel? comment est-ce qu’on va pouvoir passer à autre chose que de la vente customer support d’autres trucs etc. comment est-ce qu’on va pouvoir aider vos équipes de différentes façons? donc en fait c’est encore une fois on est une boîte de soft mais il y a comme tout le monde il y a un peu de l’éducation à faire sur ce qui est possible de faire, etc. Et en fait, on vient se positionner là-dessus. Et notre plateforme nous permet de facilement gérer des cas d’usage qui sont différents. Dernière chose, je parlais de qualité, je parlais de flexibilité. Dernière chose, ça va être la verticalisation. En fait, nous, on s’est spécialisés dans quelques verticales aujourd’hui, des industries du tourisme, du voyage. On a fait l’efficacité énergétique et l’immobilier aujourd’hui. On rentre dans d’autres thématiques bientôt. Dans ces thématiques-là, en fait, on voit que c’est un jeu de domino. C’est-à-dire que les gens n’ont pas vu, encore une fois, ce niveau de qualité, cette flexibilité, cette connaissance du… On pourrait appeler ça le blueprint de sales. En fait, le… Le plan d’une conversation de vente, ça ne s’invente pas non plus. On a appris plein de choses à bosser avec des clients. Et donc, on peut arriver déjà dès le début en disant, en quelques jours, vous allez avoir une première version qui est déjà au-dessus de ce que vous avez trouvé ailleurs. Et ensuite, on va améliorer ça avec votre propre expérience, avec ce que vous avez envie de faire, avec les données que vous avez, avec les informations que vous avez en interne, que vous avez envie d’utiliser, etc. 

Marc Sanselme 00:48:14 – 00:48:34 : Comment ça se passe justement, une fois qu’on est en prod, on a une première version, à partir de là, comment ça se passe ? Est-ce que vous avez un accompagnement qui est important ? Est-ce que le client est seul dans son coin ? Qu’est-ce qui se passe ? Est-ce qu’il y a beaucoup de modifications ? Est-ce que la première version est relativement la bonne ? 

Louis Poirier 00:48:34 – 00:51:06 : Aujourd’hui, on est encore assez petit. Quand tu es une startup, tu as beau vendre ton produit, ton produit, c’est toi. Aujourd’hui, on fait quand même un peu de service. À terme, l’idée, c’est quand même de diminuer ça au maximum. Aujourd’hui, entre une V1 et une V2, ce qui va se passer, c’est que… On va identifier quelque chose d’autre dont ils ont besoin, quelque chose qui les bloque. Peut-être, je le disais tout à l’heure, une augmentation du nombre de lits qui est trop importante par rapport à ce qu’ils peuvent faire. Donc en fait, il faut gérer différemment. On commence à avoir suffisamment de leviers dans la config et dans ce qu’on a mis en place pour pouvoir justement adresser ça assez rapidement. Et si ce n’est pas le cas, on peut accélérer la roadmap produit pour pouvoir justement créer ce genre de choses. L’accompagnement, ça va être des points qu’on va faire une fois par semaine. Ce n’est pas forcément beaucoup, on va un peu finituner des trucs. Et ça va être aussi une incorporation dans le produit de ce dont ils ont besoin pour pouvoir dire, en fait, dans trois mois, on va vous faire une nouvelle version qui aura ce que vous voulez. En attendant, on aura déjà un peu absorbé, on aura déjà créé de la valeur avec la première version, on aura aussi absorbé ce dont les clients ont besoin. c’est très instructif de regarder comment est-ce que les clients parlent avec l’interface. parce qu’en fonction du format de l’interface, si tu es une barre de recherche, si tu es un chatbot, si tu es différentes choses, en fonction des réponses que tu as données avant, ils vont te parler d’une façon qui est complètement différente et en fonction de la marque aussi sur laquelle on est. Est-ce que c’est du mobile first où les gens vont juste scroller pour regarder des jolies images mais en fait ils n’achètent pas beaucoup? ou est-ce qu’on est sur un truc… beaucoup plus premium avec une vraie marque sur laquelle les gens ont vraiment envie d’aller et commencer à interagir. On n’a pas du tout les mêmes conversations. Et donc, pendant les premiers mois d’apprentissage, on voit ce qui se passe. Ce dataset, on peut le réutiliser derrière pour pouvoir tester justement la nouvelle version et s’assurer qu’on n’a pas de régression par rapport à… à ce que les clients veulent, mais qu’au contraire, on augmente sur certains cas d’usage, on arrive à avoir des conversions plus rapides, on arrive à avoir des conversations plus courtes, moins de frustration, ce genre de choses. Donc l’accompagnement, je dirais que c’est un accompagnement qui est assez faible tout du long et qui correspond plutôt à une accélération de la roadmap produit pour pouvoir sortir une nouvelle version. 

Marc Sanselme 00:51:07 – 00:51:23 : Ok. Comment vous différenciez de la concurrence en Gen.AI qui est assez massive ? En tout cas, il y a tous les jours une nouvelle startup qui lève des fonds en Gen.AI. Comment est-ce que vous vous différenciez ? 

Louis Poirier 00:51:23 – 00:54:22 : C’est vrai que sur certains cas d’usage, ça peut paraître assez plein, le marché, ce qu’on appelle un Red Ocean, où il y a beaucoup de monde et ils se mangent les uns les autres. En fait, nous, ce qu’on voit, c’est que ce n’est pas vraiment comme ça. L’impression n’est pas tout à fait vraie. Premièrement, c’est qu’on est plutôt sur ce qu’on appellerait un Blue Ocean. En vente, il n’y a pas de botte en ligne qui vend correctement. On a beau chercher des gens qui annoncent des trucs, on ne trouve pas d’équivalent de bot d’expérience interactionnelle qui soit hyper performante. Donc déjà, on se différencie là-dessus parce qu’on arrive à faire ce genre de choses. Deuxième chose, c’est qu’il y a beaucoup de boîtes qui sont encore un peu à des phases de POC, qui sont déployées sur des petits volumes, etc. Nous, on est en prod avec des clients, ça tourne, ça génère de la valeur pour ces clients-là. et ça déjà, c’est une différence. On est sur de la vente plus que sur du customer support. C’est peut-être idiot, mais on s’était dit que c’était un, plus marrant et deux, qu’il y avait un vrai besoin. On tape sur de la top line, donc d’un point de vue ROI, c’est plus facile à comprendre aussi et à partager de la valeur avec nos partenaires. Et c’est… Mais c’est beaucoup plus dur que du customer support. parce que quand tu fais du customer support, tu réponds à quelqu’un qui a envie de se faire rembourser un achat, qui ne comprend pas comment son truc fonctionne, mais qui a envie de le faire marcher, etc. Donc, même si tu mets une expérience un peu pourrie, la personne reste. Sur de la vente… Soit t’es bon, soit la personne se barre. Donc, en fait, nous, ce qui est intéressant, c’est qu’on arrive à avoir… Alors, sur Avas, par exemple, on a 25% des gens qui commencent une conversation qui finissent par nous filer leur numéro de téléphone. Numéro de téléphone, e-mail, etc. Tous les trucs… Et en fait, ça, c’est phénoménal. Ça veut dire que les gens arrivent, sachant que les autres, ils vont se barrer sur des produits, ils vont trouver des trucs, on ne sait pas s’ils sont satisfaits ou pas vraiment, mais… Mais en fait, on arrive à aller jusqu’au bout du funnel pour quand même 25% des gens, ce qui montre que la technologie, elle marche. Donc la différenciation, je te dirais, encore une fois, sur cette qualité, cette verticalisation dont on parlait tout à l’heure. On arrive chez le client, on est des gens qui… Enfin, on a fait du voyage, on a fait de l’efficacité énergétique, on a fait de l’immobilier. Donc on sait, en fait, la démo qu’on fait, ça se voit directement sur la tête des dirigeants. Ils n’ont pas vu ça avant. Et ça, en général, les conversations se passent assez bien. 

Marc Sanselme 00:54:22 – 00:54:34 : Qu’est-ce que tu connais comme cas d’usage déceptif de l’IA et quels sont les endroits où elle est game changer, au contraire, l’IA générative en particulier ? 

Louis Poirier 00:54:34 – 00:56:57 : Je pense que le conversationnel, ça passe à place partout. C’est pour ça que tout à l’heure, on parle de produits complexes, un produit où il y a vraiment besoin d’une interaction. Je pense qu’on parlera de l’IA plus généralement juste après, mais sur le Gen AI, qui est plutôt la partie de l’IA sur laquelle on se focalise, vendre un câble Ethernet et mettre de l’IA conversationnelle, ça n’a aucun sens. ça coûte 7 euros, tu l’achètes, ça ne marche pas, tu le renvoies ou tu en achètes un autre. Il n’y a pas un enjeu. Par contre, sur un voyage, sur une pompe à chaleur, sur un appartement, etc. En général, tu ne prends pas de décision comme ça. Deux, tu as besoin de comprendre un peu quel est le produit. Et puis finalement, tu as besoin d’avoir l’impression que tu fais une bonne affaire, mais que tu fais ton calcul un peu de ROI dans ta tête du temps passé, etc. Donc, il y a un sujet là-dessus. Donc, cas déceptif, je dirais que c’est ce genre de choses, les plugins Shopify, etc. pour vendre sur des petits trucs, à mon avis, ça ne sert à rien. Ça permet peut-être d’éviter, si les gens ont la flemme de regarder la description du produit, de trouver des choses, mais grosso modo, il n’y a pas une valeur ajoutée dingue. Par contre, être capable de naviguer un catalogue de produits, Ça, il y a une valeur dingue parce que même le conseiller ne sait pas le faire. Le conseiller ne connaît pas les 30 000 produits qu’il y a en catalogue. Ce n’est pas possible. Donc, en fait, être capable de regarder multiproduits plutôt que d’être focalisé sur répondre au contenu d’une petite fiche, c’est beaucoup plus intéressant. Je pense que c’est des cas d’usage qui sont un peu déceptifs. Sur l’IA, plus généralement, je pense qu’il faut toujours se focaliser sur la valeur. Je pense que n’importe qui, je le disais sur votre site, mais vous faites la même chose. Est-ce qu’il y a une valeur à la fin sur ce que je délivre ? Et s’il n’y a pas de valeur, on ne fait pas le projet. C’est-à-dire que lorsqu’on commence avec une C3, on le faisait beaucoup, mais on commençait par mapper une centaine de cas d’usage avec les entreprises. On parlait d’ENGIE, de NL, de grosses boîtes, etc., du ministère de la Défense, etc. On trouvait des centaines de cas d’usage que chacun trouvait. C’était marrant. Et en fait, quand tu regardais quels étaient ceux qui avaient vraiment une valeur ajoutée aujourd’hui, on retombait sur trois. 

Marc Sanselme 00:56:57 – 00:56:57 : Ouais. 

Louis Poirier 00:56:57 – 00:59:35 : C’est les trois sur lesquels tu vas effectivement bosser. Mais louper cette étape-là, c’est casse-gueule. Donc, je pense que si on fait cette étape-là, déjà, l’IA a un intérêt. Sur les cas d’usage sur lesquels c’est Game Changer, l’IA, c’est super partout. Sur de l’excellence opérationnelle, en arrivant encore chez des boîtes qui sont hyper ont, c’est la communauté, mais sur des boîtes qui sont hyper optimisées, qui ont fait tous les lignes, Six Sigma, tout ce que tu veux, à trouver de la valeur en mettant de l’IA qui est capable de faire de la maintenance prédictive, qui est capable de dire ce truc-là va casser avec des données particulières, ce genre de choses. Donc en fait, il y a des cas d’usage comme ça qui sont complexes, qui ont énormément de valeur. Sur le Gen AI, les cas qui sont vraiment cools, je Je trouve que c’est, par rapport au ML traditionnel, c’est qu’en fait, encore une fois, moi, ça fait 13 ans que je fais ça. On faisait, avant que les deep learnings soient cools, et en fait, on faisait énormément de travail pour prendre beaucoup de données Des pétales de données et les réduire, réduire, réduire, réduire, réduire jusqu’à temps d’avoir une matrice ou un truc équivalent d’une taille tout à fait restreinte en faisant du feature engineering plus ou moins automatique, etc. Pour pouvoir apprendre ton arbre, apprendre ton réseau de neurones, apprendre ton je ne sais quoi. Mais grosso modo, tu faisais de la compression de données jusqu’à temps d’avoir quelque chose d’intéressant. Avec le Gen AI, on se retrouve à avoir une modalité qui est un peu différente, un programming qui est un peu différent, où en fait, on a beaucoup de données, très vagues, très peu denses, et des questions qui sont aussi très vagues, Et en fait, on arrive à matcher les deux. Donc, si tu as une question vague, des données vagues, le Gen AI, c’est génial, en fait, pour pouvoir justement essayer de trouver quelque chose. Donc, tout ce qui est intégration de données, par exemple, tu peux avoir des trucs assez bluffants. Tout ce qui va être ce qu’on parlait là de conversationnel, d’un mec qui ne sait pas ce qu’il veut, le matcher avec un produit qu’il ne connaît pas sur un catalogue pas forcément en hyper bonne qualité. On peut faire du Gen AI, en fait, qui vraiment fait des choses qu’on ne pensait pas possibles avant. À l’inverse, le ML, c’est plutôt une question hyper précise. Je vais faire un forecast de X que j’ai prévu à l’avance. Je crée un modèle hyper spécifique. Je compresse mes données pour pouvoir avoir de l’information dense et je fais un modèle à partir de ça. Donc, il y a vraiment un paradigme qui est différent, qui n’est pas adapté à tout, mais qui est hyper fun. 

Marc Sanselme 00:59:37 – 00:59:41 : Est-ce que tu as une anecdote à nous partager ? 

Louis Poirier 00:59:41 – 01:01:00 : L’anecdote, on parlait de qualité de données tout à l’heure. En fait, une chose qu’on a faite au tout début, c’était, encore une fois avec Avas, on a appelé les gens qui avaient interagi avec notre chatbot, qui avaient filé leur numéro de téléphone. Dès que la conversation tombait, on les appelait, on était aiguilleurs. Donc, bonjour, je m’appelle Louis, je suis aiguilleur chez Alvoise Voyage, merci de votre message, etc. Je voulais m’assurer que j’avais bien vos informations correctement et vous orienter vers le bon spécialiste. Et en fait… Et en fait, quand on a parlé avec les gens, on s’est rendu compte que, un, les gens adoraient, ce qui n’était pas sûr, parce que la target, c’est 50-70 ans. Donc, est-ce que c’est vraiment la bonne audience pour ce genre de technologie ? Donc, les gens adorent. Et avoir quelqu’un qui répond par rapport à un live chat pourri, etc., c’est quand même beaucoup mieux. Et deuxième chose, les gens ne croyaient pas que c’était un bot. Non mais c’est pas possible. en fait, vous vous foutez de nous, c’est des gens qui tapent derrière, qui répondent aux questions, etc. Donc c’était assez sympa de voir qu’il y a vraiment un engouement, je pense, des gens pour ce genre de technologie quand c’est bien fait et que c’est prometteur. C’est que je pense qu’on va arriver dans un monde où on a beaucoup plus d’interactionnels comme ça. 

Marc Sanselme 01:01:00 – 01:01:08 : Alors quel invité est-ce que tu aimerais entendre au micro de Data Driven 101 dans un prochain épisode ? 

Louis Poirier 01:01:08 – 01:01:38 : Il y a un mec qui s’appelle Dan Constantini, qui est PDG d’une boîte qui s’appelle Littéral AI. Dan et Willy, qui sont les fondateurs, je les ai recrutés à C3 il y a plein d’années. En fait, c’est des gens qui sont super, hyper intelligents, hyper motivés. Littéral AI, ça fait de la… C’est une plateforme d’observabilité et en fait, je pense que c’est un thème qui est hyper important justement pour la qualité des données et ce serait super qu’ils puissent un peu en parler avec toi. 

Marc Sanselme 01:01:39 – 01:01:41 : Merci pour la recommandation. 

Louis Poirier 01:01:41 – 01:01:43 : Avec plaisir. Merci pour l’interview. 

Marc Sanselme 01:01:43 – 01:01:44 : Merci Louis.