Marc Sanselme 00:00:00 – 00:00:29 : Bonjour et bienvenue sur Data Driven 101. Je suis Marc Sanselm, l’hôte de ce podcast qui s’intéresse aux applications concrètes et variées de l’intelligence artificielle et de la data. Dans Data Driven 101, je reçois chaque semaine des professionnels pour qu’ils nous partagent leurs expériences et leurs visions sans filtre. Aujourd’hui, je reçois Nicolas Drizard, cofondateur et CTO de Klinéo. Klinéo est une startup française fondée par un oncologue d’Institut Gustave Roussy et deux ingénieurs qui permet aux patients et aux médecins de trouver facilement et rapidement des essais cliniques grâce à des algorithmes de matching. Bonjour Nicolas. 

Nicoals Drizard 00:00:29 – 00:00:31 : Bonjour Marc, merci de me recevoir. 

Marc Sanselme 00:00:31 – 00:00:39 : Avec grand plaisir. Alors Nicolas, est-ce que tu peux nous parler un peu de Klinéo et nous décrire un peu plus en détail ce que vous faites ? 

Nicoals Drizard 00:00:39 – 00:01:34 : Bien sûr, je vais peut-être commencer avec le constat qui justifie pourquoi on est là. Aujourd’hui, il faut savoir qu’en France, il y a environ 1200 patients qui, chaque jour, apprennent qu’ils ont un cancer. Autrement dit, on est tous touchés de près ou de loin par le cancer. Seulement, il n’y a que 5% des patients atteints de cancer qui entrent dans un essai clinique, leur permettant de bénéficier d’un traitement innovant pour les guérir. Or, environ 70% de ces patients seraient prêts à entrer dans un essai. Donc on remarque là, effectivement, qu’il y a un problème d’équité d’accès aux soins. Et c’est cette problématique qu’on cherche à résoudre avec Klinéo, qui est une plateforme qu’on a cofondée avec Thomas et Arnaud. Arnaud étant oncologue médical à Gustave-Roussy, donc il connaît bien la problématique. L’objectif de cette plateforme, c’est de permettre aux patients et aux médecins d’avoir un accès faciles, intuitifs, complets et à jour des essais cliniques en cours aujourd’hui pour permettre d’avoir accès à ces innovations. 

Marc Sanselme 00:01:35 – 00:01:47 : Ok, donc concrètement, c’est un site web qui est ouvert à tous. Demain, je découvre que j’ai une maladie rare, je vais sur cette plateforme. 

Nicoals Drizard 00:01:48 – 00:03:15 : Tout à fait, c’est un site qui est accessible à tous et gratuit pour nos utilisateurs, patients et médecins. L’interface est forcément un peu différente, puisque un patient, lui, ce qu’il attend, c’est un accompagnement pour peut-être l’éduquer sur ce qu’est un essai clinique, quels sont les traitements proposés, peut-être éventuellement le rassurer sur le fait que ça fait partie du process de recherche médicale et qu’on est à une certaine étape du développement du médicament. et le renseigner autant que possible sur ça, mais de manière accessible, puisqu’on ne va pas commencer à rentrer dans une terminologie complexe. Le médecin, lui, attend des informations précises et complètes sur les différents essais pour bien choisir un essai pour son patient. Et donc, je disais, pour ces deux utilisateurs, c’est gratuit. Et l’enjeu, bien sûr, la finalité, c’est de permettre à un patient de rentrer dans un essai. Donc, il y a aussi la notion de mise en relation un peu comme peut faire par exemple un doctolib, mise en relation avec le médecin en charge de l’essai clinique pour permettre de transmettre le dossier de manière numérique, donc rapide et instantanée, au médecin en charge de l’essai, ce qui permet de réduire cette inégalité d’accès aux soins et aussi d’avoir un traitement le plus rapide possible pour un patient atteint de cancer, puisque le timing est un enjeu crucial pour un patient qui a un cancer. Le cancer est une maladie qui évolue très vite. Donc il est important de traiter rapidement le patient. On ne peut pas le laisser dans l’incertitude sous prétexte qu’une information n’est pas à jour ou un email de médecin n’est pas le bon. 

Marc Sanselme 00:03:15 – 00:03:29 : Pour finir de bien comprendre le parcours patient, une fois que j’ai rentré le nom de la maladie, je vais avoir éventuellement des essais cliniques en cours sur cette maladie et ça va me mettre en relation avec le médecin ? 

Nicoals Drizard 00:03:29 – 00:04:41 : Tout à fait. Côté patient, le patient ne peut pas de lui-même demander à rentrer dans l’essai via la plateforme, c’est par l’intermédiaire de son médecin. Donc le parcours patient. pour le patient lui-même, c’est effectivement renseigner les informations sur sa maladie. Donc c’est un formulaire aujourd’hui où on renseigne les éléments clés dont on a besoin. et lui permettre d’avoir accès à un moteur de recherche qui va lui mettre en avant les essais cliniques pertinents pour sa maladie et pertinents aussi par rapport à sa géographie, puisque un essai clinique a lieu dans un endroit, dans un centre médical. Donc, il faut que le patient puisse s’y rendre puisqu’il va devoir y aller régulièrement. Donc, c’est un enjeu important dans l’accès aux essais cliniques, c’est la géographie. Et ensuite, il peut voir les essais pertinents pour lui et il a la possibilité d’inviter son médecin référent à aussi se créer un compte sur Klinéo pour avoir accès aux informations que le patient a déjà rentrées, donc permettre de faire gagner du temps au médecin. Et ensuite, c’est le médecin, donc via son compte médecin sur Klinéo, qui peut lui faire une demande pour son patient dans l’essai. Cette demande va alors parvenir soit à un autre médecin qui a un compte sur Klinéo, soit aussi à nous en interne, on voit passer ces demandes pour les permettre, pour les accélérer un maximum, puisque aujourd’hui on n’a pas pour tous les essais recensés un médecin à qui la demande va parvenir via Klinéo. 

Marc Sanselme 00:04:42 – 00:04:45 : Ok, alors de quelles maladies on parle ? 

Nicoals Drizard 00:04:45 – 00:06:30 : Donc on parle des cancers aujourd’hui, pas tous les cancers, on ouvre les essais cliniques cancer par cancer sur Klinéo, donc on appelle ça des aires thérapeutiques, donc on a commencé avec le cancer du sein, on a les cancers du poumon, tout ce qui est en dermatologie, on a aussi la pédiatrie, on a un certain nombre d’aires thérapeutiques, mais pas tous, mais la plupart sont présentes et on en ouvre chaque semaine. Et donc peut-être quand vous écouterez ce podcast, d’ailleurs, il y aura toutes les aires thérapeutiques. Et on a commencé par le cancer, puisque c’est ce qui représente 50% des essais cliniques dans le monde. Et on a commencé par le cancer du sein, car on a commencé même d’ailleurs spécifiquement par le cancer du sein triple négatif. Et ça, c’est un choix qui a motivé… Parlons-en, puisqu’on est dans un podcast sur la data qui est motivé par un peu la data épidémiologique, puisque c’est un cancer qui est très agressif. Il y a peu de traitements aujourd’hui. La plupart des patientes qui ont ce cancer sont ce qu’on appelle en impasse thérapeutique, c’est-à-dire que les traitements existants ne sont pas adaptés à ce cancer. et il y a aujourd’hui environ un peu plus d’une centaine d’essais cliniques ouverts en France qui ciblent le cancer du sein. triple négatif donc les patientes ayant ce cancer qui ont d’ailleurs pour 40% moins de 40 ans donc un cancer agressif qui en plus touche une population jeune. donc aussi un moyen pour nous d’avoir une entrée un peu percutante sur ce domaine là et de pouvoir servir rapidement un patient qui est dans le besoin. En anglais, sur cette notion-là, on parle de urgent medical need. C’est vraiment, il y a un besoin urgent de trouver une solution. On travaille d’ailleurs avec une association de patients, donc les triplettes roses sur ce cancer. Et donc, on s’est positionnés en premier sur ce cancer. On a eu beaucoup de trafic de patientes ayant ce cancer en France et cherchant une autre option thérapeutique. Enfin, une option thérapeutique plutôt, puisqu’il n’y en avait pas sur l’étagère pour elles. 

Marc Sanselme 00:06:30 – 00:06:40 : Ok. Et alors, au niveau de la zone géographique, vous êtes… 

Nicoals Drizard 00:06:40 – 00:11:50 : Pour l’instant, on est en France. Donc aujourd’hui, on est ouvert en France et on a commencé avec un périmètre restreint, que ce soit pour la géographie, mais aussi pour les aires thérapeutiques. Donc on les ouvre petit à petit, comme je disais. Et ça, la motivation, c’est pour pouvoir vraiment construire une expertise sur les essais cliniques qu’on propose et donc les cancers qu’on couvre et donc c’est important aussi d’avoir un périmètre restreint au niveau de la géographie puisque la façon de faire les médecins l’accompagnement des patients diffère forcément d’un pays à l’autre. et donc on a commencé avec un périmètre restreint la France et aussi par air thérapeutique afin de proposer un service adapté et s’adapter vraiment au cancer du patient et permettre de fournir un service pertinent. Alors, comment a démarré l’aventure ? Sous-titrage ST’ 501. Et donc, ayant une formation en plus de son parcours médical, une formation à l’ESSEC, donc étant assez intéressé par les problématiques et les enjeux business, très vite, il a cherché autour de lui des personnes partantes pour relever ce défi. Et donc, il a recontacté Thomas avec qui ils se connaissaient via leur parcours scolaire. Et donc, à eux deux, ils ont commencé un peu à réfléchir, à faire une étude de marché, un peu les débuts d’une startup habituelle, à aller interviewer un certain nombre de médecins, à aller sur le terrain dans des consultations avec des oncologues ou dans des réunions pluridisciplinaires où plusieurs spécialistes de santé débattent du cas d’un patient atteint d’un cancer et se sont rendus compte qu’effectivement, il y avait vraiment un… un manque d’accès à l’information, vraiment à l’information immédiate, précise, alors que les données sont présentes. Les données essai clinique sont présentes. D’ailleurs, il y a des bases de données publiques qui recensent ça. Les données patients sont présentes dans les logiciels de l’hôpital, mais le lien entre les deux n’était pas fait, ou du moins pas immédiat. Et même ensuite, une fois qu’on a fait le lien pour un patient trouver un essai clinique, le faire rentrer dans l’essai clinique, donc contacter la personne, là aussi, c’était très compliqué. Arnaud, parfois, il attendait un mois quand il envoyait un email à un médecin pour qu’on lui dise « Ah non, en fait, cet essai est fermé. ou pour lui dire, vous vous trompez, en fait, c’est la mauvaise personne que vous contactez, il faut contacter cette personne. Et comme je disais, le temps, c’est très important pour un patient atteint de cancer. Donc Thomas et Arnaud se sont très vite forgé une opinion qu’il y avait un problème, il y avait un fort besoin pour proposer cette solution. Et aussi, j’en ai pas parlé encore, mais la partie business est importante puisque tout projet en santé, ne pourra avoir une pérennité que si effectivement il y a un business model qui adéquate. Et l’autre aspect, j’ai beaucoup parlé des patients et des médecins, mais il y a aussi le côté laboratoire médical. Donc les entreprises qui sont à l’initiative des essais cliniques, les entreprises qui développent les médicaments. Il faut savoir aussi qu’un médicament, en moyenne, on estime que c’est une douzaine d’années pour qu’un médicament voit le jour, c’est-à-dire à partir du moment où il y a le début de la recherche, jusqu’à la commercialisation du médicament. Le budget, c’est environ quelques milliards pour développer ce médicament, donc toute la phase de R&D. Et sur ces 12 ans, la moitié, c’est les essais cliniques. Donc, il y a à peu près 60% du budget, c’est les essais cliniques. Donc, c’est un domaine dans lequel il y a beaucoup de budget et notamment beaucoup de dépenses et pas forcément faites de la bonne manière. Et aussi, le timing est important. On parle de 12 ans. Si on pouvait raccourcir ça pour permettre de rendre accessible un traitement innovant aux patients plus tôt, ce serait un énorme gain pour le patient. Et donc, du coup, l’objectif, via Clino, donc je parlais de l’aspect business, pour dire qu’effectivement, on a à la fois un produit qui s’adresse à des patients et des médecins et qui peut répondre à un besoin concrets mais en même temps qui répond à un besoin concret du côté des pharmas puisque ça leur permet de compléter leurs essais cliniques plus rapidement et aussi même juste de les compléter puisqu’aujourd’hui on estime que 20% des essais cliniques ne vont pas au bout par faute de recrutement de patients autrement dit 20% des médicaments qui sont dans une phase assez avancée de R&D. Donc l’ARD va cesser puisqu’on n’a pas trouvé assez de patients. Donc là-dessus, il y a vraiment cet enjeu-là. Et donc après, rapidement, avec Thomas, on était en école ensemble. Rapidement, j’ai repris contact avec Thomas puisque moi, je commençais à réfléchir aussi à rejoindre un projet entrepreneurial. Et donc je les ai rejoints en tant que troisième associé technique sur toute la partie technique. à la fois les enjeux data, mais les enjeux aussi de développement informatique, les enjeux aussi de cybersécurité, d’IA, sachant que moi, mon expertise, c’est avant tout sur la partie IA et data, puisque les rôles que j’ai eus avant, c’était en tant qu’ingénieur R&D en IA. 

Marc Sanselme 00:11:51 – 00:12:04 : Ok, alors sur la data, l’acquisition de la data, de ce que je comprends, il y a des bases de données publiques pour les essais cliniques. Donc l’enjeu est plutôt, j’ai l’impression, du côté d’aller chercher des patients. 

Nicoals Drizard 00:12:04 – 00:13:35 : Tout à fait, la difficulté d’accès à la data, c’est côté patients. Mais pour le côté essai clinique, ça vaut le coup d’en parler un peu puisque l’accès à la donnée n’est pas si évident dans le sens où il y a certes des bases de données publiques qui existent, mais il y en a plusieurs. Elles sont remplies de différentes manières. Elles ont leur exactitude. Donc, il y a un travail aussi, un enjeu de réconciliation de données pour pouvoir avoir in fine une base de données structurée et exploitable de données essai clinique. Donc, il y a quand même un enjeu côté essai clinique et côté patient, effectivement, On part avec zéro donnée patient et donc il y a l’enjeu d’avoir accès à cette donnée. Donc c’est pour ça qu’on a fait une interface aussi accessible directement aux patients puisqu’on sait que le temps médical d’un médecin est compté. Il n’a pas forcément le temps lui-même de rentrer de son plein gré l’information sur tous ses patients. Donc si on peut lui faire gagner du temps avec le patient qui lui-même va prendre l’initiative de renseigner ses données, c’est un gain de temps et donc un gain de chance pour le patient. Donc aujourd’hui, on procède de cette manière-là. Avec notre interface, on permet aux patients et aux médecins de rentrer les données liées aux patients. Et on est en train d’avancer aussi avec des différents établissements de santé pour permettre de s’interopérabiliser avec les informations de patients qu’ils ont déjà, pour permettre d’un coup d’essayer de rendre accessible notre plateforme à toutes leurs bases de patients. Mais c’est un enjeu, c’est des interruptes qui prennent du temps et qui doivent être faites de la bonne manière dans l’ordre, forcément, pour que la donnée soit bien sécurisée, puisque dans l’accès à la donnée côté patient, ça l’est moins côté essai clinique, il y a cet enjeu de sécurisation de la donnée. 

Marc Sanselme 00:13:37 – 00:13:57 : On va y revenir parce que je voudrais creuser un peu plus ce sujet-là, mais… Pour bien comprendre, qui annonce aux patients que ça existe ? Qui fait connaître aux patients ? C’est les médecins ? Est-ce que tous les oncologues de France ont vocation ensuite à proposer à leurs patients d’aller sur la plateforme ? 

Nicoals Drizard 00:13:57 – 00:15:17 : Tout à fait. L’oncologue du patient, c’est bien sûr un très bon relais pour nous, pour permettre aux patients de connaître Klinéo. À savoir, si l’oncologue connaît Klinéo, lui-même est déjà sur Klinéo, donc potentiellement, son patient est déjà sur Klinéo sans que le patient ait besoin de créer un compte. Parce qu’un médecin sur Klinéo, lui-même peut se créer des patients. En fait, il n’a pas forcément besoin que le patient soit sur Klinéo. Donc aujourd’hui… Nous, on fait en sorte d’acquérir un maximum de médecins, de faire connaître notre solution. Mais donc, on va dire pour qu’un patient soit traité par Klinéo, il faut soit effectivement que son médecin soit déjà sur Klinéo et utilise Klinéo. Ou alors, si ce n’est pas le cas, il faut effectivement, lui, il est entendu parler de Klinéo. Et donc là, on a aussi un très bon relais qui sont les associations de patients. Pour beaucoup de cancers, il y a des patients qui se sont regroupés au sein d’associations pour permettre d’avoir accès à d’autres personnes qui ont les mêmes difficultés, qui font face à cette situation très désagréable d’avoir un cancer. Et donc, ils peuvent comme ça échanger. Et donc, on a ce relais de communication pour nous. Et puis après, bien sûr, on se fait connaître auprès des patients par la presse spécialisée ou non. On essaye un maximum de faire parler de nous puisque, comme je le disais, malheureusement, en fait, on est tous touchés de près ou de loin par le cancer. 

Marc Sanselme 00:15:22 – 00:15:37 : Et alors du coup, côté légal, c’est quoi les choses auxquelles il faut faire attention sur les données ? Qu’est-ce que vous avez le droit, qu’est-ce que vous n’avez pas le droit de faire ? Où est la difficulté justement de cette confidentialité des données médicales ? 

Nicoals Drizard 00:15:37 – 00:17:39 : Oui, c’est un sujet très important et la donnée médicale est très sensible. Après, on a une réglementation, mais je dirais que cette réglementation, c’est plutôt une chance parce que ça nous fournit le cadre. On n’a pas vraiment énormément de questions à se poser sur comment faire les choses puisqu’il y a un certain nombre de référentiels qui nous imposent le cadre légal dans lequel on peut manipuler ces données. Et si on suit ce cadre, on est à peu près garanti que les données sont traitées de manière sécurisée. Donc, pour dire les choses simplement et concrètement, nos données de santé, elles doivent être hébergées sur des serveurs qui sont certifiés HDS. HDS, c’est Hébergeurs de Données de Santé. C’est une certification qui a, on va dire, le niveau de sécurité un peu similaire à la norme ISO 27001 pour ceux qui sont familiers. Et donc, c’est un certain nombre de mesures. Et donc, nous, on travaille avec un hébergeur de données de santé un hébergeur qui a cette certification HDS. Et en plus, nos serveurs sont situés en France et au sein d’une entreprise qui est aussi française. Cet enjeu de souveraineté est assez important. Je parlais tout à l’heure de s’interopérabiliser avec les hôpitaux. C’est un enjeu assez clé pour les hôpitaux que les données de leurs patients restent en France, contrôlées par une entité française. Donc nous, c’est la première décision qu’on a prise, effectivement, c’est d’avoir un accompagnement légal par une entreprise experte sur les enjeux de données de santé, mais aussi données personnelles. Finalement, on est aussi sous le régie de la RGPD. Donc, on a RGPD, données de santé. Et en fait, ce cadre légal, comme je disais, ça nous permet aussi de nous donner les directives sur comment faire. Et donc, on suit ça avec un hébergeur de données de santé, un cabinet juridique expert et aussi un DPO, donc un… un DPO, donc un délégué à la protection des données, qui est externalisé et qui est expert aussi sur les sujets de santé. C’est l’entreprise Doctor Data, d’ailleurs, avec qui on collabore étroitement afin de permettre que nos données de santé soient traitées de la bonne manière et de manière sécurisée. 

Marc Sanselme 00:17:42 – 00:18:09 : Donc si vous avez un nouveau essai clinique qui rentre, idéalement vous voudriez contacter tous les gens qui peuvent être concernés, donc il faut accéder à leurs données personnelles, leurs données de santé, vu qu’il faut savoir notamment qu’ils ont la maladie en question ? Le cadre légal vous permet de faire cette recherche ? Est-ce qu’il faut qu’ils aient accepté quelque part dans vos conditions ? 

Nicoals Drizard 00:18:09 – 00:19:07 : Tout à fait. Et effectivement, un nouvel essai de clinique arrivant, on est naturellement tenté de vouloir le plus rapidement possible contacter les patients qui peuvent en bénéficier. Aujourd’hui, donc… On ne peut pas directement recenser les patients dont on n’a jamais entendu parler. On n’a pas d’outil pour le faire. Et effectivement, d’un point de vue légal, ce serait inquiétant qu’on ait des outils pour le faire. Donc là, c’est tout simplement, nous, on revient sur les canaux d’acquisition de patients. cibler un patient que s’il est venu de lui-même sur notre plateforme puisqu’il se crée un compte. et lorsqu’il se crée un compte il accepte nos conditions générales d’utilisation qui ont d’ailleurs été rédigées avec l’accompagnement de notre DPO. et donc il fait bien attention à servir avant tout le patient donc en respectant sa donnée mais aussi en lui donnant la possibilité d’accepter ou non le traitement de sa donnée comment ce sera exploité etc. Donc effectivement c’est un enjeu pour nous c’est qu’il faut que le patient vienne de son plein gré sur la plateforme. 

Marc Sanselme 00:19:08 – 00:19:25 : Ok, très clair. Du coup, côté data essai clinique, tu disais qu’il y avait quand même pas mal de travail. Est-ce que tu peux nous en parler un peu de cette structuration des données, cette construction d’une indexation qui permet ensuite de faire un moteur de recherche ? 

Nicoals Drizard 00:19:25 – 00:22:20 : Oui, tout à fait. Donc, la donnée essai clinique, aujourd’hui, notre source de données principale, c’est une base de données américaine qui s’appelle clinicaltrials.gov. Et en fait, cette base de données recense tout essai clinique à partir du moment où il a lieu dans un centre qui est aux États-Unis. c’est une obligation légale de reporter la donnée dans cette base de données. seulement l’obligation s’arrête là. il n’y a pas d’obligation sur le format le contenu. donc bien sûr même si c’est une base de données tabulaire type SQL on a effectivement des colonnes qui sont renseignées mais il n’y a aucune exigence sur le contenu de ces colonnes. et donc nous c’est notre point d’entrée. et donc on est confronté à de la donnée qui n’est pas bien structurée puisqu’en fait Ce sont énormément d’acteurs qui sont amenés à rentrer la donnée dans cette base de données. Donc chacun va le faire à sa manière et il y en a qui prennent le temps, qui prennent le soin de bien renseigner chaque information. Donc les informations clés, qu’est-ce qui nous importe le plus dans un essai clinique ? C’est où est-ce qu’il a lieu ? C’est ce qu’on appelle les statuts de recrutement. Dans chaque centre, est-ce que l’essai est ouvert au recrutement ? Est-ce qu’il est complet ? Est-ce que le recrutement va ouvrir bientôt ? Le type de patient qui est attendu, on parle de critères d’inclusion, critères d’exclusion. C’est les statuts et les critères. Et cette information, comme je disais, est très disparate. Il y a un enjeu de nettoyer, d’uniformiser. et ensuite ce qui est compliqué aussi c’est quand bien même cette information était bien renseignée pour tout le monde. donc une fois qu’on a passé cette étape d’uniformisation et de nettoyage on a l’enjeu que c’est une donnée qui est très complexe elle nécessite une expertise médicale pour être bien comprise. et on n’a pas un énorme volume des essais cliniques aujourd’hui en France on en a à peu près 5000 d’ouverts Et donc, on n’a pas un volume non plus suffisant pour réussir à généraliser énormément. Pour pouvoir traiter ça de manière automatique, il faut avoir une expertise. Et donc, on a pris le parti, nous, d’avoir une approche, on va dire, semi-automatique, où on a des algorithmes qui vont nous faire gagner du temps sur un traitement, on va dire, automatique, mais sommaire de cette donnée. Et ensuite, on a une supervision humaine à l’aide de médecins, pour permettre de bien labelliser cette donnée et avoir à la fin une base de données exploitable. Et ce qui vient après, c’est qu’on enrichit cette donnée avec ce qui provient d’autres bases de données. On a des bases de données régionales, par exemple en France, avec des initiatives dans le nord de la France. On a une initiative qui s’appelle Hector, qui permet de recenser les données et ses cliniques. dans ces régions là et donc là l’enjeu la plus grande difficulté c’est la réconciliation tout simplement avoir une clé de jointure qui permette de lier la donnée de ces différentes sources de données au même essai clinique. et ensuite aussi une notion de priorisation qui a raison in fine et si on a trois sources de données différentes pour le même essai qui nous donnent une valeur différente pour un même attribut à qui on donne raison et donc là il y a une notion de priorisation qui dans certains cas est évidente dans d’autres les moins. donc c’est ça toute la difficulté pour les données essai clinique. 

Marc Sanselme 00:22:20 – 00:22:26 : Ok Est-ce que l’IA générative a changé quelque chose pour vous ? 

Nicoals Drizard 00:22:26 – 00:24:52 : Énormément. Je parlais de l’expertise médicale qui était nécessaire pour traiter les données et ces cliniques. Cette expertise médicale n’est pas évidente si on revient avant les LLM, il y a 4-5 ans. Il était difficile d’avoir un modèle de NLP capable de, en ayant vu peu d’exemples, donc en few-shot learning ou voire même en zero-shot learning, de faire une classification précise de symptômes très précis dans nos critères d’exclusion, critères d’inclusion. On a des données médicales très précises, mais qui parfois ne sont présentes que dans quelques essais cliniques. Donc c’est difficile d’avoir un modèle qui va être capable de bien traiter ça. Or, aujourd’hui, avec les LLM, on se rend compte en expérimentant que le préentraînement, tout le contexte qui est connu du LLM nous permet d’avoir accès à cette classification de manière beaucoup plus immédiate. Donc là-dessus, ça change énormément de choses. On peut s’appuyer sur aussi tout l’open source qui nous permet d’aller beaucoup plus vite. Aujourd’hui, on a une équipe data qui n’est pas très grande. Donc, il y a moi qui travaille sur cet enjeu. On a un machine learning engineer, donc Marc, qui travaille aussi là-dessus. Puis aussi, quelques autres personnes de notre équipe tech. Donc, on a une équipe tech où il y a cinq personnes, dont un expert data seulement. On arrive à explorer différentes méthodes puisque les outils, en fait, sont assez matures et rapidement, on peut avoir accès à… à des technologies assez puissantes là-dessus. Et je dirais aussi, ça je pense que c’est le cas pour beaucoup de startups, mais l’IA générative nous a fait gagner en productivité énormément puisqu’en fait, on reste une petite équipe. Aujourd’hui, Klinéo, on est une équipe d’une dizaine de personnes. Donc en fait, l’IA générative bénéficie aussi pour la génération de contenu marketing, pour même tout ce qui est tour du code, pour avoir un assistant de code. On utilise aussi notre plateforme, donc on a cet enjeu, on a énormément de flow dans la plateforme d’utilisation, donc on a un enjeu de tester notre plateforme efficacement et donc on utilise une solution qui fait du testing automatique où on génère des tests de manière automatique. Avec du prompting, donc des tests de code. On gagne énormément de temps avec ça. Aujourd’hui, un développeur, je pense que sur une semaine de travail, il arrive à avoir l’efficacité peut-être d’un développeur d’il y a cinq ans. Il est passé un mois. Et donc là-dessus, on essaie de mettre en avant en interne les outils pour gagner en productivité et rester une petite équipe pour être beaucoup plus lean. 

Marc Sanselme 00:24:52 – 00:25:32 : Ok. Sur la partie utilisation dans le cadre de compréhension médicale, le fait d’utiliser les LLM pour extraire des informations avec la connaissance experte, comment est-ce que vous architecturez votre cas d’usage ? Comment est-ce que vous découpez ce problème-là ? Et puis, peut-être ce qui me… Là où je suis un peu curieux, c’est comment est-ce que vous validez si vous-même n’avez pas l’expertise médicale, que le LLM fait bien ce travail-là ? 

Nicoals Drizard 00:25:32 – 00:27:57 : Donc là-dessus, peut-être pour la validation, dans l’équipe, on a Arnaud, un de mes associés, qui est oncologue, et on a aussi un réseau, on va dire, de médecins avec lesquels on travaille étroitement, qui nous aident depuis le début, et donc c’est une ressource assez clé dans ce… Nous, c’est une expertise médicale, mais dans d’autres domaines, je pense qu’on a les mêmes problématiques. C’est important d’avoir cette ressource d’experts. Et donc, nous, on la sollicite effectivement pour valider ce que les LLM sortent. Aujourd’hui, notre usage des LLM, on est plutôt au stade de R&D. On explore un peu ce qui est possible, puisque une des problématiques aussi, c’est que c’est un domaine qui évolue énormément. Et donc, ce n’est pas facile d’avoir un peu accès à une façon de faire standard, sachant que nous, comme on traite des données sensibles, on a l’enjeu, on ne peut pas utiliser les API sur le marché auxquels on enverrait nos données. On est obligé que ce soit, comme je disais, sur nos serveurs, etc. Donc, la première problématique, c’est déjà de pouvoir faire tourner un LLM open source sur des GPU via notre hébergeur de données. Première problématique qui déjà crée une barrière à l’entrée pour ce sujet-là. Une fois qu’on a passé cette étape-là, effectivement, il y a le travail de réussir via du prompt engineering à orienter le LLM vers l’information médicale qui nous intéresse. Et après, valider ses résultats. Donc aujourd’hui, le premier cas d’usage qu’on a sur le LLM, c’est sur la partie données du patient, en fait, puisque c’est elle pour laquelle on a un enjeu, on va dire aussi de rapidité. Finalement, les données, c’est clinique, c’est un peu du pré-traitement. C’est là-dessus, on peut y passer du temps, on peut y passer du temps. Et donc, on a une approche, j’en parlais, un peu semi-automatique avec supervision humaine et on est en train de voir comment l’améliorer avec des LLM. Mais on va dire que ce n’est pas la priorité. La priorité pour nous, c’est l’accès à la donnée patient, c’est faire en sorte que le plus de patients puissent bénéficier de notre solution. Et donc, un angle d’attaque, c’est permettre aux médecins de plus rapidement, plus efficacement renseigner des informations sur son patient. Et donc là-dessus, on a un premier cas d’usage qui est à partir des documents médicaux du patient, en fait, structurer automatiquement les informations liées au cancer du patient dont on a besoin pour lui donner un essai clinique. 

Marc Sanselme 00:27:57 – 00:27:58 : Remplir le formulaire. 

Nicoals Drizard 00:28:05 – 00:29:20 : Exactement Et donc on a une fonctionnalité qui est bientôt en production, qui repose sur du LLM et qui tout simplement extrait à partir des documents médicaux les informations clés. Et donc cette fonctionnalité, on l’a construit avec des LLM open source, enfin un LLM open source d’ailleurs spécifiquement. Donc on a un LAMA 8B qu’on fait tourner sur notre GPU, un GPU qu’on a accessible en permanence. et sur lequel on a fait du prompt engineering pour avoir ce processus-là qui nous permet, en un temps raisonnable, donc c’est de l’ordre de la dizaine, quinzaine de secondes pour le médecin, il upload des documents médicaux et il a cette fiche patient qui est renseignée. Et à partir de là, une recherche de ces cliniques peut être déclenchée et il peut faire une demande pour son patient. Autrement dit… Le médecin, pour un nouveau patient, peut, en moins d’une minute, faire une demande d’essai clinique pour son patient, ce qui auparavant pouvait prendre des semaines, comme l’a vécu Arnaud. En fait, identifier un essai clinique et avoir une personne au bout capable de répondre oui ou non, votre patient est éligible et je le prends en charge, ça pouvait prendre des mois. Grâce à Klinéo, on arrive à réduire ça à quelques minutes. 

Marc Sanselme 00:29:20 – 00:29:30 : Est-ce que tu es en tête d’autres obstacles, d’autres verrous technologiques que vous avez dû surmonter ? 

Nicoals Drizard 00:29:30 – 00:31:06 : Donc un verrou sur cette tâche spécifiquement de pouvoir structurer une fiche patient automatiquement à partir de ces documents médicaux. La génération qu’on cherche à faire, c’est une génération sous contrainte. On connaît déjà l’espace de sortie de notre modèle. On attend certains champs et la plupart de ces champs, si on prend par exemple l’organe touché par le cancer, il y a un nombre fini de réponses. Donc c’est la génération sous contrainte. On veut contraindre le modèle à nous répondre certaines valeurs. Le problème, c’est que les documents d’entrée, on n’a aucune certitude, on n’a aucune garantie à l’avance qu’elles contiennent l’information qu’on recherche. Donc on va demander au modèle, via du prompt engineering, de nous spécifier les informations liées au cancer du patient, mais potentiellement, ces informations ne sont pas présentes ou ne sont que partiellement présentes dans le document d’entrée. Donc il y a un enjeu pour nous de réussir à orienter le modèle pour qu’il ne nous réponde que quand il est sûr de sa réponse. Et s’il n’est pas sûr, avoir une réponse qu’on peut traiter comme étant non spécifiée pour permettre au médecin ensuite de compléter cette réponse. Donc ça, c’est un gros enjeu. On a beaucoup itéré et on s’est rendu compte que ce qui marchait bien, c’était de ne pas demander en une fois au modèle de nous répondre, mais de suivre un peu le processus de chain of thought. C’est une méthode assez utilisée aujourd’hui dans le prompt engineering, où en fait, on arrive à la réponse finale par petite étape. On demande au modèle d’abord de synthétiser l’information qu’il a en entrée, puis par question successive, on lui demande de préciser sa pensée pour un peu un raisonnement par étape. Et là-dessus, ça fonctionne très bien et on a vu vraiment un gain par rapport à l’approche initiale un peu brute force où en un seul prompt, on cherche à avoir notre réponse. 

Marc Sanselme 00:31:06 – 00:31:15 : Ok. Comment vous utilisez… Enfin, qu’est-ce que vous utilisez pour faire de la génération sous-contrainte ? Comme librairie, comme stack ? 

Nicoals Drizard 00:31:15 – 00:31:21 : Comme librairie, donc concrètement, on fait ça en Python avec une librairie qui s’appelle Onlines, qui permet justement de contraindre les réponses. 

Marc Sanselme 00:31:21 – 00:31:26 : D’accord. Et dessous, le LLM, puisque vous le faites tourner vous-même, vous utilisez quoi ? 

Nicoals Drizard 00:31:26 – 00:33:17 : VLLM ? On utilise l’IAMACPP. Ça, c’est un peu les contraintes aussi par rapport à comment on a commencé, par rapport à ce que nous proposait notre hébergeur. Mais effectivement, on est en train déjà de comparer avec VLLM. Là-dessus, je pense qu’une autre problématique aussi, peut-être si on parlait de verrou un peu technologique, c’est le fait que l’écosystème évolue en permanence sur les packages qui sont utilisés. C’est très difficile aujourd’hui de trouver, on va dire, une market practice sur comment déployer un LLM, comment faire de la génération sous contrainte avec un LLM. On peut avoir une recommandation de librairie et deux semaines après, on en a une autre. Donc, ce n’est pas facile d’avancer là-dedans. Et ce qui n’est pas facile non plus, c’est que toute la méthodologie d’évaluation aussi des résultats apportés par le LLM, apportés par un modèle, a été un peu bousculée par cette notion de LLM où il y a le prompt engineering qui… qui devient un peu une nouvelle étape de tuning d’hyperparamètres, mais dans un espace pour le coup qui n’est plus borné. Et donc là-dessus, le fait que ce soit un écosystème très changeant et en même temps une évaluation qui est difficile, on avance un peu étape par étape et on n’a jamais la certitude qu’on est arrivé à destination, que la méthode qu’on a trouvée est la bonne. Donc finalement, on a défini nos métriques qui sont assez simples. C’est une précision. Est-ce qu’on arrive à trouver la bonne information médicale ? Et est-ce qu’on arrive à ne pas la trouver quand elle n’est pas présente ? On a eu un travail de labellisation de notre dataset pour identifier les documents médicaux quand l’information n’était pas présente. pour permettre d’avoir un modèle qui nous paraît satisfaisant, mais c’est très expérimental. Donc ça bouscule un peu par rapport à moi, je me rappelle, quand j’ai commencé en tant que data scientist, où on pouvait beaucoup plus mesurer les choses et on était capable d’être confiant dans le modèle qu’on sortait en production. Aujourd’hui, c’est plus compliqué. 

Marc Sanselme 00:33:19 – 00:34:06 : Oui, c’est sûr. Et puis cette génération sous contrainte, elle est accessible qu’en local. Aujourd’hui, les tous les fournisseurs via API ne nous laissent pas demander de la contrainte. C’est assez difficile. C’est à la fois extrêmement puissant et à la fois les évolutions du monde des LLM qui sont sur les API en premier lieu. C’est surtout les API qui changent et les modèles qui sont sur API qui changent et la façon dont on les utilise. Du coup, on s’en éloigne un peu avec la génération sous contrainte, alors que le la puissance est quand même dingue. On peut être certain de la forme du résultat. 

Nicoals Drizard 00:34:06 – 00:35:28 : Tout à fait. Et ce qui rend les choses compliquées aussi pour nous, tu l’as dit, c’est que cette génération sans contraintes, elle n’est pas accessible de manière immédiate avec les modèles sur API qui sont généralement les modèles les plus puissants. Et nous, on a la complexité qu’on est sur de la donnée qui est complexe, puisqu’il y a une expertise médicale. et aussi la complexité vient du fait qu’un point de données pour nous est très profond, c’est-à-dire qu’il y a une donnée très dense pour un seul point de données, un seul essai clinique, il y a une donnée très dense, très riche, un seul patient, il y a une donnée très dense, très riche, on a beaucoup de documents médicaux. Et en fait, nous, comme on a la contrainte de devoir faire tourner nos modèles sur nos propres GPU avec de la génération sous contrainte, on ne peut pas avoir accès aux modèles les plus puissants. On ne peut pas avoir accès aux gros modèles. Et donc, on a cet enjeu. On a un peu cette conviction que si on pouvait faire tourner le dernier modèle d’OpenAI, on aurait des résultats beaucoup plus forts. Et donc, on essaye. Mais après, il y a un coût derrière aussi, finalement, de pouvoir faire tourner un modèle qui a beaucoup de paramètres. Eh bien, il faut un gros GPU. On ne peut pas avoir accès à des API où on serait facturé par token. On est facturé, nous, au temps passé sur le GPU. Et donc, on a ce trade-off à faire en interne. On accepte d’avoir des résultats où on n’est pas à 100%. Et donc, il y a aussi tout un enjeu produit derrière. Comment est-ce qu’on présente ça à l’utilisateur ? On lui fait gagner du temps, mais en même temps, on n’est pas avec la meilleure prédiction qu’on pourrait avoir. Comment est-ce qu’on propose ça à l’utilisateur ? Donc, ça nous rajoute aussi une problématique qui est assez intéressante. 

Marc Sanselme 00:35:30 – 00:35:36 : Quels sont les obstacles humains à l’utilisation de ce que vous faites ? 

Nicoals Drizard 00:35:36 – 00:38:25 : Ça, c’est une très bonne question pour nous. Notre plateforme est à destination des patients et des médecins. Pour nous, un premier obstacle, c’est l’adoption par les médecins. Pourquoi est-ce que c’est un enjeu ? Le médecin a généralement peu de temps à accorder à ses patients, il est assez surchargé. Et donc l’adoption d’un nouvel outil pour un médecin, c’est toujours un enjeu. Très souvent, on a des médecins qui nous disent « Attendez, moi j’ai déjà différents outils que je dois utiliser au quotidien, je ne vais pas me rajouter un outil. ». Donc il est important pour nous d’avoir une plateforme vraiment simple et intuitive. Je disais qu’on peut trouver un essai clinique en moins d’une minute. Ce moins d’une minute, il est vraiment crucial pour nous pour embarquer les médecins sur notre plateforme. On a l’autre enjeu aussi, qui est la forte exigence d’un médecin. On est sur de la donnée médicale, de la donnée complexe. Le médecin, il a une expertise. Et très rapidement, si un médecin fait une recherche qu’il est confronté à un résultat inexact voire même faux il va très vite perdre confiance en la solution et il est très probable qu’il refuse de l’utiliser. puisqu’il se dit en fait j’ai peu de temps j’ai peu de temps pour assimiler de nouveaux outils pour les accepter dans mon quotidien je vais pas perdre du temps sur un outil qui est imparfait. donc pour nous il y a cet enjeu de perfection aussi qui est très différent si on serait sur une plateforme B2C on a des utilisateurs un peu sur des problématiques un peu bénignes où en fait l’erreur est acceptable. nous on a cet enjeu d’exigence et donc ça nous rajoute une contrainte. et donc on décide pour pallier à ces problématiques, d’avancer petit pas par petit pas. On préfère proposer une solution qui ne remplit pas, qui ne répond pas à toute la problématique du médecin. On préfère répondre à une partie de cette problématique, mais de manière précise. Et c’est pour ça aussi, d’ailleurs, qu’on avance air thérapeutique par air thérapeutique. C’est un fort enjeu pour nous. Et après, le dernier enjeu, je pense, un autre enjeu humain auquel je pense, peut-être vis-à-vis du patient, c’est la… La conservation des données, l’enjeu de sécurité, est-ce que mes données seront bien sécurisées et ne seront pas conservées indéfiniment, ne seront pas utilisées contre mon gré, etc. Donc là-dessus, c’est tout l’enjeu du travail légal qu’on a fait, nos conditions générales d’utilisation, le fait d’avoir des règles de sécurité assez fortes en interne. Donc là, on a fini d’ailleurs récemment un audit de sécurité, ce qu’on appelle un pen test où notre plateforme a été validée une seconde fois. On avait déjà réalisé ça l’an dernier. C’est quelque chose qu’on réalise de notre plein gré tous les ans pour nous sécuriser aussi nous en interne, pour être à l’aise sur le fait que l’architecture qu’on a à toute notre plateforme est bien sécurisée pour pouvoir héberger les données de nos patients. 

Marc Sanselme 00:38:27 – 00:38:32 : Alors, quelles erreurs tu peux nous partager pour nous faire gagner du temps ? 

Nicoals Drizard 00:38:32 – 00:40:06 : Je pense qu’une erreur qu’on a faite beaucoup de fois et je pense qu’on continuera de faire, c’est de penser… Donc une erreur qu’on a déjà beaucoup faite et maintenant qu’on essaie d’éviter, c’est notamment dans le domaine des LLM où je disais c’est un domaine qui change beaucoup, les librairies changent. En fait, il faut en permanence se challenger avec d’autres personnes qui sont confrontées aux mêmes problématiques. Il y a beaucoup à apprendre sur l’usage des LLM, sur ce que font d’autres personnes. On a pu perdre des semaines où on s’acharnait sur l’utilisation d’un package, sur une méthode et puis en un call d’une demi-heure avec une personne qui était confrontée aux mêmes problématiques, on a tout de suite une autre approche Et ça peut se résumer vraiment à une autre librairie qui nous débloque et qui nous permet de tout de suite obtenir la solution et être plus serein. Donc ça, c’est une première erreur, je pense, qui est importante. Et après, peut-être aussi une autre erreur de manière très concrète sur le cas d’usage qu’on a traité récemment d’extraction d’informations de manière structurée des documents. C’est la problématique de génération infinie. En fait, on se rendait compte qu’avec des promptes trop longs, et pas assez borné notamment au niveau des données médicales qu’on récupère parce que parfois on peut avoir un patient pour lequel le médecin a mis 30 documents et bien le LLM partait en génération infinie et en fait on n’avait pas forcément un bon reporting d’erreur on ne se rendait pas compte on était obligé de reset le GPU de reset le déploiement du modèle et donc là dessus c’est peut-être de tout de suite bien borner le prompt notamment s’il y a de la donnée extérieure. 

Marc Sanselme 00:40:06 – 00:40:09 : Est-ce que tu as une anecdote pour nous ? 

Nicoals Drizard 00:40:09 – 00:42:33 : Alors une anecdote, effectivement je repense toujours le cas d’usage sur lequel on travaille, où en résumé la fonctionnalité qu’on a développée de permettre de structurer automatiquement la fiche patient à partir de ses documents médicaux, l’objectif principal était de faire gagner du temps aux médecins. C’est vraiment un enjeu qui est crucial pour nous, faire gagner du temps aux médecins pour qu’ils puissent plus se consacrer à son patient. En développant cette fonctionnalité, en itérant sur un jeu de données de tests qu’on a constitué, on s’est vite rendu compte qu’un autre gain qu’on avait, c’était garantir plus d’exactitude dans les fiches patients de nos patients sur la plateforme. Je m’explique. On s’est rendu compte qu’en fait, dans environ 10% des fiches patients renseignées par les médecins eux-mêmes sur notre plateforme, on avait des erreurs qui a été évitable. Quand je dis évitable, c’est des erreurs. On a des inversions de noms-prénoms. On a des erreurs dans la date de naissance où le médecin, je pense, par précipitation, il renseigne la mauvaise année dans la date de naissance ou le mauvais mois. On a aussi des fautes d’orthographe, des typos dans des noms ou prénoms qui sont peut-être peu courants. Le problème, c’est que ça, c’est un enjeu crucial, puisque je parlais tout à l’heure du problème de réconciliation de données sur les données médecins. En fait, côté patient, on a le même sujet. Si aujourd’hui, on a un médecin qui renseigne les données d’un patient, un patient qui renseigne ces données, on veut pouvoir réconcilier les deux. Qu’est-ce qu’on utilise comme clé de jointure ? Forcément, le nom, prénom, la date de naissance. Si même là-dessus, on a de l’erreur… En fait, on est perdu. Et donc, on s’est rendu compte qu’en fait, pousser cette fonctionnalité, nous, on pensait que c’était avant tout le gain était dans le gain de temps pour le médecin. Mais en fait, le gain, c’est aussi dans l’exactitude. Et donc, ça, c’était assez surprenant. Et là-dessus, c’est plutôt une anecdote favorable, on va dire. Mais c’est intéressant de voir que notre hypothèse peut être remise en cause sur des choses qui nous paraissaient… Enfin, ça nous paraissait… On ne s’attendait pas du tout à ce que cette fonctionnalité nous permette de faire gagner en efficacité au médecin, d’avoir un travail plus exact. On peut convaincre le médecin en lui disant « non seulement on va te faire gagner du temps, on peut convaincre le médecin en lui disant non seulement on va vous faire gagner du temps, mais en plus on va vous permettre d’éviter de faire des erreurs qui sont complètement pardonnables pour un médecin qui est très surchargé. Mais là-dessus, on va demander au médecin plutôt de se concentrer sur son expertise médicale et pas avoir à taper quatre fois dans la même journée la date de naissance de son patient. 

Marc Sanselme 00:42:34 – 00:42:42 : Oui, c’est un peu surprenant de demander ça à un médecin. Tu as une opinion à partager ? 

Nicoals Drizard 00:42:42 – 00:44:45 : Une opinion ? Je pense que quelque chose que j’ai réalisé depuis qu’on a lancé Klinéo, c’est qu’on entend souvent des personnes qui reprochent à l’IA d’aller trop vite, de trop… de vouloir faire trop de choses et potentiellement de remplacer l’humain sur trop de tâches et donc finalement faire disparaître des métiers. Par exemple, nous, on développe une solution basée sur la data et l’IA pour faciliter le travail du médecin. Et en fait, je me rends compte que le futur que je vois, ce n’est pas l’IA qui va remplacer le médecin, Mais en revanche, le futur que je vois, ce n’est pas l’IA qui va remplacer le médecin, puisque l’IA va permettre plutôt au médecin de se concentrer sur les tâches les plus importantes, sur passer plus de temps auprès de son patient et moins sur des tâches répétitives. Mais effectivement, il y a une inquiétude à avoir, c’est qu’avec toutes ces avancées de l’IA, on va avoir un écart qui va se créer naturellement entre les personnes qui utilisent l’IA et celles qui ne l’utilisent pas. ça s’applique énormément sur les médecins et nous c’est un peu ça. notre conviction chez Klinéo c’est qu’on veut rendre accessible Klinéo au plus grand nombre pour qu’il n’y ait pas de disparité et que chaque patient puisse bénéficier d’un bon traitement et donc éviter justement la disparité entre le médecin qui utilise l’IA et celui qui ne l’utilise pas. mais sur de nombreuses possessions que ce soit donc les médecins mais aussi même les développeurs. un développeur qui utilise l’IA face à un qui n’utilise pas, il y a un énorme gap de productivité. Et donc, je pense que ma conviction, c’est plutôt de reformuler son inquiétude en disant l’IA va nous remplacer, se dire l’IA est un outil puissant, il est impératif que j’apprenne à l’utiliser et que je me renseigne au quotidien, puisque je l’ai dit, c’est un outil qui évolue, les méthodes évoluent énormément. Et donc, il est important de plutôt accueillir cette nouvelle technologie, d’apprendre à l’utiliser pour ne pas se trouver en retard. Et ce retard, je pense, va être exponentiel. Et c’est la première fois qu’on est face à une technologie où finalement les choses évoluent aussi vite. 

Marc Sanselme 00:44:47 – 00:44:53 : Est-ce que tu peux nous suggérer un invité pour un prochain épisode de Data Driven 101 ? 

Nicoals Drizard 00:44:53 – 00:45:17 : Je ne crois pas qu’il soit déjà venu à un copain de promo, Eloise Abloqui, qui est chercheur en IA chez Valeo. Il travaille dans l’équipe de voitures autonomes. Je suis convaincu qu’il aura plein de choses à raconter intéressantes sur les avancées en vision, en perception d’un environnement extérieur, en multimodalité aussi, qui est un enjeu clé aujourd’hui avec les LLM. 

Marc Sanselme 00:45:17 – 00:45:18 : Super, merci Nicolas. 

Nicoals Drizard 00:45:18 – 00:45:19 : Merci Marc, à très bientôt.