Un journalise a analysé 10 ans de données de santé avec ChatGPT Health
Voilà qu’au détour d’un tweet, j’en apprends de bien bonnes sur le docteur ChatGPT.
Qu’il ne serait pas capable de faire un véritable diagnostic, qu’il se tromperait, qu’il changerait d’avis au gré du vent, bref, qu’il ne serait qu’une sorte de charlatan. Hum ! Pas terrible tout ça ! On nous avait promis le docteur des docteurs, le médecins des médecins, le génie l’ordonnance. Au lieu de ça, chatGPT Health (puisque c’est de cela dont je parle, souvenez-vous de son lancement il y a deux semaines) serait, d’après une expérience tentée par un journaliste du Walshington Post (attention, c’est sérieux) un bien piètre diagnostiqueur.
Le bonhomme s’est essayé à demander son avis à l’intelligence artificielle et il a été quelque peu surpris par les résultats.
Après avoir téléchargé 10 ans de données de son Apple Watch (10 ans déjà ?) et tous ses dossiers médicaux dans la machine, le diagnostic a été sans appel : « Vous êtes au bord de la mort, Monsieur ! », brandissant un « F » qui veut dire foutu ! (F étant la plus mauvaise note que ChatGPT Health puisse attribuer à un patient concernant un problème de santé).
Un F qui devint ensuite un C, après une deuxième tentative, puis un B, la troisième fois.
De diagnostic aléatoire en…
Voilà un bien drôle de médecin, capable de réviser plusieurs fois de suite son avis à partir des mêmes données. D’autant que le diagnostic, selon des vrais experts, cette fois, qui ont épluché le mode d’analyse de ChatGPT Health se sont vite aperçus de sa légèreté et de son manque de sérieux. Un diagnostic basé sur des mauvaises données, « bruyantes et peu fiables », comme ils l’ont expliqué au journaliste.
Un tel résultat remettrait en doute n’importe quel explorateur des méandres de l’IA, mais notre homme voulant en avoir le cœur net se tourna alors vers le docteur Claude qui, pour lui fournir un diagnostic cohérent, ne lui préconisa pas plus de solutions réalistes, pratiques et précises à son état de santé, ce qu’il avait déjà pu reprocher à ChatGPT Health tout aussi incapable de fournir des recommandations réalistes. On reconnaîtra là une des faiblesses des IA génératives, souvent vagues, prolixes et répétitives dans les textes qu’elles fournissent habituellement.
… en recommandations peu pertinentes.
Je m’arrête là pour l’instant, mais vous m’avez compris. ChatGPT Health me semble encore être un de ces lancements à la va vite d’OpenAI pour tenter de trouver des sources de revenus nouvelles et compenser ses pertes d’exploitation abyssales. C’était la même chose avec Sora dont je vous parlais samedi, sorte d’expérience grandeur nature avec la génération de vidéo qui est en train de plonger, elle, dans les tréfonds des océans de ratage des l’histoire de la technologie.
Tout cela est très gênant et montre une fois de plus à quel point les méthodes d’une startup internationale aux dimensions gargantuesques, ayant connu la croissance la plus rapide de toute l’histoire du digital, joue avec la santé mentale et la santé tout court de ses utilisateurs, lance sur le marché des produits peu fiables, comme si le monde était un terrain d’expérimentation géant et que nous en étions tous les cobayes, parfois, et peut-être même souvent, avec des conséquences extrêmement gênantes.
Il y a chez OpenAI, une sorte de goujaterie à un niveau intergalactique qui place Sam Altman au même niveau qu’un Elon Musk, mais sans jamais en assumer ouvertement les conséquences. « Nous ne savions pas, nous n’avons pas fait exprès, ne vous inquiétons pas, nous allons vous payer, nous allons nommer un directeur de l’Éthique, etc… » OpenAI se comporte comme un cowboy : ell agit d’abord et paye les conséquences ensuite, et tant pis, si elles font du dégât. La puissance d’OpenAI est telle qu’elle peut se permettre de tout écraser sur son passage et réparer ensuite, si elle le veut bien, le tort qu’elle peut faire.
Je suis prêt à prendre le pari qu’une affaire désagréable liée à ChatGPT Health ressortira dans quelques semaines, où quelqu’un aura pris les mauvais médicaments suite à un mauvais diagnostic, ce genre de choses, et que Sam Altman ira s’en excuser, en disant qu’il n’a jamais voulu cela, qu’il est désolé, et que désormais, il fera tout pour que ça ne se reproduise pas.
Une légèreté bien coupable
Est-ce qu’on peut appeler ça de la légèreté ?
Oui, mais je pense qu’elle est poussé par une telle avidité de puissance, qu’elle continuera et qu’il serait vraiment temps qu’aux États-Unis on remette un peu d’éthique dans un entrepreneuriat épris de lui même, de sa puissance, de son argent, qui pense que tout lui est permis, du moment qu’il continue à prendre des parts de marché gigantesques et à tout écraser sur son passage. Sous des airs sympathique, ce capitalisme là est aussi sauvage que ses prédécesseurs du XIXème siècle et est souvent bien éloigné des bonnes intentions de départ de leurs fondateurs.
Souvenez-vous du « Don’t be evil » de Google. Qu’est-il devenu ?
Via The Wahington Post : A reliable doctor ? Not yet.
Laisser un commentaire