Démission de l’éthique à OpenAI

Jusqu’ici j’avais plutôt traité des risques liés à l’IA sous un angle sceptique quant aux plus hypothétiques. Il faisait peu de doutes pour moi que les discours les plus alarmistes étaient avant tout tenus par intérêt par des représentants d’un secteur vendant autant de vent que la Silicon Valley le fait d’habitude (et cherchant surtout à trouver un prétexte pour s’en voir offrir le monopole). Mais une nouvelle est en train de me faire carrément douter.

Démissions à la chaine juste alors que sors ChatGPT4o…

Les principales figures de la branche « superalignement »Au sens d’alignement des objectifs de l’IA avec ceux de l’espèce humaine, la branche cherchant à inculquer des notions d’éthiques aux modèles de langage, en gros. d’OpenAI ont démissionné à la suite de Ilya Sutskever, un des co-fondateurs de l’entreprise et son directeur scientifique, notamment Jan Leike le co-directeur de ce département et Daniel Kokotajlo un de leurs principaux éthicistesLes chercheurs travaillant sur l’alignement ont pour certains des profils d’informaticiens classiques, comme c’est le cas de Leike, pour d’autres sont des spécialistes de l’éthique comme Kokotaljo, philosophe de formation, ayant longtemps travaillé pour l’ONG Britannique Center on Long Term Risks. . Au moins ce dernier aurait renoncé à son bonus et ses participations dans OpenAI pour ne pas avoir à signer le Non Disparagement Agreement qu’OpenAI imposerait à ses ex-employésConditionnel car les versions de Kokotaljo et des journalistes disant le tenir de sources internes à l’entreprise contredisent celles de Sam Altman et autres dirigeants d’OpenAI, qui nient faire de la signature de ce NDA la condition pour qu’un démissionnaire puisse profiter de son private equity. , et a indiqué qu’il partait car ils ne faisait plus confiance à OpenAI pour se comporter de manière responsable au moment de l’atteinte de l’AGI, qu’il estime extrêmement proche. Jan Leike qui n’avait pas expliqué de son départ à l’origine, sans être aussi alarmiste quant à l’immédiateté du risque, a fini par laisser entendre la même chose quelques semaines plus tard (voir reproduction de son fil Twitter).

Sa formule, « safety culture and processes have taken a backseat to shiny products » semble parfaitement illustrée par la communication autour du dernier modèle de chatbot sorti par openAI, chatGPT4o, insistant presque autant que sur sa multi-modalité étendueLa principale nouveauté, un même générateur se charge de générer texte, images et sons plutôt que de transmettre des instructions à d'autres modèles génératifs pour le faire (ce qui euh...ne me semble pas vraiment changer grand chose aux résultats, mais c'est surement une révolution). sur la sensuelle voix féminineQui semble inspirée, si OpenAI dément avoir eu cette intention, de celle de Scarlett Johanson dans le film Her, ce qui amuse particulièrement ceux se rappelant qu’il s’agit d’une dystopie sur le thème d’une IA trop humanisée plutôt qu’un film positif à son sujet. qui a été donnée au chatbot pour l’humaniser encore d’avantageIl semblerait qu’en plus de la course vers des modèles de plus en plus puissants il y en ait désormais une vers des modèles plus en plus humanisés, les autres entreprises du secteur se mettant toutes à suivre le mauvais exemple donné par Grok de X.AI en la matière. et son attitude amicale pour ne pas dire aguicheuseTraduction de flirtyatous terme énormément employé par ses testeurs pour la décrire. avec ses utilisateurs, semblant directement inspirée des applications de type Virtual GirlfriendsSecteur en pleine explosion sur lequel je reviendrai surement dans un prochain article. comme Replika. Bien plus que sur les risques liés à la diffusion rapide d’un modèle réputéDur à vraiment établir, d’après ce que je lis sur les forums d’openAI eux mêmes ses testeurs constatent qu’il est plus rapide et verbeux dans ses réponses, mais sans que leur qualité ait beaucoup augmenté. plus puissant que tous les précédents, alors que les problèmes communs à tous, comme leur tendance à halluciner ou leur vulnérabilité aux jailbreaks n’ont évidemment toujours pas été fixés.

Une opération de communication qui peut être vue comme une étape de plus sur le chemin éloignant OpenAI de l’éthique dont ce groupe prétendait à l’origine se faire le champion, peut être pas le plus important, mais un clou de plus dans le cercueil de son image d’origine. Pour rappel OpenAI avait été fondée comme une structure à but non lucratif (nonprofit) se donnant pour mission de « démocratiser l’IA », et s’engageant à travailler en toute transparence, promettant à l’origine de diffuser ses modèles en open source pour en faire profiter toute l’humanité, avant de trahir ces engagements en concentrant sa recherche dans une branche commerciale déposant les brevets de ses technologies, ne développant plus que des modèles privés dont elle ne communique le code qu’aux multinationales comme Microsoft avec qui elle a développé des partenariats. Si elle cherche encore souvent à convaincre le monde qu’un souci des intérêts de l’humanité justifieraitQue ce serait en raison des risques de leur détournement par des acteurs malveillants qu’elle aurait renoncé à rendre ses modèles publics, que si elle cherche à se faire de l’argent c’est pour devancer ceux ayant moins de scrupules, etc. etc. cette volte face, de moins en moins sont dupes de ses bonnes intentions (au point pour certains de voir dans sa manière de « prostituer » son dernier chatbot un symbole de ce qu’elle fit déjà de ses principes).

Mais ce n’est pas tant de ce virage commercial initié il y a déjà longtempsLa fondation d'Open AI LLC la branche commerciale en question remontant à 2019. et jusque là accepté par euxEnfin il se dit que Ilya Sutskever comme d'autres membres du bureau initial auraient cherché à s'y opposer à l'origine, mais il avait fini par s'y résoudre depuis, et n'a fini par démissionner que cinq ans plus tard. dont se plaignent les partants, mais de risques potentiellement graves que feraient courir au monde les politiques d’OpenAI. En gros le risque qu’à force de développer et diffuser toujours plus rapidement des modèles toujours plus puissants et au fonctionnement incompréhensible même par ceux travaillant dessus elle en vienne à en diffuser de vraiment dangereux (parvenir à l’ASI sans le vouloir, et sans lui avoir posé les garde-fous nécessaires à en conserver le contrôle).

Les inquiétudes de Daniel Kokotajlo

Daniel Kokotaljo a posté ce comic d’XKCD en tête de son propre blog.

C’est au moins ce que répète dans ses contributions sur divers espaces de discussions consacrés à l’IA Daniel Kokotaljo, le plus locace des démissionnaires, d’autres étant bien plus mesurés, notamment Sutskever qui a très diplomatiquement dit qu’il faisait confianceCe qui semble quelque peu contredit par le fait, qu'il avait fait partie des initiateurs d'une espèce de putsch au sein du conseil l'entreprise, qui en avait temporairement évincé Altman il y a quelques mois, se justifiant justement par le peu de confiance qu'avait inspiré au conseil sa gestion de certaines découvertes, avant que sous la pression de Microsoft et autres investisseurs son poste de CEO lui soit finalement restitué. à Sam Altman pour guider l’entreprise de manière responsable dans sa lettre de démission.

Pour Kokotajlo en tout cas, l’AGI (et une AGI qu’il définit comme du niveau d’un spécialiste humain pour toutes les tâches éffectuables à distance, pas d’un humain juste dans la moyenne) pourrait être atteinte « à tout moment maintenant »Anyday now. et ceux qui atteindraient ce stade pourraient « en un an environ »One year give or take a year. passer de ce stade à celui de l’ASI, et s’ils parviennent à la contrôler en tirer un immense pouvoir, en développant avec son aide des technologies qui apparaitront « magiques » au reste de l’humanité, « comme les nôtres le seraient pour des humains du Moyen-Age ». Le problème s’ajoutant à cela étant qu’on ne sait absolument pas si on serait capables de garder cette IA sous contrôle, et qu’une entreprise comme OpenAI pourrait aboutir à une IA et de ce niveau et incontrôlable au hasard d’un test marchant trop bien, sans même l’avoir prévu.

ChatGPT5 tel que représenté lors d’une conférence OpenAI.

Clairement ce qui semble l’inquiéter quant à lui n’est pas la manière dont a été hâtée la sortie de GPT 4oQui apparait comme une réponse aux performances de Claude3 d'Anthropic, meilleures que celles de chatGPT4 dans la plupart des tests, et de la nouvelle version de Gemini par Google désormais directement intégrée à son moteur de recherches. ChatGPT4o serait avant tout une manière pour OpenAI de rester la star de l'IA, l'entreprise que les médias évoqueront le plus souvent à son sujet, plutôt que d'abandonner ce rôle à la concurrence., mais bien plus les plans d’OpenAI pour chatGPT5 (déployer probablement dans l’année qui vient un modèle utilisant une puissance de calcul au moins 50 fois supérieure aux précédents) ou les autres expériences que l’entreprise mène (comme le mystérieux projet Q*Selon la rumeur un modèle d'IA destiné à être bien plus efficient que les LLMs classiques pour la résolution de problèmes logiques ou mathématiques qui le rendrait particulièrement dangereux du fait de sa capacité à raisonner, et aurait été celui dont la gestion imprudente expliquerait la tentative de renvoi de Sam Altman. ou autres tentatives d’aboutir à une IA qui, sinon « pense vraiment », planifie ses actionsD'après ce que dit Yann Le Cunn de Meta (qui aime bien spoiler le grand public sur ce genre de sujets) sur les recherches en cours dans tous les grands groupes du secteur, la prochaine étape sur laquelle ils travailleraient le plus consisterait à doter les IAs d'une capacité d'auto-planification (comme l'illustre d'ailleurs Claude3 d'Anthropic, le modèle le plus avancé à ce jour, dont l'efficacité repose sur sa capacité à découper une tâche en une succession de plus petites pour mieux la traiter ; s'il serait encore très loin du niveau de capacité de planification que la recherche en IA cherche à implémenter).). S’il n’a pas signé le Non Disparagement Agreement qu’on lui proposait à son départ, il reste soumis au Non Disclosure Agreement qu’il a signé à son entrée à OpenAI et ne peut donc pas trop entrer dans les détails, mais il insinue être inquiet de projets en cours dont il aurait pu assister au développement, tout en reprochant plus clairement à OpenAI de ne juste pas se soucier assez du type d’objections qu’il aurait cherché à soulever.

De quoi se poser des questions (?)

Autant dire que pour quelqu’un comme moi, voyant d’habitude les discours alarmistes sur l’IA comme une espèce de stratégie de communication des groupes concernés, visant avant tout à souligner les progrès mirobolants qu’ils promettent ou à convaincre les pouvoirs publics qu’ils sont assez soucieux des risques pour ne pas avoir à être régulés (voire se voir accorder le monopole d’une recherche qui ne le serait pas), il y a quelque chose de particulièrement inquiétant à voir quelqu’un tenir ce même discours alors qu’il démissionne d’une de ces entreprises, et en ayant en plus sacrifié ses intérêts financiers pour pouvoir la critiquer. J’ai du mal à complètement exclure l’hypothèse selon laquelle il pourrait s’agir d’un vrai lanceur d’alerte (ou au moins quelqu’un de sincèrement inquiet, croyant à ses prédictions, qu’elles s’avèrent erronées ou non).

Ceci étant dit il y a aussi pas mal d’éléments permettant de relativiser l’importance de ce que dit Kokotajlo.

Tout d’abord ce type de prédiction de sa part ne date pas de son départ d’OpenAI. Il semble avoir, quasiment depuis qu’il s’exprime sur le sujet, toujours été à la fois exagérément confiant quant au rythme des progrès en IA, et exagérément inquiet quant à ce à quoi ils pourraient aboutir, c’est en gros une incarnation de la tendance que le monde de l’IA appelle les doomers, ceux la faisant avant tout rimer avec risques à l’échelle de l’espèce humaine (et c’est sans doute ce profil qui avait conduit OpenAI à le recruter, pour avoir quelqu’un soulevant toujours l’hypothèse du pire dans son équipe consacrée à l’alignement). L’étape précédente de son parcours étant justement son passage par un institut consacré aux risques à long-terme pour l’espèce humaine, se souciant avant tout de ce pire. Au passage le nom même du Center on Long Term Risks, pourrait conduire à prendre ce que dit quelqu’un qui en émane avec des pincettes. S’il est difficile d’établir les liens exacts de celui ci avec la très douteuse école de pensée long termisteCourant idéologique porté par des philosophes comme Toby Ord, William McAskill et Nick Bostrom, prétendant se soucier du destin à très long terme de l'humanité, ce qui sert surtout de justification à ses adeptes pour ne pas se soucier de problèmes bien plus immédiats comme tous ceux relevant du social, ou pour prôner des choses comme le transhumanisme (rêve d'augmentation cybernétique et biologique de l'humanité proche de l'idéal eugénique) ou de donner priorité à la colonisation spatiale sur la préservation de ressources terrestres de toutes manières destinées à s'épuiser (et l'environnement, en conséquence). il fait clairement partie de l’écosystème de ceux qui s’en réclamentDont de nombreux milliardaires de la tech, tel Elon Musk une des principales célébrités à y faire souvent référence. et on le trouve par exemple souvent mentionné sur des sites consacrés à l’effective altruismMouvement faisant confiance à la générosité des super-riches pour résoudre les problèmes du monde en abandonnant à chaque génération une partie des fortunes constituées à des fondations caritatives, suivant l'exemple de personnalités comme Bill Gates ayant renoncé à la moitié de la sienne au profit de la Gates Foundation. Qui serait sympathique s'il ne s'agissait pas surtout pour beaucoup de ses participants d'une manière de justifier qu'on ne remette pas en cause la distribution des richesses elle même. qui est une autre des émanations de celle-ciSi les nombreuses personnalités adhérant aux principes de l'effective altruism n'adhèrent pas nécessairement à toutes les idées portées par le long-termism, on retrouve William McAskill comme principal inspirateur de ces deux courants (et qui pousse les milliardaires à plutôt consacrer leurs fondations à travailler sur de fumeuses inquiétudes à long terme qu'à résoudre des problèmes plus immédiats)..

Par ailleurs, étant philosophe plutôt qu’informaticien ou ingénieur de formation, Kokotajlo peut être un des moins bien placé pour estimer les exigences techniques du type d’Intelligence Artificielle dont il craint le développement. S’il semble avoir pas mal réfléchi au sujet aussi, on le voit souvent contredit dans les débats auxquels il participe par des gens ayant un background plus technique, qui ont tendance à insister d’avantage sur les limitations physiques de l’IA, sa consommation de ressources, la complexité des composants électroniques à produire pour elle, etc. Et ayant baigné la culture propre à Open AI, une entreprise qui pour des raisons de communication a évidemment tendance à promettre régulièrement d’immenses révolutions technologiques (y aboutissant parfois plus ou moins, mais bien plus rarement qu’elle en annonce) il a pu à force d’être entouré par des gens très affirmatifs à leur sujetComme Sam Altman lui même, qui prédit régulièrement une IA aboutissant à des révolutions scientifiques sans précédent. se mettre à surestimer la proximité de celles ci (tout en les associant à l’interprétation inquiète de leurs conséquences qu’il avait pu développer lors de son emploi précédent ou auprès de ceux à OpenAI restés fidèles à sa vision de l’époque où elle était une non profit, bien plus sensible aux risques liés à cette technologie). En prime travailler dans ce genre d’entreprises, c’est être quotidiennement en communication avec des IAs, ce qui ne peut que favoriser de croire en leur capacité de développer une forme de conscience, du fait de l’effet Eliza (on avait déjà vu par le passé, entre autres, un ingénieur de Google se convaincre qu’une des siennes avait atteint ce stadeEt alors qu'il s'agissait d'un modèle bien moins avancé que les actuels., et être démissionné suite aux interviews où il développait cette thèse). Kokotajlo, de ce que j’en ai lu, ne semble pas trop partir dans des considérations fumeuses sur la sentience des machines, mais il peut néanmoins être influencé par une croyance inconsciente qu’il aurait développé en la capacité des IAs de se doter d’une volonté propre.

Enfin il y a des questions de conflit de pouvoir au sein de l’entreprise qui pourraient aussi bien expliquer cette vague de départs que des inquiétudes réelles des participants sur un projet particulier de celle ci (si le conflit pourrait aussi résulter de telles inquiétudes). Le putsch avorté contre Sam Altman déjà évoqué plus haut, et le procès qu’Elon Musk, un des fondateurs et premiers sponsors d’OpenAI devenu depuis son pire ennemi, a intenté à l’entreprise (lui reprochant d’avoir renoncé à son principe de mettre l’IA au service de l’humanité en devenant une entreprise ne se souciant que de profit… comme les siennesC'est là où les arguments de Musk se heurtent quelque peu à son propre exemple. Le fondateur de X.AI n'étant pas nécessairement le mieux placé pour faire la leçon à sa concurrence.), semble avoir divisé son personnel en (au moins) deux camps. Ceux qui défendent aveuglément les politiques d’Altman, et ceux restés proches de la vision d’origine, voire de Musk en particulier (et on trouve justement quelques posts de Kokotajlo où il dresse un portrait plutôt flatteur d’Elon Musk, s’ils datent d’avant son évolution récente et sa gestion de Twitter on ne peut plus douteuse). On pourrait même imaginer avec un peu de complotisme qu’Elon Musk orchestre les polémiques divisant l’entreprise pour nuire à la clique de Sam Altman, quant à elle sous l’influence de Microsoft, et qu’il s’agirait avant tout pour ces deux partis d’intérêts financiers (quant à ceux qui abandonnent leurs bonus, rien ne dit qu’ils n’en recevront pas de plus gros des concurrents qu’ils rejoindront probablement), un conflit entre deux des GAXFAM et rien d’autre.

En conclusion…

Quand même en écrivant tout ça j’ai un peu le sentiment d’être en train de me chercher une bouée de sauvetage, pour ne pas trop me mettre à prendre en compte les inquiétudes qu’expriment les gens comme Kokotajlo (qui est très loin d’être le seul doomer que compte le monde de l’IA par ailleurs, ni même le premier à abandonner un poste chez un des leaders du secteur pour mieux mettre le monde en garde, le plus célèbre étant Geoffrey Hinton, un des chercheurs les plus cités sur le deep learning, qui lui avait démissionné de Google l’an passé). Justifier de ne pas trop penser contre moi même, l’idée que j’ai déjà de ce qui expliquerait les discours anxiogènes sur l’avenir de l’IA, et même quand des gens qui en sont a priori bien plus spécialistes que moi les soutiennent. Si je continue à avoir du mal à croire à leurs prédictions quant à la vitesse à laquelle on pourrait aboutir à une forme d’IA dangereuse à l’échelle de la survie de l’humanité, j’aurais du mal à trouver beaucoup d’arguments à leur opposer si on situe plutôt ce développement à l’horizon de quelques décennies (si on trouve beaucoup d’experts à ne pas adhérer au scénario « une poignée d’années avant l’ASI », on en trouve bien moins qui excluent qu’on aboutisse à l’AGI dans les 20 années à venir, qui pour la plupart n’excluent pas une arrivée à l’étape suivante encore plus rapide). Pas mal peuvent évidemment être influencés par les discours exagérément confiants du secteur s’expliquant par des raisons commerciales, ou pour ce qui est de l’arrivée à l’ASI de la confusion existant généralement dans l’esprit des gens entre celle ci et une « simple » AGI (ou avoir des définitions variables de celle ci, l’en rendant plus proche qu’elle le serait dans la mienne).

En tout cas une chose est certaine, si les entreprises du secteur se soucient actuellement en priorité d’y arriver avant la concurrence, ou de recueillir les investissements nécessaires, plutôt qu’à se préparer sérieusement aux risques qui pourraient en découler, il y a peu de chance que ça change beaucoup d’ici qu’on atteigne la ligne d’arrivée (sauf intervention du pouvoir politique pour leur imposer de revoir leurs priorités, voire les forcer à renoncer aux tests de tout nouveau modèle tant que des protocoles assez sérieux, évalués par une entité indépendante, ne seraient pas développés et mis en place pour les réduire). Mais vue l’inculture typique en matière technologique du personnel politique, et sa tendance à regarder avec des yeux béats toute avancée leur promettant des progrès dont ils pourraient s’attribuer les mérites, ça semble avoir terriblement peu de chances d’arriver (au moins tant qu’il n’y a pas de très forte pression de l’opinion pour ce genre de mesures).

Autant dire que quelques soient les raisons réelles de la démission de ceux qui les tiennent, et les exagérations qu’ils peuvent contenir, les discours inquiets sur l’avenir de l’IA, remplissent sans doute un rôle nécessaire.

Espérons quand même que ça finira plutôt comme ça (version complète du comic utilisé en bannière)

ps : quelques liens bonus :

•   sur la polémique dans la polémique entre OpenAI et Scarlett Johanson suite à l’utilisation d’une voix (au moins) très similaire à la sienne pour chatGPT4o
•  sketch de Saturday Night Live sur chatGPT4o
•  très intéressant débat sur la vitesse des progrès de l’IA et ses conséquences (sur l’emploi, la consommation d’énergie, etc.) auquel participe Kokotajlo
•  site du Center on Long Term Risks
•  la dernière chronique de Thibault Prévost sur l’intégration de Gemini au moteur de recherche Google
•  chronique du même sur l’idéologie long-termiste
•  les annonces faites lors de la dernière IO developer conference de Google
• xkcd comics (plein d’excellents sur des thèmes tech, et en licence creative commons)
• our world in data : AI Timeline – What do AI experts expect for the future ?
• interview portrait d’un des doomers les plus connus, Connor Leahy, le CEO de Conjecture.AI
  
• des versions et analyses très différentes du conflit de direction à OpenAI selon les sources
• très intéressante vidéo sur la vision du monde des milliardaires s’affrontant pour le contrôle de l’IA et de Sam Altman en particulier
• la chaine de Robert Miles, vidéaste spécialisé dans l’AI safety