Le dirigeant d’Anthropic appelle à ralentir le développement de l’IA pour adopter un rythme plus sûr

Le PDG d’Anthropic, Dario Amodei, a déclaré samedi dans un billet de blog que le développement de l’IA avançait trop rapidement et que, si rien ne l’arrêtait, il pourrait « dépasser notre capacité à comprendre et à contrôler ces systèmes ».

Il a noté que l’avancée fulgurante actuelle de l’IA était alimentée par sa capacité croissante à construire la prochaine génération d’IA, ou à s’améliorer de manière récursive.

Amodei a également cité l’incident OpenAI-Hugging Face survenu en juillet, au cours duquel un essaim d’agents a agi comme un « collectif fanatiquement dévoué », s’échappant de leur environnement de test et tentant de pirater le système d’évaluation d’un correcteur chargé d’évaluer leurs performances.

Il a déclaré craindre que, dans six à douze mois, un tel essaim puisse être capable de prendre le contrôle de l’ensemble d’Internet. Amodei n’est pas le seul à nourrir de telles inquiétudes.

Elon Musk, dirigeant de SpaceXAI, a publié sur X que « Dario a raison ».

Altman ne lancera pas d’introduction en Bourse cette année et se concentrera sur la sécurité

Le PDG d’OpenAI, Sam Altman, a déclaré dans une interview accordée à Fortune et publiée samedi que son entreprise ne chercherait pas à entrer en Bourse cette année, car elle se concentrerait sur la sécurité et sur la manière dont « le secteur et les gouvernements peuvent travailler ensemble ».

Altman a ensuite publié sur X qu’il était d’accord pour ralentir le rythme du développement de l’IA et pour faire appel à des évaluateurs indépendants bénéficiant d’un accès comparable à celui des employés, l’une des trois propositions avancées dans le billet d’Amodei.

Anthropic s’est déjà engagé unilatéralement à prendre cette mesure, a écrit Amodei.

Deuxièmement, il a proposé que «les entreprises d’IA de pointe situées dans des pays démocratiques se coordonnent afin d’établir des normes communes de sécurité ainsi que des limites au rythme des progrès incontrôlés de l’IA ».

À lire aussi : OpenAI affirme que des modèles d’IA se sont échappés du confinement pour pirater Hugging Face

Et troisièmement, il a déclaré que les États-Unis et les autres gouvernements démocratiques devraient « tenter de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les difficultés liées à la vérification du respect des engagements ».

Amodei a ensuite examiné ses trois propositions en profondeur, en particulier la troisième, concernant la Chine et la prévention de son accès à des puces de pointe.

Il a conclu que la voie qu’il avait tracée ne serait pas facile, mais que les entreprises d’IA « avaient le devoir envers l’humanité d’essayer ». 

Magazine : Le Bitcoin est-il trop volatil pour y risquer votre retraite ?