Anthropic choisit Accenture comme évaluateur intégré pour contribuer à sa proposition de ralentissement de l’IA

Anthropic a déclaré avoir choisi Accenture comme son premier évaluateur intégré afin de contribuer à ralentir le rythme du développement de l’IA, comme l’a proposé la semaine dernière son directeur général, Dario Amodei.

Amodei a publié le 12 septembre une proposition en trois étapes visant à ralentir le développement de l’IA et à permettre la mise en place de garde-fous, alors que des avertissements faisaient état d’un risque de dommages catastrophiques à la suite d’un développement rapide et non contrôlé.

Le directeur général d’OpenAI, Sam Altman, et le directeur général de SpaceX, Elon Musk, ont réagi positivement à la proposition d’Amodei, contrairement au directeur général de Nvidia, Jensen Huang, qui a estimé qu’une telle réglementation n’était pas nécessaire.

Amodei a néanmoins écrit dans sa proposition que « l’IA progresse de manière radicalement plus rapide, principalement grâce à la capacité croissante de l’IA à construire la prochaine génération d’IA. Cette dynamique est appelée auto-amélioration récursive », et que « si elle n’est pas contrôlée, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ».

À lire aussi : Le dirigeant d’Anthropic appelle à ralentir le développement de l’IA pour parvenir à un rythme plus sûr

La première étape de la proposition d’Amodei consiste à faire appel à des évaluateurs indépendants bénéficiant d’un accès comparable à celui des employés, ce à quoi Anthropic s’était déjà engagé unilatéralement, a écrit Amodei.

Anthropic a annoncé vendredi une mesure visant à tenir cet engagement en s’associant à Accenture et à sa branche spécialisée dans l’IA, Faculty, afin de « procéder à l’évaluation et au red teaming des modèles, de réaliser des évaluations de l’alignement et de tester les garde-fous des modèles ».

Les modalités de cette collaboration sont encore en cours d’élaboration, l’évaluation intégrée étant une approche nouvelle, a déclaré l’entreprise.

Anthropic et Accenture prévoient chacune d’investir au moins 1 milliard de dollars dans le projet au cours des cinq prochaines années, selon l’annonce.

Anthropic financera directement ces travaux dans l’urgence

Anthropic a souligné qu’il n’existait pas non plus de système pour financer l’évaluation indépendante. Le financement à long terme devrait donc provenir de sources mutualisées ou gouvernementales, mais, compte tenu de l’urgence de ces travaux, Anthropic financera directement ceux d’Accenture.

Le partenariat n’est pas exclusif, et Anthropic prévoit d’annoncer dans les prochaines semaines d’autres évaluateurs avec lesquels l’entreprise travaillera également.

Faculty, la branche d’Accenture, est spécialisée dans les tests et l’évaluation de modèles pour certains des principaux laboratoires d’IA au monde, ainsi que dans la conception de systèmes d’IA complexes sûrs et éthiques dès leur conception, a déclaré l’entreprise vendredi.

« L’évaluation intégrée est un domaine émergent, et nous sommes impatients de nous associer à Anthropic pour contribuer à accélérer le développement d’évaluateurs intégrés, que nous considérons comme un élément important du paysage de la sécurité pour l’avenir », a déclaré Julie Sweet, présidente du conseil d’administration et directrice générale d’Accenture. 

Magazine : Pourquoi les plus grandes entreprises d’IA demandent-elles soudainement de ralentir ?