La société d'intelligence artificielle Anthropic suggère une pause mondiale dans le développement des systèmes d'IA les plus puissants, car les modèles les plus récents commencent à montrer des signes de risque d'échapper au contrôle humain.

New York (AFP) - La société d'intelligence artificielle Anthropic a suggéré jeudi une pause mondiale dans la construction des systèmes d'IA les plus puissants, car les derniers modèles commencent à montrer des signes qu'ils pourraient échapper au contrôle humain.

L'entreprise basée à San Francisco, qui fabrique la famille de modèles d'IA Claude, a déclaré dans un rapport qu'un ralentissement mondial du développement de l'IA de pointe serait « probablement une bonne chose », mais a averti que si une seule entreprise s'arrêtait, ses concurrents prendraient simplement de l'avance.

« Nous pensons qu’il serait bon pour le monde d’avoir la possibilité de ralentir ou de suspendre temporairement le développement de l’IA de pointe afin de permettre aux structures sociétales et à la recherche en matière d’alignement de suivre le rythme des progrès technologiques », a-t-il été déclaré.

Selon Anthropic, une véritable pause dans les travaux impliquerait que plusieurs grandes entreprises d'IA dans plusieurs pays – notamment les États-Unis et la Chine – acceptent toutes de s'arrêter simultanément, selon des règles que chacun pourrait réellement vérifier.

Cette idée risque de se révéler quelque peu impopulaire auprès de personnalités comme Elon Musk, car l'entrée en bourse très attendue de sa société SpaceX – qui possède sa filiale d'intelligence artificielle xAI – devrait faire de lui le premier trillionnaire au monde.

« Sans mécanisme de coordination mondial, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité, tout en étant soumis à des pressions concurrentielles et géopolitiques », a déclaré Anthropic.

L'entreprise s'est heurtée à l'opposition d'autres acteurs du secteur – et de responsables de la Maison Blanche – qui affirment que son obsession pour les scénarios les plus pessimistes exagère les risques et constitue une stratégie visant à ralentir ses concurrents sous couvert de préoccupations sécuritaires.

La Maison Blanche a néanmoins reconnu la puissance du modèle Mythos de l'entreprise, qui n'a pas été mis à la disposition du grand public en raison de ses capacités en matière de cybersécurité et qui n'est actuellement déployé que dans un petit nombre d'organisations vérifiées.

Cette proposition se heurterait à une forte résistance à Washington et dans la Silicon Valley, où les responsables américains et les dirigeants du secteur technologique ont maintes fois affirmé que tout ralentissement du développement de l'IA risquait de donner à la Chine un avantage stratégique décisif dans ce que beaucoup considèrent comme la course technologique déterminante du siècle.

Le président américain Donald Trump a toutefois déclaré avoir discuté de la possibilité de coopérer avec la Chine sur les questions de sécurité liées à l'IA lors de sa récente visite à Pékin.

Trump a également signé cette semaine un décret qui autorise le gouvernement à effectuer un examen préliminaire, dans un délai de 30 jours, des modèles d'IA américains les plus puissants avant leur publication.

- « Rétrécissement du rôle humain » -

Anthropic a comparé le problème aux traités de contrôle des armements nucléaires, mais a déclaré qu'il serait encore plus difficile à maîtriser, car la formation d'une IA est beaucoup plus facile à dissimuler qu'un silo de missiles, et la tentation de poursuivre discrètement ses activités serait énorme.

« Vous voulez avoir la possibilité de lever le pied de l'accélérateur et d'appuyer sur le frein », a déclaré Jack Clark, cofondateur d'Anthropic, à l'émission Newsnight de la BBC jeudi.

« Actuellement, c'est comme si l'industrie de l'IA avait un accélérateur, mais pas de frein. »

L'entreprise a déclaré qu'elle prévoyait de réunir dans les prochains mois des représentants gouvernementaux, des scientifiques, des groupes de défense des droits et des entreprises concurrentes spécialisées dans l'IA afin de déterminer comment un tel système pourrait fonctionner.

Cet appel à la coordination intervient alors que des données internes montrent que l'IA accélère déjà considérablement son propre développement, a indiqué Anthropic.

Cette accélération crée une boucle de rétroaction qui, selon Anthropic, pourrait à terme mener à ce que les chercheurs appellent « l’auto-amélioration récursive ».

C'est l'idée d'un système d'IA capable d'apprendre par lui-même à devenir plus intelligent, sans grande intervention humaine.

« Nous n’en sommes pas encore là, et l’amélioration continue n’est pas inévitable », indique le rapport d’Anthropic, tout en ajoutant qu’elle pourrait survenir plus tôt que la plupart des gouvernements et des institutions ne le souhaitent.

« Les éléments recueillis suggèrent que le rôle de l’humain se réduit à chaque étape du processus de développement de l’IA », a déclaré l’entreprise.