Avoiding Catastrophic Risks from Uncontrolled AI Agency with the Scientist AI - Yoshua Bengio

Description

Professor Yoshua Bengio of Université de Montréal call to shift from agentic competition to epistemic cooperation. His Scientist AI proposal envisions non-agentic systems—AIs functioning as predictors that model the world without implicit goals. Using Bayesian posteriors as “probabilistic oracles,” such models could assess risk while remaining fundamentally non-agentic, protecting researchers from loss of control and unintended behaviors. ----- Le professeur Yoshua Bengio, de l'Université de Montréal appele à passer d'une concurrence agentique à une coopération épistémique. Sa proposition Scientist AI envisage des systèmes non agentiques, c'est-à-dire des IA fonctionnant comme des prédicteurs qui modélisent le monde sans objectifs implicites. En utilisant les a posteriori bayésiens comme « oracles probabilistes », ces modèles pourraient évaluer les risques tout en restant fondamentalement non agentiques, protégeant ainsi les chercheurs contre la perte de contrôle et les comportements involontaires.