Elle demande lequel
Si une phrase peut se lire de deux façons qui mènent à deux réponses différentes, elle propose les lectures possibles et ne calcule rien avant votre choix.
Vérité
Vérité : mieux vaut « je ne sais pas » qu'une erreur affirmée.
Une IA qui se trompe en ayant l'air sûre d'elle est plus dangereuse qu'une IA qui avoue ne pas savoir. Nous comptons donc à part les erreurs affirmées : les réponses fausses données comme sûres. C'est le chiffre que nous cherchons à faire baisser avant tous les autres.
Mise à jour du 5 novembre 2026
3erreurs affirmées sur 249 exercices de manuelcontre 20 et 53 pour deux IA locales, 27/09/2026
48erreurs affirmées sur 250 problèmes rédigésMGSM, 10 octobre 2026
85 %de nombres justes quand elle en affirme unMGSM, 10 octobre 2026
48erreurs affirmées sur 490 phrases évaluéespendant que la compréhension passait de 272/490
Exercices de manuel
Juste, faux, ou rien d'affirmé.
Chez les deux autres IA locales, toute réponse qui n'est pas juste est une erreur affirmée. SophIA laisse quelques exercices sans réponse chiffrée plutôt que d'inventer un nombre.
Ce que deviennent les exercices, par IA
Problèmes rédigés
Moins d'erreurs, en disant quand elle doute.
Sur les 250 problèmes rédigés de MGSM, les erreurs affirmées sont comptées à part le 10 octobre 2026. Quand SophIA n'arrive pas à une réponse sûre, elle le dit : « Je ne sais pas avec certitude. » Quand elle affirme un nombre, il est juste 85 % du temps.
Erreurs affirmées, sur 250 problèmes
Sciences du supérieur · mode prudent
Quand elle doute, elle vérifie avant d'affirmer.
Sur des questions de sciences très difficiles (licence à master), SophIA seule se trompe souvent. Depuis le 5 novembre 2026, quand son détecteur de doute s'allume, la même question est posée à Gemini : si les deux trouvent la même réponse finale, elle l'affirme ; sinon, elle dit qu'elle n'est pas sûre et donne les deux pistes. Les erreurs affirmées passent de 153 à 14 sur 269 questions.
Ce que deviennent 269 questions de sciences du supérieur
Ne pas deviner
Trois façons d'échouer, trois réponses honnêtes.
Quand SophIA ne peut pas répondre correctement, elle ne comble pas le vide en inventant. Elle dit pourquoi, et ce qu'il lui faudrait.
Elle demande la donnée manquante
« Combien de temps a duré ce trajet ? » plutôt qu'une vitesse inventée. Sur les 490 phrases évaluées, une donnée manquante bien demandée compte comme comprise.
Elle le dit
« Je ne sais pas » est compté comme un refus, pas comme une bonne réponse — mais jamais comme une erreur affirmée. Elle peut alors chercher une source et la citer.
Lire nos chiffres
Une note n'est pas une garantie.
Les questions du bulletin n'ont jamais été vues par SophIA ; elles sont écrites et corrigées par des IA extérieures. Le code est jugé par des tests cachés. Les examens publics permettent de comparer, avec prudence quand les variantes diffèrent.
Nous publions aussi ce qui va mal : les problèmes rédigés, la modification de gros fichiers, environ une réponse de culture sur cinq encore fausse.
Lire les limites →« Je ne sais pas avec certitude. »
Ce que SophIA répond à un problème rédigé quand elle n'est pas sûre, plutôt qu'un nombre au hasard.Continuer la lecture