CODE · À ÉGALITÉ
MBPP, écrire du code neuf
Jeu égal avec le spécialiste du code, à quelques points près. Détail →
Caractéristiques et scores publiés
Une application généraliste face à des spécialistes.
Les IA locales de même taille sont des spécialistes : l'une ne fait que du code, l'autre que des maths. SophIA couvre sept matières dans une seule application. Voici, matière par matière, où elle est devant, à égalité ou derrière. Les grands assistants en ligne sont beaucoup plus puissants en langage et en connaissances. La force de SophIA est ailleurs : elle est locale, vérifiable, honnête et personnalisable.
Mise à jour du 01 novembre 2026
Qui couvre quoi ?
Une seule application pour sept matières.
Pour obtenir une couverture comparable avec des spécialistes, il faudrait installer et faire tourner plusieurs modèles.
| Matière ou usage | SophIA | Qwen2.5-Coder-7B | Qwen2.5-Math |
|---|---|---|---|
| Mathématiques | ✓ | — | ✓ |
| Code | ✓ | ✓ | — |
| Français | ✓ | — | — |
| Histoire | ✓ | — | — |
| Sciences | ✓ | — | — |
| Géographie | ✓ | — | — |
| Religion — connaissances | ✓ | — | — |
Lecture du tableau : chaque modèle spécialiste n'est coché que dans son domaine principal ; aucun score n'est inventé là où nous n'avons pas de mesure.
Matière par matière
Devant, à égalité, derrière : nous disons les trois.
Pour les autres IA, les scores sont soit publiés par leurs éditeurs (code, problèmes rédigés), sur des variantes d'examen voisines, à quelques points près ; soit mesurés sur le même PC (exercices de manuel). Chaque barre part de 0.
MATHS · DEVANT
Exercices de manuel
Même examen, même correcteur, même PC : SophIA devant, avec le moins d'erreurs affirmées. Détail →
MATHS RÉDIGÉES · DANS LA FOURCHETTE
MGSM, problèmes en français
SophIA obtient 72,8 % le 10 octobre 2026 : dans la fourchette publiée du spécialiste. Détail →
HONNÊTETÉ · DEVANT
Erreurs affirmées
Sur les exercices de manuel : le nombre de réponses fausses données comme sûres. Détail →
Temps de réponse
Sur un PC portable sans carte graphique.
Sur la même machine, pour les mêmes exercices de manuel, SophIA répond en 0,44 seconde ; les deux autres IA locales en une à deux minutes.
Bulletin de SophIA
Les notes par matière, sur une même échelle.
Chaque barre part de 0 et va jusqu'à 20. Notes du bulletin du 10 octobre 2026, questions jamais vues et tests cachés. Les spécialistes n'ont pas de note dans ces matières : ils n'y répondent pas.
Ce qui a bougé
Une IA qui progresse, mesurée à chaque étape.
Les mêmes examens, rejoués après chaque changement. Un changement qui n'améliore pas les résultats sur les questions jamais vues n'est pas gardé.
| Mesure | Avant | Après | Quand | Détail |
|---|---|---|---|---|
| Français, note sur 20 | 4,7 | 15,9 (historique 10/10/2026) | 25/09 → 10/10 | voir → |
| Code, note sur 20 | 8,9 | 16,3 | 25/09 → 10/10 | voir → |
| Problèmes rédigés MGSM | 72,8 % | 72,8 % | 02/10 | voir → |
| Erreurs affirmées MGSM | 97 | 48 | 02/10 | voir → |
| Géographie, note sur 20 | 12,3 | 18,5 | 29/09 → 02/10 | voir → |
| 490 phrases évaluées, comprises | — | 272/490 | 02/10 | voir → |
| Exercices de code à tests cachés | 34/70 | 57/70 | en une semaine | voir → |
Dates en 2026. Sources : bulletins et mesures SophIA ; chaque ligne renvoie à la page du sujet, avec son graphique.
Continuer la lecture
Le détail par sujet
Mathématiquesexercices de manuel, problèmes rédigés→Codeécrire, modifier, comprendre une demande→Françaiscomprendre comme on parle→Culturehistoire, géographie, sciences, religion→Véritéerreurs affirmées, « je ne sais pas »→Comparaisonface aux autres IA de même taille→Contribuerle chemin d'une contribution→
Mesures du laboratoire · 01/11/2026
Les chiffres récents restent séparés des anciens examens.
La nuit du 31/10 au 01/11 a mesuré une autre partie de SophIA : le code et les voies de vérification. Ces résultats ne remplacent pas les scores MBPP, MGSM ou l'examen commun ci-dessus ; ils les complètent avec leur propre jeu et leur propre correcteur.
| Mesure | Avant | Après | Lecture |
|---|---|---|---|
| Épreuve code, 90 demandes | 37/90 | 45/90 | 9 gagnées, 1 perdue après réparation |
| Demandes de trace | 0/6 | 6/6 | la trace d'erreur n'est plus lue comme création de fichiers |
| Réglage, 48 demandes | 29/48 | 30/48 | deux essais supplémentaires le 01/11 |
| Changements <= 20 lignes | 26/54 | 32/54 | 59 % après jusqu'à 4 tentatives (10/11/2026) ; p = 0,03 |
Sources : TABLEAU_31_10.md, relevés du 31/10 et du 01/11 ; CHIFFRES_OFFICIELS_1011.md, mesure du 10/11. Les familles de test restent séparées pour ne pas fabriquer une moyenne.