Des classifieurs à raisonnement multimodal approchent la frontière à moindre coût et suggèrent deux axes de l’intelligence des modèles de langage

Résumé

Un évaluateur d’options en une passe renvoie une distribution sur un ensemble d’options arbitraire au coût d’un seul préremplissage [47], mais il ne peut pas mener d’inférence intermédiaire. Nous laissons un modèle de raisonnement post-entraîné mener à terme sa chaîne de pensée sur un texte ou une image, puis noter chaque option en une seule passe groupée, conditionnée par ce raisonnement : un classifieur à raisonnement multimodal dont la sortie est une distribution sur l’ensemble des options. Il en découle deux résultats. Premièrement, le raisonnement améliore le classifieur là où la réponse doit être inférée. Sur sept tâches réservées dont la réponse doit être inférée, le raisonnement élève la moyenne des tâches de Gemma 4 de 0,14 à 0,16 à chaque taille, de E2B à 31B, sur trois graines de raisonnement et, à 31B, sur les jeux de test complets. Après le même raisonnement, la décision notée dépasse la réponse du modèle lui-même de 0,014 à 0,038, chez Qwen3-VL comme chez Gemma 4, et ne demande aucune analyse; une lecture entraînée sur le raisonnement du modèle lui-même abaisse son erreur de calibration attendue d’environ 0,2 à 0,07, au prix de 0,015 de score sur le texte. À 31B, la décision notée égale ou dépasse la médiane de treize modèles de pointe hébergés sur l’une des sept tâches et s’en tient à moins de 0,02 sur trois autres, et aucun réglage de raisonnement de ces modèles n’atteint son exactitude à moindre coût. Deuxièmement, comme les mêmes exemples donnent une décision en une passe et une décision raisonnée, le classifieur sépare ce qu’apporte le raisonnement de ce qu’apporte la taille. Le raisonnement élève l’axe d’inférence de 0,09 à 0,19 et l’axe de classification (dix-huit tâches) d’au plus 0,03, et la différence appariée des deux déplacements exclut zéro à chaque taille; la taille déplace les deux axes, chez Gemma 4 comme chez Qwen3-VL. Sur les treize modèles de pointe, les deux axes sont corrélés à 0,90 sur le texte et à 0,39 sur les images, et un seul facteur domine leurs scores : d’un modèle à l’autre, les axes ne sont pas des formes d’intelligence distinctes, mais des effets séparables au sein d’un même modèle. L’apprentissage par renforcement du raisonnement, récompensé par la décision notée, déplace E4B de 0,01 à 0,03 sur l’axe d’inférence et d’environ 0,01 sur l’axe de classification en trois entraînements, tandis que le raisonnement s’allonge de deux à cinq fois, et la même recette ne gagne rien à 26B-A4B en 31 mises à jour; récompensée par le score logarithmique, la politique cesse de raisonner.

1 Introduction

Choisir dans un ensemble d’options connu ne demande aucun décodage : les options peuvent être notées par forçage de l’enseignant, et les regrouper derrière l’invite avec un masque d’attention par blocs les note toutes en une seule passe avant. Entraîné par entropie croisée sur l’ensemble des options, sur un mélange de tâches publiques, un tel évaluateur se transfère à des ensembles d’étiquettes inédits et y reste calibré [47]. Sa limite tient à sa structure en une passe. Réflexion désactivée, Gemma 4 31B obtient 0,510 sur GPQA Diamond [32], contre 0,93 pour le meilleur de treize modèles de pointe hébergés. L’incitation à la chaîne de pensée et le raisonnement entraîné par renforcement s’attaquent à cette classe de tâches [12, 40], mais un modèle de raisonnement renvoie une réponse échantillonnée, sans probabilité exploitable.

Nous combinons les deux, pour le texte et les images. Un modèle post-entraîné écrit sa chaîne de pensée jusqu’à fermer son bloc de réflexion; nous ajoutons ensuite la ligne d’amorce de la tâche et notons chaque option en une seule passe groupée. La sortie est une distribution sur l’ensemble des options, conditionnée par l’invite, l’image s’il y en a une, et le raisonnement. Réflexion désactivée, la méthode est le classifieur en une passe. Nous nous demandons si le classifieur atteint la frontière à coût égal, ce que le raisonnement fait à la calibration, si le raisonnement peut être entraîné avec la décision notée pour récompense et, puisque les mêmes exemples donnent une décision en une passe et une décision raisonnée, lesquelles des capacités d’un modèle sont déplacées par le raisonnement, par la taille et par l’entraînement.

Contributions.

  1. Un classifieur à raisonnement multimodal. Un raisonnement suivi d’une seule passe groupée de notation, avec le terminateur d’option adapté aux modèles post-entraînés (section 3). Sur sept tâches dont la réponse doit être inférée, le raisonnement élève la moyenne des tâches de 0,14 à 0,16 à chaque taille de Gemma 4, de E2B à 31B (section 5.1). Après le même raisonnement, la décision notée dépasse la réponse du modèle sur les tâches d’inférence à chaque taille et dans une seconde famille de modèles, Qwen3-VL, et ne demande aucune analyse (sections 5.3 et 5.4); une lecture entraînée sur le raisonnement du modèle lui-même abaisse l’ECE à 0,07, au prix d’une baisse du score sur le texte (section 5.5). À 31B, la décision notée égale ou dépasse la médiane des modèles de pointe hébergés (treize sur le texte, neuf sur les images) sur l’une des sept tâches et s’en tient à moins de 0,02 sur trois autres, et aucun réglage de raisonnement de ces modèles n’atteint son exactitude à moindre coût (section 5.2).
  2. Deux axes de l’intelligence. Les mêmes exemples donnent une décision en une passe et une décision raisonnée, de sorte que le classifieur mesure séparément ce qu’un modèle décide en une passe et ce qu’il infère en raisonnant. Le raisonnement déplace l’axe d’inférence et laisse l’axe de classification à moins de 0,03 à chaque taille; la taille déplace les deux, davantage l’inférence sur le texte et davantage la classification sur les images; sur les treize modèles de pointe, les axes sont corrélés à 0,90 sur le texte et à 0,39 sur les images (section 5.7).
  3. L’apprentissage par renforcement du raisonnement, avec la décision notée pour récompense. La récompense d’exactitude déplace E4B de 0,01 à 0,03 sur l’axe d’inférence textuel et d’environ 0,01 sur l’axe de classification en trois entraînements, avec un raisonnement deux à cinq fois plus long; la récompense par score logarithmique fait cesser de raisonner la politique (section 5.8). Les expériences prévues et leurs règles de décision sont énumérées à la section 5.10.

La notation d’options en une passe. Zhang [47] notent les options avec un masque d’attention par blocs et des identifiants de position propres à chaque option, si bien qu’une seule passe avant donne la log-vraisemblance exacte de chaque option; l’entropie croisée sur l’ensemble des options, sur 18 tâches, se transfère à 12 tâches réservées, avec une lecture par la tête LM ou une lecture scalaire apprise. Nous reprenons l’évaluateur, ses tâches, ses invites et ses métriques.

Raisonnement et calcul au moment du test. La chaîne de pensée [40] et l’apprentissage par renforcement à récompenses vérifiables [12, 21] améliorent l’exactitude sur les tâches à plusieurs étapes. Le budget forcing [27] règle le calcul au moment du test en terminant ou en prolongeant le bloc de réflexion; nous ne contraignons pas la longueur du raisonnement. L’autocohérence [38] retient la réponse majoritaire sur plusieurs chaînes échantillonnées; une décision notée permet de moyenner les distributions sur les options.

Modèles vision-langage. Gemma 4 [10] lit des images et du texte et raisonne avant de répondre grâce à un interrupteur dans son modèle de conversation. Les modèles contrastifs classent les images sans exemple en les appariant aux noms des étiquettes [31]. Les modèles vision-langage génératifs classent les images moins exactement que CLIP sur les bancs d’essai courants; noter chaque nom de classe par sa vraisemblance réduit l’écart sans le combler, et Zhang et al. [48] l’attribuent surtout à la fréquence d’une classe à l’entraînement. Les modèles CLIP dépassent aussi les modèles vision-langage construits sur leurs encodeurs d’images en classification fine à choix multiples [9], et, en notant chaque option par la somme de ses log-probabilités, Cooper et al. [7] trouvent les modèles contrastifs en tête sur la plupart des jeux de reconnaissance d’objets et de scènes, et les modèles couplés à un modèle de langage en tête sur les tâches qui demandent du raisonnement et des connaissances extérieures. Des modèles récents égalent ou dépassent les modèles de type CLIP sur plusieurs jeux de données [24], et une partie de l’écart rapporté vient d’étiquettes bruitées et de protocoles d’évaluation qui écartent les réponses hors de la liste des classes [18].

L’apprentissage par renforcement du raisonnement. REINFORCE avec une ligne de base « leave-one-out » [1, 19, 41] se passe de modèle de valeur; l’échantillonnage dynamique [44] ne garde que les invites dont les échantillons reçoivent des récompenses différentes. Les récompenses d’exactitude sont des règles de score impropres et produisent des modèles trop confiants [8]; Zhang [47] reproduisent l’effet dans un évaluateur en une passe entraîné par REINFORCE. RLCR ajoute un terme de Brier à la récompense d’un modèle qui verbalise sa confiance [8]. Pour les modèles de langage affinés par rétroaction humaine, la confiance verbalisée est en général mieux calibrée que les probabilités conditionnelles [36], et les modèles de raisonnement verbalisent une confiance mieux calibrée que leurs équivalents sans raisonnement [43]. Le CoT-decoding choisit le chemin de décodage dont la marge moyenne entre les deux jetons les plus probables aux positions de la réponse est la plus grande, marge plus élevée sur les chemins qui contiennent une chaîne de pensée [37]. DEER suscite une réponse d’essai aux points de transition de la chaîne de pensée d’un modèle de raisonnement et arrête le raisonnement dès que les probabilités des jetons de cette réponse dépassent un seuil [42]. VeriFree récompense une trace de raisonnement échantillonnée par la vraisemblance de la réponse de référence conditionnée par celle-ci [49], et RLPR par la probabilité moyenne des jetons de cette réponse [45]; notre récompense normalise les vraisemblances de toutes les options après le raisonnement.

3 Méthode

La réflexion. L’invite de tâche de Zhang [47], sans sa ligne d’amorce et suivie d’une consigne de répondre par une seule réponse de la liste, est le message utilisateur du modèle de conversation du modèle, après l’image pour les tâches sur images, réflexion activée. Le modèle échantillonne son raisonnement avec les réglages que ses développeurs fournissent pour ce mode, jusqu’à fermer son bloc de réflexion. Un déploiement hébergé des mêmes poids ouverts, fournisseurs fixés, génère le raisonnement de Gemma 4 31B; vLLM sur notre matériel [20] le génère pour les modèles plus petits (tableau 1). La fiche de Gemma 4 ne recommande aucune longueur de sortie; un plafond de 32 768 jetons arrête les chaînes emballées et a été atteint par 23 des 18 396 chaînes de E2B, 9 des 12 022 de 26B-A4B et aucune de celles de E4B et de 31B. Qwen3-VL génère jusqu’à la longueur de sortie que recommande sa fiche, 32 768 jetons sur le texte, 40 960 sur les images et 81 920 sur GPQA Diamond, atteinte par 47 des 12 022 chaînes du modèle 2B, 10 de celles du modèle 4B et 15 de celles du modèle 32B.

La notation. Après le bloc fermé, nous ajoutons la ligne d’amorce (« Answer: » ou « Label: ») et notons chaque option oi comme une continuation, en une seule passe groupée :

si=∑tlogPθ(oi,t∣x,r,c,oi,<t),pi=exp(si)∑jexp(sj)(1)

où x est l’invite mise en forme pour la conversation, r le raisonnement et c l’amorce. Réflexion désactivée, le modèle de conversation émet un bloc de réflexion vide, et la décision est celle du classifieur en une passe sur le modèle post-entraîné. Pour une tâche sur image, x contient les jetons de l’image. Le raisonnement est généré une fois; la passe de notation coûte un préremplissage des options, comme chez Zhang [47].

Le terminateur d’option. Zhang [47] rendent chaque option par une espace initiale, le texte de l’option et un saut de ligne noté. Un modèle post-entraîné termine une réponse d’une seule option par son jeton de fin de tour : dans le pilote Qwen3 (annexe C), le terminateur en saut de ligne laisse moins de 10−4 de la probabilité sur l’ensemble des options à chaque taille de 0.6B à 32B, et le jeton de fin de tour au moins 0,98. Nous notons avec le jeton de fin de tour.

Les lectures. La lecture par la tête LM (équation 1) ne demande aucun entraînement. La lecture scalaire si = w⊤hi de Zhang [47] lit l’état caché final au terminateur de l’option i; la section 5.5 l’entraîne sur le raisonnement du modèle lui-même avec l’entropie croisée sur l’ensemble des options, le raisonnement figé.

La réponse du modèle lui-même. La référence est le modèle utilisé comme le recommandent ses développeurs : la génération se poursuit au-delà de la fin du bloc de réflexion jusqu’à la fin du tour, et la réponse est appariée à une option selon le protocole de Zhang [47]; elle ne renvoie aucune probabilité. La décision notée et la réponse sont conditionnées par le même raisonnement.

L’apprentissage par renforcement du raisonnement. La politique est le modèle muni d’un adaptateur LoRA [15] de rang 16. Pour chaque invite, vLLM échantillonne G = 8 raisonnements de l’adaptateur courant; chacun est noté selon l’équation 1, et l’échantillon j reçoit la récompense

Rj=u(p(j),y)−w(Lj/s)k,(2)

où u est l’exactitude notée [arg maxi pi(j) = y], la probabilité de l’option correcte py(j) ou son logarithme, et Lj le nombre de jetons de raisonnement. Le terme de longueur est un coût par jeton, relatif entre les échantillons d’une même invite; la génération n’a pas d’autre budget que le plafond de sécurité. Le gradient est REINFORCE sur les jetons de raisonnement, avec la ligne de base « leave-one-out » Rj − (1/(G − 1)) Σl ≠ j Rl [1, 19] : une mise à jour par lot de 64 invites, sans terme KL, AdamW avec un taux d’apprentissage de 2 × 10−5 et le gradient écrêté à la norme 1. Avec l’échantillonnage dynamique [44], 3 × 64 invites sont tirées et les 64 premières dont les récompenses des échantillons diffèrent servent à l’entraînement. La lecture partage les poids de la politique, si bien qu’une mise à jour change aussi la façon dont les options sont notées après le raisonnement. Chaque échantillon, les scores de ses options et sa récompense sont enregistrés à chaque étape, et une sonde fixe d’invites inédites est notée toutes les 25 mises à jour.

4 Protocole expérimental

Modèles. Gemma 4 [10] E2B, E4B, 26B-A4B et 31B (tableau 1); les modèles de texte Qwen3 de 0.6B à 32B [30] forment le pilote. Les points de contrôle Thinking de Qwen3-VL [2] à 2B, 4B et 32B forment une seconde famille de modèles; ils n’ont pas de mode sans raisonnement et ne sont évalués qu’avec raisonnement. La notation s’exécute en bf16 sur une NVIDIA RTX PRO 6000 (96 Go) ou sur un DGX Spark; le raisonnement de Qwen3-VL 32B sur GPQA Diamond, jusqu’à 81 920 jetons, est noté sur une H200 NVL (141 Go), le masque d’attention de la passe groupée à cette longueur dépassant la mémoire du Spark.

modèleparamètresraisonnement généré parusage
Gemma 4 E2B, E4B2B, 4B effectifsvLLMévaluation; RL (E4B)
Gemma 4 26B-A4B26B, 4B actifsvLLMévaluation
Gemma 4 31B31Bhébergé (Friendli, Novita)évaluation; lecture entraînée
Qwen3-VL (Thinking)2B, 4B, 32BvLLMévaluation, raisonnement activé seulement
Qwen30.6B à 32BvLLMpilote
Tableau 1. Modèles : paramètres, origine du raisonnement et usage.

Tâches. Sept tâches réservées dont la réponse doit être inférée, avec des options qui changent d’un exemple à l’autre : BIG-Bench Hard [35] (ses 23 sous-tâches dotées d’un ensemble d’options, regroupées), MMLU-Pro [39], MuSR [34] et GPQA Diamond [32] (la réponse correcte et trois réponses incorrectes, dans un ordre tiré par question) en texte, et MMMU [46] (le jeu de validation, questions à une image), MathVista [26] (testmini, ses questions à choix multiples) et AI2D [17] avec une image. Comme tâches de classification, les douze tâches de texte réservées de Zhang [47] et six tâches sur images réservées, avec les noms des étiquettes pour options : EuroSAT [13], DTD [4], STL-10 [6], Oxford-IIIT Pets [29], Flowers-102 [28] et Rendered SST-2 [31]. Chaque tâche est évaluée sur les 500 premiers exemples de la permutation de test tirée de Zhang [47], et GPQA Diamond sur toutes ses questions; à 31B, les sept tâches d’inférence sont en outre évaluées sur leurs jeux de test complets (22 894 questions). Un exemple dont les options ne sont pas distinctes est exclu (2 des 198 de GPQA Diamond; 1 à 5 des 500 premiers de MuSR, MMMU, MathVista et AI2D; 1 à 17 par jeu de test complet), de même que 3 des 5 511 questions de BIG-Bench Hard, où le jeu de données coupe la réponse correcte à une virgule en plusieurs options lettrées, si bien qu’aucune option de la liste n’est correcte. Un échantillon de raisonnement par exemple; E2B, E4B et 31B ont deux graines de raisonnement de plus sur les tâches d’inférence, et E2B et E4B sur les tâches de classification.

Mélanges d’entraînement. La lecture entraînée et les entraînements par renforcement en classification utilisent le mélange d’entraînement de Zhang [47] (18 tâches de texte) et neuf tâches sur images. Le mélange d’inférence pour l’apprentissage par renforcement réunit AQuA-RAT [22], LogiQA 2.0 [23] et ScienceQA [25] (avec images), 5 000 ou 6 000 exemples d’entraînement chacun. Aucune des sept tâches d’inférence n’est dans un mélange d’entraînement, et aucune donnée GPQA n’est apprise. Deux proches voisins sont déclarés : MMLU-Pro prolonge MMLU, l’une des tâches réservées de l’article 1, et ScienceQA (entraînement) et AI2D (réservée) posent toutes deux des questions de sciences de niveau primaire sur des images.

Références. Treize modèles de pointe hébergés, les onze de Zhang [47], Claude Opus 5.5 et GPT-6.1 Sol, à leurs réglages de raisonnement par défaut, une réponse libre par exemple appariée selon le même protocole, sur les 100 premiers exemples de chaque tâche (GPQA Diamond : tous). L’ensemble est arrêté au 29 septembre 2026; les modèles publiés ensuite ne sont pas ajoutés. Le coût par décision est ce que la passerelle facture par requête.

Métriques et statistiques. Comme chez Zhang [47] : le macro-F1 là où les exemples partagent un ensemble d’étiquettes et l’exactitude là où les options changent d’un exemple à l’autre (toutes les tâches d’inférence), la moyenne des tâches pesant chaque tâche également; la NLL, le score de Brier, l’ECE top-1 sur 15 intervalles et l’AUROC de la confiance comme détecteur d’erreurs. Les différences entre deux prédictions sur les mêmes exemples portent un intervalle bootstrap apparié à 95 % (1 000 tirages, chacun rééchantillonnant les exemples de chaque tâche), sur la moyenne des tâches ou par tâche.

Calcul. La génération hébergée a coûté 31,30 $ pour le raisonnement et les réponses de 31B (4,02 $ pour un échantillon par exemple sur les sous-ensembles, 5,29 $ pour les échantillons supplémentaires, 4,06 $ pour les invites des arguments et de vérification, 14,39 $ pour les jeux de test complets, 3,34 $ pour le raisonnement sur le mélange d’entraînement de la lecture entraînée et 0,19 $ pour les pilotes), 122,34 $ pour les modèles de pointe à leurs réglages par défaut, 45,49 $ pour le balayage de leurs réglages et 54,48 $ pour les comparaisons sur 500 exemples, et 10,75 $ pour le raisonnement de Qwen3-VL 235B-A22B sur trois tâches de texte, une évaluation arrêtée pour le coût de sa notation. Les registres des tâches comptent 156 heures-GPU sur le DGX Spark, 80 sur des GPU Colab (RTX PRO 6000 ou A100) et 16 sur H100 80 Go, une borne inférieure, puisque certains environnements Colab ont pris fin avant que leurs registres ne soient copiés. Les GPU loués sur vast.ai ont coûté 92,66 $ : 6,06 $ pour deux instances RTX PRO 6000 (un pilote et la lecture le long du raisonnement), 82,42 $ pour les deux A100 de l’entraînement par renforcement de 26B-A4B et 4,18 $ pour la H200 qui a noté Qwen3-VL 32B sur GPQA Diamond. D’après leurs durées d’étape enregistrées, les seuls entraînements par renforcement de E4B ont pris 36 heures-GPU.

Changements au protocole. Les points suivants s’écartent des conventions partagées avec Zhang [47] ou ont été décidés après avoir vu des résultats. (i) Les sept tâches d’inférence ont été ajoutées après que les premiers résultats eurent montré un faible gain du raisonnement sur les tâches de classification; ces résultats sont conservés et rapportés. (ii) Les conventions demandent des jeux de test complets. Ils sont utilisés pour les résultats de 31B sur les tâches d’inférence (tableau 3); tous les autres résultats utilisent les sous-ensembles de 500 exemples, et les modèles de pointe les 100 premiers d’entre eux. (iii) Les conventions demandent trois graines pour chaque configuration phare. E2B, E4B et 31B ont trois graines de raisonnement sur les tâches d’inférence, et E2B et E4B sur les tâches de classification (tableaux 4 et 11), et l’entraînement par renforcement sur le mélange d’inférence a trois graines d’entraînement; 26B-A4B, 31B sur les tâches de classification, Qwen3-VL et les autres entraînements par renforcement en ont une. (iv) Les entraînements par renforcement ont été arrêtés ou modifiés en cours de route : l’entraînement en classification et l’entraînement en inférence sous récompense d’exactitude ont reçu un coût de longueur linéaire (w = 0,05, s = 1000, k = 1) à partir des étapes 131 et 91, et tous deux ont été arrêtés quand une étape a pris 35 minutes; les instantanés évalués (étapes 125 et 75) précèdent ce changement. (v) Les images dont l’encodage PNG dépasse 10 Mo sont envoyées aux modèles d’Anthropic en JPEG de qualité 95, la limite de taille du fournisseur. (vi) Sous l’invite des arguments (section 5.3), la réponse est aussi appariée sur sa dernière ligne, un écart au protocole de réponse de Zhang [47] employé avec cette seule invite. (vii) Les réglages de raisonnement des modèles de pointe ont été balayés sur les tâches d’inférence après que leurs résultats aux réglages par défaut eurent été vus (section 5.2). Les versions de Qwen3-235B et de DeepSeek V3.2 sur la passerelle ne raisonnent pas; la version à raisonnement de Qwen3-235B est le point « on » de sa famille, et celle de DeepSeek V3.2 n’a pas raisonné non plus, si bien que cette famille est un seul point. (viii) Claude Opus 5.5 puis GPT-6.1 Sol ont été ajoutés après que tous les autres résultats eurent été vus, sur les mêmes exemples et selon le même protocole. Lors d’un sondage, les réglages de raisonnement nommés d’Opus 5.5 n’ont pas changé son raisonnement (environ 75 jetons par question sur MMLU-Pro à chaque réglage), si bien que sa famille est un seul point; ceux de GPT-6.1 Sol l’ont changé, et ses réglages inférieurs au défaut ont été balayés comme en (vii). (ix) Dans l’entraînement par renforcement de 26B-A4B, le gradient de chaque échantillon est pris sur ses 16 000 premiers jetons (la passe d’entraînement d’un échantillon de 20 000 jetons dépasse un GPU de 80 Go); chaque jeton échantillonné compte toujours dans la récompense, et le journal consigne les échantillons coupés (un à l’étape 9).

5 Résultats

5.1 Le raisonnement aide là où la réponse doit être inférée

Sur les sept tâches d’inférence, le raisonnement élève la moyenne des tâches de la décision notée de 0,150 [0,129; 0,172] à E2B, 0,152 [0,130; 0,171] à E4B, 0,158 [0,142; 0,176] à 26B-A4B et 0,144 [0,129; 0,160] à 31B sur les sous-ensembles de 500 exemples, et chaque tâche gagne à chaque taille (tableau 2, figure 1). Sur trois graines de raisonnement, le gain est de 0,153, 0,151 et 0,146 à E2B, E4B et 31B, avec un écart entre graines d’au plus 0,005 (tableau 4). Sur les jeux de test complets à 31B, le gain est de 0,140 [0,126; 0,153] (tableau 3). Il est le plus grand sur GPQA Diamond (de 0,510 à 0,832) et BIG-Bench Hard (de 0,765 à 0,930), et son intervalle contient zéro sur AI2D (+0,003 [−0,008; +0,013]). L’exactitude sur chaque tâche, raisonnement désactivé et activé, se trouve dans l’intervalle bootstrap de son sous-ensemble. Sur les dix-huit tâches de classification, le gain est de 0,010 [0,000; 0,019], 0,024 [0,015; 0,031], 0,021 [0,014; 0,028] et 0,013 [0,007; 0,020], et six d’entre elles perdent à 31B (tableau 10, en annexe A); sur trois graines de raisonnement, il est de 0,006 à E2B et de 0,020 à E4B (tableau 11).

raisonnement activé, décision notéeraisonnement activé, réponse du modèleraisonnement désactivé, décision notée
Figure 1. Le raisonnement élève la moyenne des tâches de la décision notée d’environ 0,15 sur les tâches d’inférence et de 0,01 à 0,02 sur les tâches de classification, à chaque taille de Gemma 4; après le même raisonnement, la décision notée dépasse la réponse du modèle. Métrique principale (exactitude sur les tâches d’inférence; macro-F1 ou exactitude sur les tâches de classification), 500 exemples de test par tâche (GPQA Diamond : 196), un échantillon de raisonnement; tête LM non entraînée, terminateur de fin de tour. Choisissez un groupe de tâches, ou une tâche.
Gemma 4 E2BGemma 4 E4BGemma 4 26B-A4BGemma 4 31B
tâchedésactivéactivéréponsedésactivéactivéréponsedésactivéactivéréponsedésactivéactivéréponse
BIG-Bench Hard0,5320,8160,8140,5840,8540,8560,6760,9220,9200,7460,9380,936
MMLU-Pro0,3500,5240,5100,4760,6840,6420,6860,8320,8120,7340,8640,846
MuSR0,5490,6130,6130,5210,6090,6110,5850,6950,6950,5950,6790,679
GPQA Diamond0,2760,3830,3520,3570,5100,4740,4740,7450,6990,5100,8320,786
MMMU0,4380,5700,5520,5210,6530,6200,6400,8000,7330,7030,8160,796
MathVista0,4840,7070,6850,5880,7610,7110,7370,8920,7810,7630,8960,857
AI2D0,6150,6810,6730,7230,7660,7580,8200,8380,8140,8520,8840,878
moyenne0,4630,6130,6000,5390,6910,6670,6600,8180,7790,7000,8440,825
activé − désactivé+0,150 [+0,129; +0,172]+0,152 [+0,130; +0,171]+0,158 [+0,142; +0,176]+0,144 [+0,129; +0,160]
activé − réponse+0,014 [+0,008; +0,019]+0,023 [+0,016; +0,031]+0,038 [+0,030; +0,047]+0,019 [+0,011; +0,026]
Tableau 2. Tâches d’inférence : le raisonnement élève l’exactitude de la décision notée sur chaque tâche à chaque taille, et la décision notée dépasse la réponse après le même raisonnement sur la moyenne des tâches. Désactivé, activé : la décision notée réflexion désactivée et activée; réponse : la réponse du modèle après le même raisonnement. Lignes du bas : différences appariées de la moyenne des tâches, avec intervalles bootstrap à 95 %. 500 exemples de test par tâche, 196 pour GPQA Diamond; tête LM non entraînée.
tâcheexemplesdésactivéactivéréponseactivé − désactivéactivé − réponse
BIG-Bench Hard5 5070,7650,9300,929+0,165 [+0,154; +0,176]+0,001 [+0,000; +0,001]
MMLU-Pro12 0310,7200,8670,850+0,148 [+0,140; +0,155]+0,017 [+0,015; +0,019]
MuSR7520,6040,6890,688+0,085 [+0,057; +0,117]+0,001 [+0,000; +0,004]
GPQA Diamond1960,5100,8320,786+0,321 [+0,255; +0,393]+0,046 [+0,000; +0,087]
MMMU8000,6950,8210,814+0,126 [+0,097; +0,155]+0,008 [−0,003; +0,019]
MathVista5370,7640,8940,866+0,130 [+0,095; +0,168]+0,028 [+0,013; +0,045]
AI2D3 0710,8770,8800,876+0,003 [−0,008; +0,013]+0,003 [+0,001; +0,006]
moyenne0,7050,8450,830+0,140 [+0,126; +0,153]+0,015 [+0,008; +0,022]
Tableau 3. Gemma 4 31B sur les jeux de test complets des tâches d’inférence : le raisonnement élève la moyenne des tâches de 0,140, et après le même raisonnement la décision notée dépasse la réponse de 0,015. Désactivé, activé : la décision notée réflexion désactivée et activée; réponse : la réponse du modèle après le même raisonnement. Différences appariées avec intervalles bootstrap à 95 %; tête LM non entraînée, un échantillon de raisonnement.
tailledésactivéactivéréponseactivé − désactivéactivé − réponse
E2B0,4630,616 ± 0,0050,605 ± 0,0070,153 ± 0,0050,012 ± 0,002
E4B0,5390,690 ± 0,0030,666 ± 0,0040,151 ± 0,0030,024 ± 0,001
31B0,7000,846 ± 0,0050,826 ± 0,0040,146 ± 0,0050,021 ± 0,002
Tableau 4. Trois graines de raisonnement : le gain du raisonnement et l’écart avec la réponse tiennent d’une graine à l’autre à E2B, E4B et 31B. Moyennes sur les sept tâches d’inférence, moyenne ± écart-type de population sur trois graines de raisonnement; la décision sans raisonnement se fait en une passe et n’a pas de graine. 500 exemples de test par tâche, 196 pour GPQA Diamond; tête LM non entraînée.

En moyenne sur les sept tâches d’inférence, l’exactitude est de 0,90 à 0,94 dans les trois cinquièmes les plus courts du raisonnement de chaque tâche et de 0,658 [0,620; 0,693] dans le plus long, tandis que la confiance moyenne de la décision notée est d’au moins 0,99 dans chaque cinquième (figure 2). Cela concorde avec un raisonnement plus long qui signale des questions plus difficiles; la longueur n’est pas contrôlée. Par tâche, la longueur la plus exacte varie (figure 3) : environ 1 600 jetons sur GPQA Diamond et 640 sur MuSR, et de 170 à 450 jetons sur les cinq autres tâches. Sur MuSR, le raisonnement le plus court est moins exact que le sommet, au-delà des intervalles; sur GPQA Diamond, les intervalles se chevauchent. Fixer la question efface ces différences : avec trois échantillons de raisonnement par question (huit sur GPQA Diamond), l’échantillon le plus long d’une question est aussi exact que son plus court sur chaque tâche, −0,001 [−0,012; +0,010] sur la moyenne des tâches, alors que la longueur médiane de l’échantillon le plus long vaut de 1,5 à 2,8 fois celle du plus court. La longueur la plus exacte de chaque tâche est donc une propriété de ses questions : les questions plus difficiles appellent un raisonnement plus long, et un échantillon plus long d’une même question n’est pas plus exact.

exactitude notéeconfiance moyenneexactitude de chaque tâche
Figure 2. Gemma 4 31B, tâches d’inférence : l’exactitude tombe d’environ 0,9 à 0,66 dans le cinquième le plus long du raisonnement de chaque tâche, tandis que la confiance de la décision notée reste à 0,99 ou plus. Chaque échantillon de raisonnement d’une tâche, réparti par quintile de longueur au sein de la tâche (longueurs médianes de 146 à 1 100 jetons sur BIG-Bench Hard et de 654 à 5 729 sur GPQA Diamond); orange (exactitude) et bleu tireté (confiance) : la moyenne sur les sept tâches, avec son intervalle bootstrap à 95 %, en rééchantillonnant les questions; gris : l’exactitude de chaque tâche, que l’on peut faire ressortir; tête LM non entraînée.
Exactitude notéeraisonnement désactivé
raisonnement désactivé 0,5101 599
Figure 3. Gemma 4 31B : la longueur de raisonnement à laquelle la décision notée est la plus exacte varie selon la tâche, environ 1 600 jetons sur GPQA Diamond et 640 sur MuSR contre 170 à 450 sur les cinq autres tâches. Chaque échantillon de raisonnement réparti par longueur (environ 200 échantillons par intervalle, au moins quatre intervalles; trois échantillons par question, huit sur GPQA Diamond), chaque intervalle à sa longueur médiane avec son intervalle bootstrap à 95 %, en rééchantillonnant les questions; étoile : l’intervalle le plus exact; tireté : l’exactitude notée sans raisonnement; tête LM non entraînée; choisissez une tâche. Les intervalles comparent des questions différentes; au sein d’une question, les échantillons plus longs ne sont pas plus exacts (section 5.1).

5.2 Face à la frontière, à coût égal

Par tâche, l’intervalle de la décision notée de 31B chevauche celui du meilleur modèle de pointe sur BIG-Bench Hard, MMMU, MathVista et AI2D, et se trouve en dessous sur MMLU-Pro, MuSR, GPQA Diamond et les deux moyennes des tâches (figure 4). À leurs réglages par défaut, les modèles de pointe diffèrent par la quantité de raisonnement : Qwen3-235B, DeepSeek V3.2 et Claude Sonnet 4.6 ne raisonnent pas sur ces tâches, GPT-5 et Kimi K3 raisonnent pendant environ 1 500 jetons par question et Muse Spark 1.3 pendant environ 3 000. La figure 5 balaie donc chaque famille de modèles sur ses réglages de raisonnement nommés, et notre modèle sur le calcul au moment du test. Sur les tâches d’inférence textuelles, la décision notée atteint 0,840 à 0,00077 $ par décision. Aucun réglage d’aucune famille de pointe n’atteint cette exactitude à moindre coût : à peu près au même coût, GPT-5 à son réglage minimal obtient 0,582 et GLM-5.3 sans raisonnement 0,776; les réglages les moins chers au-dessus, GPT-6.1 Sol à ses réglages minimal et bas, obtiennent 0,906 et 0,911 pour 1,3 fois le coût. Sur les tâches d’inférence sur images, la décision notée atteint 0,857 à 0,00045 $; les réglages les moins chers au-dessus, GPT-6.1 Sol à ses réglages bas et minimal, obtiennent 0,903 et 0,910 pour 2,2 fois le coût. Le point le plus exact sur les deux est Claude Opus 5.5 à son réglage par défaut, 0,932 sur le texte et 0,933 sur les images, pour 7,6 et 15 fois notre coût. Moyenner nos distributions sur les options sur trois échantillons de raisonnement élève les moyennes des tâches à 0,852 et 0,863 pour trois fois le coût (section 5.6), sous les points les moins chers de GPT-6.1 Sol, à moindre coût. Les points ne portent pas d’intervalles; à 100 exemples par tâche, l’intervalle à 95 % d’une moyenne des tâches s’étend sur plusieurs points (figure 4), si bien que des points à moins de 0,03 les uns des autres ne sont pas ordonnés. Sur 500 exemples par tâche, les réglages de pointe les plus proches de la courbe au moment où la comparaison a été prévue (Kimi K3 à son réglage minimal, GPT-5 à bas et GPT-6 Astra à son réglage par défaut) coûtent de 6,6 à 9,5 fois plus par décision sur le texte et de 8,4 à 15 fois sur les images (tableau 5). La décision notée de 31B est à égalité avec GPT-5 à bas (texte +0,009 [−0,009; +0,028], images +0,004 [−0,013; +0,020]) et avec Kimi K3 sur le texte (−0,018 [−0,037; +0,001]), et en dessous de Kimi K3 sur les images (−0,034 [−0,050; −0,018]) et de GPT-6 Astra sur les deux (−0,081 et −0,072). Les deux réglages de Muse Spark 1.3 prévus ont été refusés par le fournisseur après la première tâche. Aucun de ces réglages n’est moins cher que la décision notée, si bien que la comparaison laisse inchangée l’affirmation sur le coût de la figure 5.

Raisonnement activé, face au meilleur modèle de pointe (Claude Opus 5.5) : sous son intervalle (−)

Claude Opus 5.5GPT-6 AstraGPT-6.1 SolKimi K3Muse Spark 1.3Claude Fable 5.1GPT-5Gemma 4 31B, raisonnement activéGemma 4 31B, sa réponseClaude Sonnet 5Qwen3-235B, raisonnement activéGLM-5.3gpt-oss-120bClaude Sonnet 4.6Gemma 4 31B, raisonnement désactivéQwen3-235BDeepSeek V3.2
Figure 4. Gemma 4 31B sur chaque tâche d’inférence face à treize modèles de pointe hébergés (en gris, dans l’ordre du classement; le meilleur nommé, son intervalle ombré) : sa réponse après raisonnement (en bleu), la décision notée sans (vide) et avec (pleine) raisonnement (en orange); choisissez une tâche ou une moyenne des tâches. Marques : notre intervalle avec raisonnement se trouve au-dessus (+), chevauche (=) ou se trouve en dessous (−) de celui du meilleur modèle. Les nôtres sur 500 exemples de test par tâche, les modèles de pointe sur les 100 premiers (GPQA Diamond : les 196 pour les deux); intervalles bootstrap à 95 %.
Gemma 4 31B (le nôtre)familles de pointe hébergées
1×2×3×raisonnement désactivéGemma 4 31B (le nôtre)
Figure 5. Courbes de Pareto sur les tâches d’inférence, texte ou images. Chaque famille de pointe (en gris) est une ligne qui passe par ses réglages de raisonnement nommés (par défaut, minimal, bas, moyen, élevé, désactivé, activé; la passerelle traduit chacun en commande du fournisseur, sans budget de jetons); Gemma 4 31B (le nôtre, en orange) est une ligne qui suit le calcul au moment du test : raisonnement désactivé, puis la moyenne des distributions sur les options de k échantillons de raisonnement (k×), chaque échantillon facturé. Exactitude moyenne des tâches sur les 100 premiers exemples de test (GPQA Diamond : 196) en fonction de la facturation hébergée moyenne par décision (prix de septembre 2026); notre passe de notation, un préremplissage des options sur notre matériel, n’est pas facturée.
texte (4 tâches)images (3 tâches)
modèle, réglageexactitudenous − euxUSDexactitudenous − euxUSD
Gemma 4 31B, notée (le nôtre)0,8280,000810,8650,00054
Kimi K3, minimal0,847−0,018 [−0,037; +0,001]0,005320,899−0,034 [−0,050; −0,018]0,00729
GPT-5, faible0,819+0,009 [−0,009; +0,028]0,006410,861+0,004 [−0,013; +0,020]0,00453
GPT-6 Astra, par défaut0,909−0,081 [−0,097; −0,064]0,007670,938−0,072 [−0,088; −0,056]0,00830
Tableau 5. Gemma 4 31B face aux réglages de pointe les plus proches de sa courbe de Pareto, sur les mêmes 500 exemples de test par tâche (GPQA Diamond : les 196) : exactitude moyenne des tâches des réponses appariées, différence appariée de notre décision notée avec son intervalle bootstrap à 95 %, et facturation hébergée moyenne par décision (la nôtre : la requête de raisonnement; la passe de notation n’est pas facturée).

5.3 La décision notée face à la réponse du modèle

Après le même raisonnement, la décision notée dépasse la réponse sur la moyenne des tâches d’inférence de 0,014 [0,008; 0,019] à E2B, 0,023 [0,016; 0,031] à E4B, 0,038 [0,030; 0,047] à 26B-A4B et 0,019 [0,011; 0,026] à 31B sur les sous-ensembles de 500 exemples (tableau 2; sur trois graines, 0,012, 0,024 et 0,021 à E2B, E4B et 31B, tableau 4), de 0,015 [0,008; 0,022] à 31B sur les jeux de test complets (tableau 3), et sur les tâches de classification de 0,001 à 0,006. À 26B-A4B, l’écart est le plus grand sur MathVista (0,892 contre 0,781) et MMMU (0,800 contre 0,733), où les réponses qui ne nomment aucune option en expliquent 0,014 et 0,018. Sur les jeux de test complets, l’intervalle par tâche exclut zéro sur MMLU-Pro (+0,017), MathVista (+0,028) et AI2D (+0,003), l’atteint sur GPQA Diamond (+0,046 [+0,000; +0,087]) et le contient sur MMMU (+0,008), dont l’intervalle sur le sous-ensemble l’excluait; sur BIG-Bench Hard et MuSR, les deux décisions diffèrent sur 4 des 5 507 et 1 des 752 questions. Sur MMLU-Pro, 127 des 12 031 réponses (1,1 %) ne nomment aucune option de la liste, contre 8 des 196 de GPQA Diamond (4,1 %) et au plus 0,5 % sur les autres tâches. Les deux décisions concordent sur 88 % (GPQA Diamond) à 99,9 % (BIG-Bench Hard et MuSR) des exemples. Sur GPQA Diamond, l’écart tient sur chacun des huit échantillons de raisonnement par question (de 0,046 à 0,087), dont l’exactitude notée sur un seul échantillon va de 0,832 à 0,872 (moyenne 0,852); l’échantillon rapporté est le plus bas des huit.

Une invite qui demande le meilleur argument en faveur de chaque option avant la décision (l’invite des arguments) a abaissé l’exactitude notée aux deux tailles sur les quatre tâches de classification les plus éloignées de la frontière : la moyenne est de 0,557 avec l’invite simple, 0,540 avec l’invite des arguments et 0,540 avec les arguments des cinq options que la lecture en une passe classe en tête à E4B, et de 0,626, 0,611 et 0,603 à 31B, avec deux à trois fois plus de raisonnement (tableau 13, en annexe B). Sous cette invite, E4B répète ses arguments dans la réponse visible, et l’appariement de Zhang [47], qui prend l’option la plus longue que nomme la réponse, tombe jusqu’à 0,112 sous la décision notée; apparier la dernière ligne de la réponse la ramène à moins de 0,028 sur chaque tâche. À 31B, au plus 7 % des réponses nomment une deuxième option. La décision notée ne demande aucune analyse.

5.4 Une seconde famille de modèles

Les points de contrôle Thinking de Qwen3-VL raisonnent toujours, si bien que la comparaison oppose la décision notée à la réponse après le même raisonnement (tableau 6; tâches de classification au tableau 12). Sur les sept tâches d’inférence, la décision notée dépasse la réponse de 0,061 [0,049; 0,072] à 2B, 0,045 [0,036; 0,055] à 4B et 0,014 [0,009; 0,018] à 32B. L’écart diminue avec la taille à mesure que se raréfient les réponses qui ne nomment aucune option de la liste : 8,4, 4,2 et 1,3 % des réponses (MMLU-Pro à 2B : 17,8 %; GPQA Diamond à 2B : 24,5 %); au plus 2,2 % en nomment deux ou plus. Sur GPQA Diamond, la décision notée atteint 0,474, 0,638 et 0,755, contre 0,342, 0,541 et 0,724 pour la réponse. Sur les dix-huit tâches de classification, l’écart est de 0,010 [0,008; 0,013], 0,003 [0,002; 0,005] et 0,001 [0,000; 0,003]. De 2B à 32B, la décision notée passe de 0,666 à 0,752 puis 0,820 sur les sept tâches d’inférence, et de 0,651 à 0,708 puis 0,750 sur les tâches de classification.

Qwen3-VL 2BQwen3-VL 4BQwen3-VL 32B
tâchenotéeréponsenotéeréponsenotéeréponse
BIG-Bench Hard0,8040,7840,8940,8680,9180,918
MMLU-Pro0,5960,4640,7120,6300,8240,794
MuSR0,5830,5670,6370,6350,6730,671
GPQA Diamond0,4740,3420,6380,5410,7550,724
MMMU0,6320,5720,7170,6750,7960,778
MathVista0,8210,7590,8610,7970,9140,900
AI2D0,7520,7520,8060,8040,8600,858
moyenne0,6660,6060,7520,7070,8200,806
notée − réponse+0,061 [+0,049; +0,072]+0,045 [+0,036; +0,055]+0,014 [+0,009; +0,018]
aucune option nommée0,0840,0420,013
Tableau 6. Qwen3-VL (points de contrôle Thinking, raisonnement activé), tâches d’inférence : la décision notée et la réponse après le même raisonnement; la part des réponses qui ne nomment aucune option de la liste. 500 exemples de test par tâche, 196 pour GPQA Diamond; tête LM non entraînée.

5.5 La calibration après le raisonnement

Le raisonnement élève la NLL de la lecture par la tête LM non entraînée à chaque taille, sur les deux groupes de tâches (tableau 7) : sur les tâches d’inférence, de 4,23 à 9,33 à E2B, de 2,35 à 5,58 à E4B, de 2,59 à 4,77 à 26B-A4B et de 2,67 à 3,88 à 31B. Il abaisse l’AUROC dans chaque case. L’ECE baisse avec le raisonnement sur les tâches d’inférence à E2B, 26B-A4B (de 0,295 à 0,182) et 31B (de 0,267 à 0,156), et monte ou reste stable dans les cinq autres cases.

NLLECEAUROC
tailletâchesdésactivéactivédésactivéactivédésactivéactivé
E2Binférence4,2259,3280,4270,3860,6700,612
E2Bclassification4,5669,2540,3430,3700,7320,644
E4Binférence2,3475,5750,3010,3060,7150,599
E4Bclassification2,0763,3730,2400,2730,7530,617
26B-A4Binférence2,5904,7720,2950,1820,7700,654
26B-A4Bclassification2,2495,5170,1970,2010,7970,701
31Binférence2,6723,8750,2670,1560,7990,746
31Bclassification2,4654,7260,1850,1840,7960,740
Tableau 7. Le raisonnement élève la NLL et abaisse l’AUROC de la lecture non entraînée à chaque taille. Moyennes sur les tâches d’inférence (7) et les tâches de classification (réservées, 18), réflexion désactivée et activée; tête LM non entraînée, terminateur de fin de tour.

La lecture scalaire entraînée sur le raisonnement du modèle 31B lui-même, sur le mélange d’entraînement de classification (une graine), abaisse l’ECE avec raisonnement de 0,195 à 0,069 sur les douze tâches de texte et de 0,162 à 0,067 sur les six tâches sur images, et élève l’AUROC de 0,704 à 0,768 et de 0,812 à 0,881 (tableau 8). Elle coûte du score sur le texte : −0,044 [−0,055; −0,030] sans raisonnement et −0,015 [−0,024; −0,005] avec; sur les tâches sur images, le score monte de 0,010 [0,002; 0,020] avec raisonnement. La calibration après le raisonnement vient donc de la lecture entraînée, au prix d’une baisse du score sur le texte. Sur les six tâches d’inférence, l’hypothèse selon laquelle cette lecture abaisse l’ECE sans abaisser l’exactitude au-delà de l’intervalle tient avec raisonnement et échoue sans. Avec raisonnement, son exactitude égale celle de la tête non entraînée (0,846 contre 0,846; différence appariée −0,000 [−0,006; 0,006], aucune tâche au-delà de son intervalle), tandis que l’ECE passe de 0,06–0,32 à 0,03–0,19, la NLL de 1,5–9,0 à 0,2–0,9, et que l’AUROC monte sur chaque tâche (MuSR de 0,573 à 0,708, MMLU-Pro de 0,773 à 0,897). Sans raisonnement, elle coûte 0,020 [0,006; 0,035] d’exactitude (MuSR gagne 0,064, les cinq autres perdent de 0,034 à 0,064) pour une ECE de 0,04–0,15 contre 0,14–0,39. Une lecture entraînée sur du raisonnement de classification sert les tâches d’inférence dès que le raisonnement est là; la décision en une passe sur ces tâches demanderait du raisonnement d’inférence à l’entraînement.

métrique principaleECEAUROC
tâchesraisonnementnon entraînéeentraînéedifférencenon entraînéeentraînéenon entraînéeentraînée
texte (12)désactivé0,7670,722−0,044 [−0,055; −0,030]0,2010,0710,7730,758
activé0,7790,765−0,015 [−0,024; −0,005]0,1950,0690,7040,768
images (6)désactivé0,8030,809+0,006 [−0,006; +0,017]0,1520,0630,8440,865
activé0,8170,827+0,010 [+0,002; +0,020]0,1620,0670,8120,881
Tableau 8. Gemma 4 31B : la lecture scalaire entraînée sur le raisonnement du modèle lui-même abaisse l’ECE à 0,07 et élève l’AUROC après raisonnement, et coûte 0,015 de score sur le texte avec raisonnement et 0,044 sans. Moyennes des tâches de classification; différence : entraînée moins non entraînée, intervalle bootstrap apparié à 95 %; une graine.

Raisonner en cas de doute. La décision en une passe s’accompagne d’une confiance, si bien que le raisonnement peut n’être dépensé que là où cette confiance est faible : un seuil sur la probabilité maximale en une passe envoie au raisonnement les exemples qui sont en dessous et garde la décision en une passe pour les autres. La figure 6 balaie le seuil et trace la part du gain du raisonnement que garde la politique en fonction de la part des exemples sur lesquels elle raisonne. La règle fixée à l’avance lit la courbe à la moitié des exemples. Avec la lecture entraînée, raisonner sur la moitié garde 0,95 du gain sur les tâches d’inférence textuelles (0,822 contre 0,680 sans raisonnement et 0,829 avec raisonnement systématique) et 0,97 sur les tâches d’inférence sur images (0,858 contre 0,744 et 0,862), pour 80 et 86 % de la facturation hébergée d’un raisonnement systématique (la requête en une passe sur chaque exemple et la requête de raisonnement sur les exemples retenus); sur les tâches de classification, elle garde 0,98 et 1,00. La tête non entraînée ne peut pas atteindre la moitié : sa probabilité maximale dépasse 0,99 sur la plupart des exemples, et sur les 18 % qu’elle envoie bel et bien au raisonnement, elle garde 0,51 du gain sur le texte. Avec la lecture entraînée, l’oracle qui raisonne exactement là où la décision en une passe se trompe raisonnerait sur 26 à 32 % des exemples d’inférence.

moitié : la règle fixée d’avance
raisonnésgain conservéexactitudedésactivé → activécoût
texte, lecture entraînée50 %0,950,8220,680 → 0,82980 %
images, lecture entraînée50 %0,970,8580,744 → 0,86386 %
texte, tête non entraînée100 %1,000,8270,692 → 0,827111 %
images, tête non entraînée100 %1,000,8650,773 → 0,865109 %

Coût : le coût hébergé de la politique (la requête en une passe sur chaque exemple, la requête de raisonnement sur ceux qui sont raisonnés), en part du raisonnement systématique.

Figure 6. Raisonner en cas de doute. Gemma 4 31B : la part du gain du raisonnement gardée en fonction de la part des exemples raisonnés, à mesure que le seuil sur la probabilité maximale en une passe balaie de 0 à 1, pour la tête non entraînée (en gris) et la lecture entraînée (en orange), sur les tâches de classification ou d’inférence, texte (trait plein) et images (pointillé); la ligne tiretée marque la moitié des exemples, la règle fixée à l’avance. Déplacez le curseur pour lire chaque courbe à une même part.

5.6 Moyenner des échantillons de raisonnement

Moyenner les distributions sur les options de plusieurs échantillons de raisonnement ne demande aucun entraînement. Sur les dix premières étapes de l’entraînement de E4B sous récompense d’exactitude (politique égale ou proche du modèle de base; 64 invites du mélange d’entraînement de classification, huit échantillons chacune), un échantillon est correct sur 0,653 des invites, la moyenne de deux distributions sur 0,664 et la moyenne de huit sur 0,672, contre 0,664 pour la majorité de huit réponses; sur 256 invites inédites, deux échantillons font passer 0,646 à 0,652. Ce sont des invites du mélange d’entraînement. Sur les tâches d’inférence réservées à 31B, avec trois échantillons de raisonnement par exemple, le résultat est nul. La moyenne des tâches des échantillons pris seuls est de 0,846, 0,843 et 0,851, un écart de 0,003; la moyenne des trois distributions gagne 0,005 [−0,001; 0,010] sur le premier échantillon, et choisir l’échantillon le plus confiant sous la lecture entraînée gagne 0,004 [−0,004; 0,011]. Après le raisonnement complet, la lecture non entraînée place au moins 0,99 sur son option en tête pour 99,8 % des questions, si bien que la moyenne de trois distributions revient à un vote entre trois décisions presque one-hot. Rééchantillonner seulement les 10 % de questions où la probabilité maximale de la lecture entraînée est la plus basse atteint l’exactitude de trois échantillons (0,851 contre 0,846) pour 1,2 fois le coût d’un seul; ce gain reste dans son intervalle. Sur GPQA Diamond, huit échantillons par question obtiennent seuls de 0,832 à 0,872 (moyenne 0,852); la moyenne des huit distributions obtient 0,847, et la moyenne de trois, en moyenne sur tous les sous-ensembles de trois graines, 0,859. Sous la lecture entraînée, la moyenne de trois garde l’ECE entre 0,03 et 0,16 : l’agrégation garde la distribution calibrée; à cette taille, elle n’élève pas l’exactitude (figure 8).

moyenne des distributions notéesmajorité des réponses
0,8440,8430,8500,8250,8290,837
Figure 8. Gemma 4 31B, tâches d’inférence : exactitude moyenne des tâches en fonction du nombre d’échantillons de raisonnement, pour la moyenne des distributions notées (en orange) et la majorité des réponses (en bleu); la moyenne des tâches ou une tâche.

Une deuxième passe de vérification. Le rappel top-2 de la lecture sur les tâches d’inférence est bien supérieur à son exactitude (MuSR 0,940 contre 0,679, GPQA Diamond 0,913 contre 0,832); nous avons donc demandé au modèle de raisonner une fois de plus sur les deux options les plus probables de sa première passe, avec l’invite des arguments de l’annexe B, puis noté les options. La deuxième passe seule obtient 0,850 sur les six tâches d’inférence contre 0,846 pour la première, pour 1,4 à 1,9 fois les jetons de raisonnement, et 0,832 sur GPQA Diamond contre 0,832 pour 1,5 fois; la moyenne des deux distributions, 0,849 et 0,827. Conditionnée par la confiance de la lecture entraînée, aucune tâche ne gagne au-delà de son intervalle. Les erreurs qui restent après une passe sont celles que le modèle répète quand on lui demande de choisir entre ses deux meilleures réponses.

La lecture le long du raisonnement. Pour un raisonnement enregistré par tâche (le premier, dans l’ordre du test, de 300 à 2 000 jetons), nous avons arrêté le raisonnement après chacun de ses jetons, fermé le bloc de réflexion et noté les options comme dans l’évaluation (figure 7). Sur MuSR et MathVista, la lecture est sur l’option correcte dès le premier jeton; sur BIG-Bench Hard, elle passe à l’option correcte à 165 jetons; sur GPQA Diamond, elle reste sur une option incorrecte tout du long, l’option correcte atteignant 0,37 vers 190 jetons. Dans chaque cas, la distribution est presque one-hot dans les 200 premiers jetons. Quatre questions décrivent le moment où la lecture s’engage; elles n’estiment pas à quelle fréquence.

l’option correcte: Combine in silico predictions with preliminary in vitro binding affinity assays to validate the most promising forms of Xantheraquin before extensive docking studies.la décision après le raisonnement complet: Analyze all tautomeric and chiral forms, but prioritize those forms that are most likely to be biologically active based on physicochemical properties.les autres options: Focus on Xantheraquin's pharmacokinetics and ADME (Absorption, Distribution, Metabolism, Excretion) properties, using molecular dynamics simulations to predict its behavior in a biological system. · Use the most stable chiral form of Xantheraquin, relying on quantum mechanical calculations to predict its interaction with the bacterial target.
Figure 7. Gemma 4 31B : la probabilité de chaque option sous la lecture non entraînée, le raisonnement arrêté après ses t premiers jetons, une question par tâche (la première, dans l’ordre du test, dont le raisonnement compte de 300 à 2 000 jetons); choisissez une question. Orange : l’option correcte; bleu : la décision après le raisonnement complet, là où elle est incorrecte; gris : les autres options. Le dernier point est la note que l’évaluation donne au raisonnement complet.

5.7 Deux axes de capacité

Les analyses factorielles des scores aux bancs d’essai trouvent, d’un modèle à l’autre, un facteur général et un facteur de raisonnement [3, 16, 33]. Nos tâches séparent les deux par construction, et la décision notée mesure les deux sur les mêmes exemples : la figure 9 place chaque modèle selon son score moyen sur les tâches de classification et sur les tâches d’inférence. Sur les treize modèles de pointe, les deux sont corrélés à 0,90 sur le texte (12 et 3 tâches; R2 de la droite ajustée 0,80) et à 0,39 sur les images (6 et 3 tâches; R2 0,15); Kimi K3 et GLM-5.3 se placent au-dessus de la droite du texte et Claude Sonnet 4.6 en dessous, au-delà de leurs intervalles bootstrap. Une décomposition des scores de pointe (chaque tâche standardisée sur les modèles) donne une composante dominante, 0,56 de la variance sur le texte [0,44; 0,76] sur les modèles et 0,43 sur les images, et une seconde dont les poids ne suivent pas la séparation entre inférence et classification (concordance des signes 0,67 sur le texte, test de permutation p = 0,40; 0,78 sur les images, p = 0,06) : d’un modèle à l’autre, les deux axes ne font qu’un facteur; ils se séparent au sein d’un modèle, sous une intervention. Avec GPQA Diamond comme quatrième tâche d’inférence textuelle (les entraînements par renforcement n’ont pas été évalués dessus), la corrélation reste de 0,90 et la différence des déplacements due au raisonnement va de 0,13 à 0,17. Au sein de Gemma 4, sur les mêmes exemples, activer le raisonnement élève l’axe d’inférence de 0,135 à 0,189 sur le texte et de 0,093 à 0,140 sur les images, et l’axe de classification d’au plus 0,026, et la différence appariée des deux déplacements exclut zéro à chaque taille. La taille déplace les deux axes : de E4B à 31B avec raisonnement, l’inférence gagne davantage sur le texte (0,111 contre 0,066) et la classification davantage sur les images (0,231 contre 0,139). Les trois entraînements par renforcement sous récompense d’exactitude de la section 5.8 déplacent l’axe d’inférence textuel de 0,012 à 0,021 et l’axe de classification de 0,005 à 0,014, l’entraînement à l’invite des arguments étant mesuré depuis le modèle non entraîné sous la même invite, dont les propres déplacements restent dans leurs intervalles (0,001 et 0,009); la différence appariée des deux déplacements reste dans son intervalle pour chaque entraînement, et sur les images chaque déplacement reste dans son intervalle. L’entraînement par échantillonnage de rejet de la section 5.8 ne déplace aucun des deux axes textuels (−0,003 et 0,008, dans leurs intervalles) et perd 0,023 [0,011; 0,035] en classification d’images. Sur des rééchantillonnages des tâches elles-mêmes (les tâches de chaque axe tirées avec remise, les exemples fixés) et pour chaque retrait d’une seule tâche, la différence des déplacements due au raisonnement reste positive à chaque taille, sur le texte comme sur les images, et la corrélation de pointe sur le texte reste entre 0,86 et 0,93; la différence des déplacements de l’échelle des tailles et celle des entraînements par renforcement ne se résolvent pas avec ce nombre de tâches. L’échelle de Qwen3-VL avec raisonnement déplace les deux axes à chaque palier, l’inférence textuelle de 0,087 [0,066; 0,113] et la classification de 0,055 [0,043; 0,065] de 2B à 4B, de 0,057 et 0,049 de 4B à 32B. L’entraînement dont la récompense par score logarithmique a fait cesser de raisonner la politique (section 5.8) va dans l’autre sens : réflexion activée, il obtient 0,534 sur l’axe d’inférence textuel contre 0,716 avant l’entraînement, un déplacement de −0,181 [−0,209; −0,155], et −0,032 sur l’axe de classification; sur les images, −0,126 et −0,014. Le raisonnement agit sur un axe et son retrait défait ce même axe; la taille agit sur les deux, et l’apprentissage par renforcement sous récompense d’exactitude à E4B déplace les deux d’environ un point.

Claude Fable 5.1GPT-6 AstraGemma 4 E2BGemma 4 E4BGemma 4 31BQwen3-VL 2BQwen3-VL 4BQwen3-VL 32BRL 4
Gemma 4 E4B, invite des argumentsRL 1RL 2RL 3RL 4RFT

modèles de pointe : Pearson 0,90, R² de la droite 0,80

Figure 9. Deux axes de capacité. Score moyen sur les tâches de classification réservées en fonction de l’exactitude moyenne sur les tâches d’inférence réservées, texte (12 et 3 tâches) ou images (6 et 3), intervalles bootstrap à 95 % sur les exemples; les modèles de pointe hébergés (en gris) à leurs réglages par défaut sur 100 exemples par tâche, avec la droite des moindres carrés; Gemma 4 (en orange) sur 500 exemples, du raisonnement désactivé (vide) à activé (plein), les tailles avec raisonnement (en pointillé), le E4B non entraîné sous l’invite des arguments (losange gris), et les quatre entraînements par renforcement de E4B (en bleu; RL 1 le mélange d’inférence à 75 mises à jour, RL 2 le mélange de classification à 125, RL 3 le mélange de classification sous l’invite des arguments à 200, tracé depuis le point de l’invite des arguments, RL 4 la récompense par score logarithmique, dont la politique a cessé de raisonner), l’affinage par échantillonnage de rejet sur les déroulés de RL 1 (croix bleue, RFT), et les tailles de Qwen3-VL avec raisonnement (losanges verts, reliés). Nommés : Claude Fable 5.1 et GPT-6 Astra; sur le texte, Fable obtient davantage en classification (0,814 contre 0,800) et GPT-6 Astra en inférence (0,917 contre 0,893), de part et d’autre de la droite, dans leurs intervalles.

5.8 L’apprentissage par renforcement du raisonnement

À E4B, 64 invites et huit échantillons par étape (équation 2), une graine chacun sauf mention contraire; un entraînement à 26B-A4B clôt cette section :

  • Récompense par score logarithmique. La politique cesse de raisonner : le raisonnement tombe d’environ 250 jetons par échantillon à zéro dès l’étape 25, et l’exactitude de la sonde baisse de 0,03 (figure 10). Après 200 mises à jour, la moyenne des tâches réservées est inférieure de 0,026 [0,019; 0,033] à celle du modèle non entraîné avec raisonnement, et la NLL et l’ECE valent 1,78 et 0,209 contre 3,37 et 0,273 (tableau 9). Sur les six tâches d’inférence, sur lesquelles il ne s’est pas entraîné, il raisonne pendant 51 jetons par exemple et obtient 0,154 [0,136; 0,172] de moins que le modèle non entraîné. Comme la lecture non entraînée est trop confiante après le raisonnement (section 5.5), nous interprétons l’effondrement comme la récompense propre qui préfère la décision moins confiante, sans raisonnement.
  • Récompense d’exactitude, mélange de classification. Après 125 mises à jour, la moyenne des tâches réservées est supérieure de 0,011 [0,004; 0,019], le raisonnement 5,5 fois plus long (de 252 à 1 387 jetons), la NLL de 3,43 et l’ECE de 0,281. La moyenne sur six tâches d’inférence, sur lesquelles l’entraînement ne s’est pas fait, est supérieure de 0,012 [0,000; 0,026].
  • Récompense d’exactitude, mélange d’inférence. Après 75 mises à jour, la moyenne sur six tâches d’inférence est supérieure de 0,014 [0,000; 0,028], avec un raisonnement de 857 à 1 591 jetons; la moyenne de classification est inchangée (+0,003 [−0,004; 0,010]). Deux graines d’entraînement de plus donnent 0,019 [0,006; 0,032] et 0,021 [0,008; 0,035] sur les tâches d’inférence (moyenne sur trois graines 0,018, écart-type 0,003), avec un raisonnement de 1 603 et 1 742 jetons, et 0,003 et 0,001 sur la moyenne de classification.
  • Récompense d’exactitude, invite des arguments. Donner une récompense nulle à un échantillon qui ne plaide pas pour chaque option présélectionnée donne le même gain sur les tâches réservées que l’invite simple, 0,011 [0,003; 0,019], et 0,020 [0,006; 0,035] sur les tâches d’inférence. Cet entraînement est évalué sous l’invite des arguments et le modèle non entraîné sous l’invite simple, si bien que son écart combine entraînement et invite. Le modèle non entraîné sous l’invite des arguments obtient 0,724 sur les trois tâches d’inférence textuelles contre 0,716 sous l’invite simple et 0,745 pour cet entraînement, et 0,739 sur les trois tâches sur images contre 0,727 et 0,737 : sur le texte, l’invite apporte 0,008 et l’entraînement 0,021 de plus; sur les images, l’invite apporte tout l’écart.
Figure 10. Apprentissage par renforcement à E4B : récompensée par le score logarithmique (en bleu), la politique cesse de raisonner en 25 étapes et l’exactitude de sa sonde baisse; récompensée par l’exactitude (orange : mélange de classification; vert : mélange d’inférence), l’exactitude de la sonde monte d’environ 0,02 tandis que le raisonnement s’allonge sans limite. En haut : variation de l’exactitude notée sur la sonde fixe de chaque entraînement (256 invites inédites de son mélange d’entraînement, deux échantillons chacune) depuis le début; en bas : jetons de raisonnement par échantillon, moyenne sur dix étapes.
entraînementtâchesaprès RL− non entraînéjetons de raisonnementNLLECEAUROC
récompense d’exactitude, mélange de classification, 125 mises à jourinférence (6)0,733+0,012 [+0,000; +0,026]1 9654,5180,2650,692
classification (18)0,682+0,011 [+0,004; +0,019]1 3873,4320,2810,688
récompense d’exactitude, mélange d’inférence, 75 mises à jourinférence (6)0,735+0,014 [+0,000; +0,028]1 5915,3620,2640,606
classification (18)0,674+0,003 [−0,004; +0,010]5093,8860,2890,591
récompense par score logarithmique, mélange de classification, 200 mises à jourinférence (6)0,567−0,154 [−0,172; −0,136]512,3140,2990,731
classification (18)0,645−0,026 [−0,033; −0,019]01,7750,2090,760
récompense d’exactitude, invite des arguments, 200 mises à jourinférence (6)0,741+0,020 [+0,006; +0,035]1 5965,0700,2590,658
classification (18)0,682+0,011 [+0,003; +0,019]9064,3100,2940,659
Tableau 9. Apprentissage par renforcement à E4B, une graine chacun : la récompense d’exactitude élève la moyenne des tâches réservées d’environ 0,01 avec un raisonnement plus long; la récompense par score logarithmique l’abaisse et supprime le raisonnement. Après l’AR : moyenne des tâches de la métrique principale avec le propre raisonnement de l’entraînement; − non entraîné : différence appariée avec le modèle non entraîné, avec raisonnement et l’invite simple, intervalle bootstrap à 95 %; 500 exemples de test par tâche.

GPQA Diamond n’a pas été évalué pour les entraînements par renforcement. Sous la récompense d’exactitude, le raisonnement s’est allongé sur les deux mélanges jusqu’à ce qu’une étape prenne 35 minutes (environ 3 400 jetons par échantillon), et les deux entraînements ont été arrêtés. Le gain par tâche sur les tâches réservées ne suit pas la longueur de raisonnement du modèle de base (corrélation de rang −0,09 pour l’entraînement aux arguments et +0,28 pour l’entraînement à l’invite simple), si bien que le gain ne vient pas de ce que le modèle raisonne sur des tâches auxquelles il répondait sans raisonner. Chaque gain est à peu près de la taille de celui qu’apporte la moyenne de deux échantillons de raisonnement sans entraînement (section 5.6).

La sélection n’est pas le gain. L’affinage par échantillonnage de rejet sur les propres déroulés de l’entraînement sur le mélange d’inférence, une chaîne correcte par invite tirée au hasard parmi ses 75 premières étapes (4 417 des 4 800 invites), entraîné par la même mise à jour avec chaque chaîne à un avantage de un, le même optimiseur, le même lot et 75 mises à jour, sans échantillonneur dans la boucle, obtient 0,720 sur les six tâches d’inférence contre 0,721 sans entraînement (−0,001 [−0,015; 0,013]) et 0,735 après l’apprentissage par renforcement, qui le dépasse de 0,016 [0,001; 0,030]. Son raisonnement compte 1 503 jetons par exemple, près des 1 591 de l’apprentissage par renforcement, puisque les chaînes venaient de la politique à mesure qu’elle s’allongeait. Le gain vient des mises à jour sur la politique, non des chaînes qu’elles ont sélectionnées.

À 26B-A4B. La recette à récompense d’exactitude avec un coût de longueur cubique ((L/2 000)3 pour L jetons de raisonnement), le gradient de chaque échantillon pris sur ses 16 000 premiers jetons (changement de protocole (ix)), a tourné 31 des 50 mises à jour prévues sur le mélange d’inférence. La sonde réservée est tombée de 0,808 à 0,797 en 25 mises à jour tandis que le raisonnement passait de 2 401 à 3 063 jetons par échantillon, et l’entraînement a été arrêté. Son adaptateur à 25 mises à jour obtient 0,834 sur les six tâches d’inférence contre 0,830 sans entraînement, +0,005 [−0,006; 0,015], pour 3 366 jetons de raisonnement par exemple contre 2 592 : l’allongement des entraînements de E4B sur un modèle de base plus fort, sans leur gain.

5.9 La longueur du raisonnement sous renforcement

La figure 11 suit la longueur du raisonnement de chaque tâche d’entraînement au fil de chaque entraînement de E4B. La récompense fixe la direction. Sous le score logarithmique, le raisonnement tombe à zéro sur les 27 tâches du mélange de classification en environ 25 étapes et reste proche de zéro pendant les 175 restantes. Sous la récompense d’exactitude, il s’allonge sur chaque tâche des deux mélanges : entre les dix premières et les dix dernières étapes, de 2,9 (HellaSwag) à 35 fois (CLINC150) sur les 134 étapes de l’entraînement sur le mélange de classification, de 2,6 à 3,7 fois sur les 93 étapes de l’entraînement sur le mélange d’inférence, et de 1,1 à 2,7 fois sur les 200 étapes de l’entraînement à l’invite des arguments, dont le raisonnement plaide pour chaque option présélectionnée. Le rythme varie davantage d’une tâche à l’autre que d’un type de tâche à l’autre : dans l’entraînement sur le mélange de classification, les tâches sur images s’allongent de 6,6 à 17 fois, les questions à choix multiples de 2,9 à 25 fois et les tâches de classification de 3,2 à 35 fois. La récompense d’exactitude ne fait payer aucun coût de longueur, et le score logarithmique pénalise la décision trop confiante qui suit le raisonnement (section 5.5); les deux directions concordent avec ces récompenses.

classification de texte (11)texte à choix multiple (7)image (9)
pénalité de longueur à partir d’ici
Figure 11. Longueur du raisonnement au fil de l’apprentissage par renforcement à E4B, par tâche d’entraînement : la récompense par score logarithmique la ramène à zéro sur chaque tâche, et la récompense d’exactitude la fait croître sur chaque tâche, à des rythmes qui varient selon la tâche; choisissez un entraînement. Jetons de raisonnement moyens par échantillon à chaque étape, moyenne sur dix étapes (échelle logarithmique symétrique, linéaire sous 10 jetons); traits fins : les tâches, colorées selon leur type (classification de texte en bleu, texte à choix multiples en orange, images en vert); traits gras : les moyennes par type; tireté : l’étape à partir de laquelle une pénalité de longueur linéaire s’applique.

5.10 Expériences prévues

Chacune est jugée sur la moyenne des tâches d’inférence et sur les tâches sur images; la moyenne de classification ne doit pas baisser au-delà de son intervalle, et la longueur du raisonnement sur les tâches de classification est une mesure secondaire.

  1. A.La récompense par score logarithmique sur une lecture calibrée : la tête LM divisée par la température ajustée par validation croisée des rapports avec réflexion, et la lecture scalaire entraînée comme modèle de récompense. Confirmée si la politique continue de raisonner (plus de la moitié des échantillons à l’étape 50) avec une récompense croissante.
  2. B.L’affinage par échantillonnage de rejet : réfuté (section 5.8).
  3. C.L’agrégation au moment du test sur les tâches réservées (section 5.6).
  4. D.D’où vient le gain : réfuté (section 5.8).
  5. E.Le mélange d’inférence seul, évalué sur toutes les tâches : fait à E4B (tableau 9).
  6. F.Trois graines de la recette à récompense d’exactitude à E4B : fait pour le mélange d’inférence (ci-dessus).

6 Limites

Hormis les résultats de 31B sur les tâches d’inférence, qui utilisent les jeux de test complets, l’évaluation utilise des sous-ensembles de 500 exemples, et les modèles de pointe 100 exemples par tâche; un échantillon de raisonnement et une graine par configuration, sauf trois graines de raisonnement sur les tâches d’inférence à E2B, E4B et 31B et sur les tâches de classification à E2B et E4B, et trois graines d’entraînement de l’apprentissage par renforcement sur le mélange d’inférence. L’apprentissage par renforcement a tourné à E4B; le seul entraînement à 26B-A4B a été arrêté à 31 mises à jour, sans gain (section 5.8). Le raisonnement de 31B vient de déploiements hébergés, à la précision non divulguée des fournisseurs, et est retokenisé à partir du texte. Le gain du raisonnement n’est mesuré que sur Gemma 4, puisque Qwen3-VL, la seconde famille, n’a pas de mode sans raisonnement; un pilote sur les modèles de texte Qwen3 précède les deux. La comparaison des coûts utilise les prix de la passerelle à une seule date et exclut notre passe de notation; la latence n’a pas été mesurée selon un protocole commun. Les bancs d’essai ont pu être vus pendant le préentraînement par n’importe lequel des modèles comparés.

7 Conclusion

Mener à terme le raisonnement du modèle avant de noter les options élève l’exactitude de l’évaluateur en une passe d’environ 0,15 sur les tâches dont la réponse doit être inférée, à chaque taille de Gemma 4 testée, et peu sur les tâches de classification. Après le même raisonnement, la décision notée est au moins aussi exacte que la réponse du modèle lui-même, chez Gemma 4 et Qwen3-VL, et renvoie une distribution; à 31B, aucun réglage de raisonnement des modèles de pointe hébergés n’atteint son exactitude sur les tâches d’inférence à moindre coût. La distribution après le raisonnement est trop confiante sous la lecture non entraînée; une lecture entraînée la calibre, au prix d’une baisse du score sur le texte. L’apprentissage par renforcement avec la décision notée pour récompense a donné jusqu’ici des gains d’environ 0,01.

Références

  1. [1]Arash Ahmadian, Chris Cremer, Matthias Gallé, Marzieh Fadaee, Julia Kreutzer, Olivier Pietquin, Ahmet Üstün, and Sara Hooker. Back to basics: Revisiting REINFORCE-style optimization for learning from human feedback in LLMs. In ACL, 2024.
  2. [2]Shuai Bai, Yuxuan Cai, Ruizhe Chen, et al. Qwen3-VL technical report. arXiv preprint arXiv:2511.21631, 2025.
  3. [3]Ryan Burnell, Han Hao, Andrew R. A. Conway, and José Hernández-Orallo. Revealing the structure of language model capabilities. arXiv preprint arXiv:2306.10062, 2023.
  4. [4]Mircea Cimpoi, Subhransu Maji, Iasonas Kokkinos, Sammy Mohamed, and Andrea Vedaldi. Describing textures in the wild. In CVPR, 2014.
  5. [5]Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. Think you have solved question answering? try ARC, the AI2 reasoning challenge. arXiv preprint arXiv:1803.05457, 2018.
  6. [6]Adam Coates, Andrew Ng, and Honglak Lee. An analysis of single-layer networks in unsupervised feature learning. In AISTATS, 2011.
  7. [7]Avi Cooper, Keizo Kato, Chia-Hsien Shih, Hiroaki Yamane, Kasper Vinken, Kentaro Takemoto, Taro Sunagawa, Hao-Wei Yeh, Jin Yamanaka, Ian Mason, and Xavier Boix. Rethinking VLMs and LLMs for image classification. Scientific Reports, 15:19692, 2025.
  8. [8]Mehul Damani et al. Beyond binary rewards: Training lms to reason about their uncertainty. arXiv preprint arXiv:2507.16806, 2025.
  9. [9]Gregor Geigle, Radu Timofte, and Goran Glavaš. African or European swallow? benchmarking large vision-language models for fine-grained object classification. In EMNLP, 2024.
  10. [10]Gemma Team. Gemma 4. https://huggingface.co/google/gemma-4-31B-it, 2026.
  11. [11]Mor Geva, Daniel Khashabi, Elad Segal, Tushar Khot, Dan Roth, and Jonathan Berant. Did aristotle use a laptop? a question answering benchmark with implicit reasoning strategies. TACL, 2021.
  12. [12]Daya Guo et al. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645:633–638, 2025. doi: 10.1038/s41586-025-09422-z.
  13. [13]Patrick Helber, Benjamin Bischke, Andreas Dengel, and Damian Borth. EuroSAT: A novel dataset and deep learning benchmark for land use and land cover classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019.
  14. [14]Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In ICLR, 2021.
  15. [15]Edward J Hu et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.
  16. [16]David Ilić and Gilles E. Gignac. Evidence of interrelated cognitive-like capabilities in large language models: Indications of artificial general intelligence or achievement? Intelligence, 106:101858, 2024.
  17. [17]Aniruddha Kembhavi, Mike Salvato, Eric Kolve, Minjoon Seo, Hannaneh Hajishirzi, and Ali Farhadi. A diagram is worth a dozen images. In ECCV, 2016.
  18. [18]Nikita Kisel, Illia Volkov, Klára Janoušková, and Jiří Matas. Multimodal large language models as image classifiers. arXiv preprint arXiv:2603.06578, 2026.
  19. [19]Wouter Kool, Herke van Hoof, and Max Welling. Buy 4 REINFORCE samples, get a baseline for free! In ICLR Workshop on Deep Reinforcement Learning Meets Structured Prediction, 2019.
  20. [20]Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, and Ion Stoica. Efficient memory management for large language model serving with PagedAttention. In SOSP, 2023.
  21. [21]Nathan Lambert et al. Tülu 3: Pushing frontiers in open language model post-training. In COLM, 2025.
  22. [22]Wang Ling, Dani Yogatama, Chris Dyer, and Phil Blunsom. Program induction by rationale generation: Learning to solve and explain algebraic word problems. In ACL, 2017.
  23. [23]Hanmeng Liu, Jian Liu, Leyang Cui, Zhiyang Teng, Nan Duan, Ming Zhou, and Yue Zhang. LogiQA 2.0: An improved dataset for logical reasoning in natural language understanding. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2023.
  24. [24]Huan Liu, Lingyu Xiao, Jiangjiang Liu, Xiaofan Li, Ze Feng, Sen Yang, and Jingdong Wang. Revisiting MLLMs: An in-depth analysis of image classification abilities. arXiv preprint arXiv:2412.16418, 2024.
  25. [25]Pan Lu, Swaroop Mishra, Tony Xia, Liang Qiu, Kai-Wei Chang, Song-Chun Zhu, Oyvind Tafjord, Peter Clark, and Ashwin Kalyan. Learn to explain: Multimodal reasoning via thought chains for science question answering. In NeurIPS, 2022.
  26. [26]Pan Lu, Hritik Bansal, Tony Xia, Jiacheng Liu, Chunyuan Li, Hannaneh Hajishirzi, Hao Cheng, Kai-Wei Chang, Michel Galley, and Jianfeng Gao. MathVista: Evaluating mathematical reasoning of foundation models in visual contexts. In ICLR, 2024.
  27. [27]Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, and Tatsunori Hashimoto. s1: Simple test-time scaling. arXiv preprint arXiv:2501.19393, 2025.
  28. [28]Maria-Elena Nilsback and Andrew Zisserman. Automated flower classification over a large number of classes. In ICVGIP, 2008.
  29. [29]Omkar M. Parkhi, Andrea Vedaldi, Andrew Zisserman, and C. V. Jawahar. Cats and dogs. In CVPR, 2012.
  30. [30]Qwen Team. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.
  31. [31]Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.
  32. [32]David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael, and Samuel R. Bowman. GPQA: A graduate-level google-proof Q&A benchmark. In COLM, 2024.
  33. [33]Yangjun Ruan, Chris J. Maddison, and Tatsunori Hashimoto. Observational scaling laws and the predictability of language model performance. In Advances in Neural Information Processing Systems, volume 37, 2024.
  34. [34]Zayne Sprague, Xi Ye, Kaj Bostrom, Swarat Chaudhuri, and Greg Durrett. MuSR: Testing the limits of chain-of-thought with multistep soft reasoning. In ICLR, 2024.
  35. [35]Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, and Jason Wei. Challenging BIG-bench tasks and whether chain-of-thought can solve them. In Findings of ACL, 2023.
  36. [36]Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, and Christopher Manning. Just ask for calibration: Strategies for eliciting calibrated confidence scores from language models fine-tuned with human feedback. In EMNLP, pages 5433–5442, 2023.
  37. [37]Xuezhi Wang and Denny Zhou. Chain-of-thought reasoning without prompting. In NeurIPS, 2024.
  38. [38]Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. Self-consistency improves chain of thought reasoning in language models. In International Conference on Learning Representations, 2023.
  39. [39]Yubo Wang, Xueguang Ma, Ge Zhang, et al. MMLU-Pro: A more robust and challenging multi-task language understanding benchmark. In NeurIPS Datasets and Benchmarks, 2024.
  40. [40]Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 2022.
  41. [41]Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8:229–256, 1992.
  42. [42]Chenxu Yang, Qingyi Si, Yongjie Duan, Zheliang Zhu, Chenyu Zhu, Qiaowei Li, Minghui Chen, Zheng Lin, and Weiping Wang. Dynamic early exit in reasoning models. In ICLR, 2026.
  43. [43]Dongkeun Yoon, Seungone Kim, Sohee Yang, Sunkyoung Kim, Soyeon Kim, Yongil Kim, Eunbi Choi, Yireun Kim, and Minjoon Seo. Reasoning models better express their confidence. In NeurIPS, 2025.
  44. [44]Qiying Yu et al. DAPO: An open-source LLM reinforcement learning system at scale. arXiv:2503.14476, 2025.
  45. [45]Tianyu Yu, Bo Ji, Shouli Wang, Shu Yao, Zefan Wang, Ganqu Cui, Lifan Yuan, Ning Ding, Yuan Yao, Zhiyuan Liu, Maosong Sun, and Tat-Seng Chua. RLPR: Extrapolating RLVR to general domains without verifiers. arXiv preprint arXiv:2506.18254, 2025.
  46. [46]Xiang Yue, Yuansheng Ni, Kai Zhang, et al. MMMU: A massive multi-discipline multimodal understanding and reasoning benchmark for expert AGI. In CVPR, 2024.
  47. [47]Max Zhang. Any language model is a classifier: Calibrated one-pass decisions over arbitrary label sets from pretrained LLMs, 2026. Preprint.
  48. [48]Yuhui Zhang, Alyssa Unell, Xiaohan Wang, Dhruba Ghosh, Yuchang Su, Ludwig Schmidt, and Serena Yeung-Levy. Why are visually-grounded language models bad at image classification? In NeurIPS, 2024.
  49. [49]Xiangxin Zhou, Zichen Liu, Anya Sims, Haonan Wang, Tianyu Pang, Chongxuan Li, Liang Wang, Min Lin, and Chao Du. Reinforcing general reasoning without verifiers. In ICLR, 2026.

A Tâches de classification

Gemma 4 E2BGemma 4 E4BGemma 4 26B-A4BGemma 4 31B
tâchedésactivéactivéréponsedésactivéactivéréponsedésactivéactivéréponsedésactivéactivéréponse
Banking770,5970,6390,6310,6570,6980,6980,7210,7820,7830,7760,8170,817
MASSIVE0,7110,6890,6790,7900,7760,7680,8180,8060,8040,8690,8680,868
SST-50,4610,4450,3970,5150,4750,4900,5560,5610,5610,5240,5420,542
TweetEval emotion0,7400,7180,7180,7150,7310,7550,7420,7800,7800,7730,7540,754
TweetEval hate0,6610,6620,6590,7330,6900,6920,5860,7010,7010,7280,6960,696
Rotten Tomatoes0,8800,8450,8410,9100,9020,9020,9340,9360,9360,9360,9380,938
SMS Spam0,6290,7250,7200,6830,7530,6970,8560,9030,8950,9090,9350,935
CounterFactual0,8090,8150,8150,7220,8270,8520,7710,8130,8130,7370,7910,791
GoEmotions0,2690,3030,2940,2390,2650,2590,2530,3100,3100,3270,2920,292
ARC-Challenge0,7820,8260,8220,9180,9140,9020,9640,9680,9620,9680,9720,970
MMLU0,6300,6980,6840,7560,8120,7840,8580,8840,8760,8900,9180,918
StrategyQA0,5020,6010,6000,6050,7190,7140,7470,7780,7790,7650,8300,825
EuroSAT0,3480,3370,3300,3390,3980,3740,4600,4410,4380,5770,5770,525
DTD0,4670,3360,3360,6130,5880,5550,6800,6710,6710,6790,7160,716
STL-100,9670,9560,9540,9660,9730,9730,9860,9870,9870,9880,9870,987
Oxford-IIIT Pets0,1950,1930,1950,3950,4420,4430,8560,8170,8170,8730,8580,858
Flowers-1020,0890,0860,0850,2190,2110,2110,7880,7890,7900,7550,7910,791
Rendered SST-20,8430,8800,8800,8720,9000,8880,9500,9700,9700,9460,9720,972
moyenne0,5880,5970,5910,6470,6710,6640,7510,7720,7710,7790,7920,788
activé − désactivé+0,010 [+0,000; +0,019]+0,024 [+0,015; +0,031]+0,021 [+0,014; +0,028]+0,013 [+0,007; +0,020]
activé − réponse+0,006 [+0,003; +0,009]+0,006 [+0,002; +0,011]+0,001 [+0,001; +0,002]+0,003 [+0,002; +0,004]
Tableau 10. Tâches de classification : le raisonnement change la moyenne des tâches de 0,01 à 0,02. Colonnes comme au tableau 2; métrique principale par tâche; 500 exemples de test par tâche; tête LM non entraînée.
tailledésactivéactivéréponseactivé − désactivéactivé − réponse
E2B0,5880,593 ± 0,0030,588 ± 0,0030,006 ± 0,0030,006 ± 0,001
E4B0,6470,667 ± 0,0030,661 ± 0,0030,020 ± 0,0030,006 ± 0,000
Tableau 11. Tâches de classification sur trois graines de raisonnement à E2B et E4B : colonnes comme au tableau 4; métrique principale par tâche; 500 exemples de test par tâche; tête LM non entraînée.
Qwen3-VL 2BQwen3-VL 4BQwen3-VL 32B
tâchenotéeréponsenotéeréponsenotéeréponse
Banking770,6210,6180,7320,7250,7820,781
MASSIVE0,7280,7270,8180,8180,8680,868
SST-50,3800,3800,4320,4340,4750,475
TweetEval emotion0,7650,7650,7800,7800,7890,789
TweetEval hate0,5250,5250,5540,5540,7220,722
Rotten Tomatoes0,8870,8860,9120,9120,9240,924
SMS Spam0,4720,4720,6530,6530,7460,744
CounterFactual0,7990,7990,8210,8210,7960,796
GoEmotions0,2800,2850,2790,2790,2920,292
ARC-Challenge0,9200,8500,9380,9320,9580,956
MMLU0,7460,6580,8160,7840,8920,884
StrategyQA0,6580,6550,7060,7010,7880,788
EuroSAT0,4080,4020,4550,4570,3470,334
DTD0,5990,5990,6030,5930,6540,654
STL-100,9900,9890,9880,9870,9930,993
Oxford-IIIT Pets0,6320,6140,7060,7000,8130,813
Flowers-1020,4090,4100,6200,6210,7200,724
Rendered SST-20,8910,8910,9260,9260,9460,946
moyenne0,6510,6400,7080,7040,7500,749
notée − réponse+0,010 [+0,008; +0,013]+0,003 [+0,002; +0,005]+0,001 [+0,000; +0,003]
aucune option nommée0,0090,0030,002
Tableau 12. Qwen3-VL (points de contrôle Thinking, raisonnement activé), tâches de classification : colonnes comme au tableau 6; métrique principale par tâche; 500 exemples de test par tâche; tête LM non entraînée.

Raisonnement activé, face au meilleur modèle de pointe (Claude Opus 5.5) : sous son intervalle (−)

Claude Opus 5.5Claude Fable 5.1GPT-6.1 SolGPT-6 AstraGPT-5Muse Spark 1.3Gemma 4 31B, raisonnement activéGemma 4 31B, sa réponseKimi K3Claude Sonnet 5Claude Sonnet 4.6Gemma 4 31B, raisonnement désactivégpt-oss-120bGLM-5.3Qwen3-235BDeepSeek V3.2
Figure 12. Gemma 4 31B sur chaque tâche de classification face aux treize modèles de pointe hébergés, comme à la figure 4.

B L’invite des arguments

tâcheinvitenotéeréponse, article 1réponse, dernière ligne≥ 2 options nommées
Banking77simple0,7180,7180,7180,00
arguments, toutes les options0,7260,6560,7240,16
arguments, 5 premières0,7280,7400,7400,00
GoEmotionssimple0,3100,2820,2820,00
arguments, toutes les options0,2780,2300,2860,28
arguments, 5 premières0,2820,2680,2820,11
SST-5simple0,4980,5180,5180,00
arguments, toutes les options0,4560,3480,4840,36
arguments, 5 premières0,4460,3340,4720,38
TweetEval hatesimple0,7040,7080,7080,00
arguments, toutes les options0,7020,6800,6960,30
arguments, 5 premières0,7040,7000,6980,30
Tableau 13. L’invite des arguments à E4B et 31B, quatre tâches de classification : la décision notée ne demande aucune analyse, tandis que la réponse appariée comme chez Zhang [47] tombe en dessous quand la réponse nomme plusieurs options; la dernière ligne de la réponse rétablit l’accord. Dernière colonne : part des réponses qui nomment deux options ou plus. Arguments, top 5 : les arguments des cinq options que la lecture en une passe classe en tête.

C Pilote : Qwen3

Le pilote a utilisé Qwen3 de 0.6B à 32B sur StrategyQA [11], MMLU [14] et ARC-Challenge [5], 200 exemples de test chacune. Le raisonnement élève la moyenne des tâches de la décision notée de 0,04 à 0,10 à chaque taille (figure 13). Le terminateur en saut de ligne laisse moins de 10−4 de la probabilité sur l’ensemble des options à chaque taille et le jeton de fin de tour au moins 0,98, et le jeton de fin de tour obtient au moins autant dans chaque case (tableau 14). À 4B, le raisonnement abaisse l’ECE et la NLL sur chaque tâche, mais la confiance moyenne reste au-dessus de 0,99 pour une exactitude de 0,72 à 0,90, une température ajustée par validation croisée de 7 à 17 ramène l’ECE à au plus 0,052, et l’AUROC baisse sur chaque tâche (tableau 15).

raisonnement activé, décision notéeraisonnement activé, réponse du modèleraisonnement désactivé, décision notée
Figure 13. Pilote : le raisonnement élève le score de la décision notée à chaque taille de Qwen3. Score moyen des tâches (exactitude sur ARC-Challenge et MMLU, macro-F1 sur StrategyQA), 200 exemples de test par tâche, un échantillon de raisonnement; tête LM non entraînée, terminateur de fin de tour; la moyenne des tâches ou une tâche.
raisonnement désactivéraisonnement activé
scoremasse sur les optionsscoremasse sur les options
Qwen3saut de lignefin de toursaut de lignefin de toursaut de lignefin de toursaut de lignefin de tour
0.6B0,4370,4708×10−80,9830,5420,5517×10−80,994
1.7B0,5950,6045×10−81,0000,6930,7083×10−81,000
4B0,7000,7056×10−81,0000,7830,7865×10−81,000
8B0,7460,7472×10−81,0000,8070,8158×10−81,000
14B0,7740,7751×10−91,0000,7890,8171×10−81,000
32B0,7570,8012×10−80,9990,8140,8622×10−50,994
Tableau 14. Pilote : le terminateur de fin de tour place presque toute la probabilité sur l’ensemble des options et obtient au moins autant que le terminateur en saut de ligne à chaque taille de Qwen3, raisonnement désactivé et activé. Score moyen des tâches (comme à la figure 13) et médiane, sur les 600 exemples, de la probabilité sur l’ensemble des options; tête LM non entraînée.
raisonnement désactivéraisonnement activé
tâchescoreECEECE (T)NLLAUROCscoreECEECE (T)NLLAUROC
ARC-Challenge†0,8450,1540,0802,0910,7690,9000,0990,0521,9720,734
MMLU†0,6400,3280,0784,6870,7720,7600,2390,0444,5920,694
StrategyQA0,6290,3420,0794,4700,6610,6980,2790,0524,2000,649
moyenne0,7050,2740,0793,7490,7340,7860,2060,0493,5880,693
Tableau 15. Pilote : après le raisonnement, Qwen3-4B est plus exact et moins mal calibré, mais reste trop confiant, et sa confiance sépare moins bien les décisions correctes des fausses. ECE (T) : après une température ajustée par validation croisée. Tête LM non entraînée, terminateur de fin de tour, 200 exemples de test par tâche; † exactitude, sinon macro-F1.