Tout modèle de langage est un classifieur : des décisions calibrées en une passe sur des ensembles d’étiquettes arbitraires, à partir de LLM préentraînés

Résumé

Beaucoup d’appels à des modèles de langage choisissent dans un ensemble connu d’options, mais passent par la génération puis l’analyse du texte produit. Nous calculons plutôt la vraisemblance de chaque option et la normalisons sur l’ensemble. Empaqueter les options après une invite commune, avec un masque d’attention par blocs, calcule toutes les vraisemblances en une seule passe avant (un pack-readout). Sans entraînement, c’est le protocole par log-vraisemblance des outils d’évaluation standard, avec ses limites connues : il favorise les options courtes, répartit la probabilité entre paraphrases et est mal calibré. Nous entraînons la distribution sur les options par entropie croisée sur l’ensemble des options, sur un mélange de 18 tâches, et évaluons sur 12 tâches réservées. À 0,6 milliard de paramètres, le score principal moyen sur les tâches réservées (macro-F1, ou exactitude lorsque les options diffèrent d’un exemple à l’autre) passe de 0,37 à 0,57; à 1,7 milliard, de 0,55 à 0,64; à 8 milliards, de 0,63 à 0,72. Un seul jeu de poids traite tous les ensembles d’étiquettes testés. Face aux 35 classifieurs sans entraînement du classement BTZSC, le modèle se situe sur la frontière taille–exactitude ou au-dessus pour les trois tâches communes; selon le protocole propre au banc d’essai, le modèle de 4 milliards dépasse le meilleur système répertorié, à la moitié de sa taille. Interroger le modèle ajusté aux instructions de même taille est moins exact à toutes les tailles; onze modèles hébergés interrogés, dont GPT-6 Astra et Claude Fable 5.1, obtiennent de 0,71 à 0,81, contre 0,72 pour notre modèle entraîné de 8 milliards. Une tête scalaire apprise se transfère mieux que la tête du modèle de langage; à 1,7 milliard, l’erreur de calibration top-1 moyenne passe de 0,114 à 0,098 sans mise à l’échelle de la température. Une décision entre 77 options d’un modèle de 1,7 milliard de paramètres prend 54 ms sur un A100, 3× plus vite que le décodage contraint et 19× plus vite que la génération JSON avec justification; la conversion demande 16 000 exemples d’entraînement et 20 minutes d’entraînement LoRA, et s’applique telle quelle à SmolLM2, OLMo-2, Qwen2.5 et gpt-oss-20b. L’implémentation du modèle, le code d’entraînement et les adaptateurs entraînés sont publiés.

1 Introduction

Dans de nombreuses applications, un modèle de langage choisit une option dans un ensemble fixe : une étiquette d’acheminement, un niveau de gravité, oui ou non. Générer du texte puis l’analyser présente des inconvénients. Le décodage est séquentiel et limité par la mémoire, si bien qu’une étiquette de n jetons demande n passes avant successives; la sortie doit être analysée et peut sortir du schéma; et une étiquette échantillonnée ne porte aucune probabilité exploitable.

Une autre voie consiste à sélectionner par maximum de vraisemblance parmi les options admissibles [5, 7]. Des options connues peuvent être notées par forçage de l’enseignant, sans décodage. Restreindre les sorties à ces options fournit des décisions valides, assorties de probabilités. Des « modèles de décision » commerciaux comme Jev [67] exposent cette interface (une question typée, un ensemble d’options, une probabilité sur celles-ci, une passe), mais ne divulguent pas leur mode d’entraînement. Nous étudions une adaptation simple et entièrement spécifiée d’un modèle de langage préentraîné vers cette interface : un classifieur qui accepte un nouvel ensemble d’étiquettes au moment de l’inférence et renvoie des probabilités sur celui-ci en une seule passe avant.

La notation des options sans entraînement a au moins trois limites documentées. La somme des log-probabilités pénalise les options longues, et les prédictions changent selon la méthode de notation [66]; la probabilité fuit vers des paraphrases hors de l’ensemble d’options [24]; et la distribution renormalisée est mal calibrée [27, 81, 83]. Des méthodes par tâche pour décodeurs entraînent une tête de classification [38, 63]; Universal Discriminator [76] transfère vers des tâches réservées une notation des candidats fondée sur un encodeur. Nous combinons un entraînement discriminatif inter-tâches avec le pack-readout.

Nos contributions sont les suivantes :

  1. Pack-readout. Une seule passe avant sur l’invite suivie de toutes les options, avec un masque d’attention par blocs et des identifiants de position propres à chaque option, donne les mêmes log-vraisemblances que la notation séparée de chaque option, sans réplication du cache KV (section 3.2); la même passe met en œuvre trois primitives de décision : choix, score ordinal et oui/non (section 3.3).
  2. Entraîner la distribution sur les options. Nous minimisons l’entropie croisée sur l’ensemble des options, sur un mélange public de tâches, en au plus 2 000 pas LoRA (16 000 présentations d’exemples, environ 2,5 M de jetons); l’entraînement prend 20 minutes sur un A100 à 1,7 milliard de paramètres. Sur 12 tâches réservées, le score principal moyen dépasse celui de la notation sans entraînement de 9 points à 1,7 milliard (trois graines), 4 et 8 milliards, de 20 à 0,6 milliard et de 2 à 14 milliards avec un taux d’apprentissage et un nombre de pas réduits (section 5.2); la tête scalaire se transfère à des ensembles et à des noms d’étiquettes qu’elle n’a jamais vus (section 5.3).
  3. Comparaison avec les classifieurs spécialisés sans entraînement. Face aux 35 systèmes du classement BTZSC, les modèles entraînés dépassent tous les systèmes répertoriés sur MASSIVE dès 0,6 milliard de paramètres et sur Banking77 dès 4 milliards (figure 3); selon le protocole propre au banc d’essai, entraîné sans ses jeux de données, le modèle de 4 milliards dépasse tous les systèmes du classement, à la moitié de la taille du meilleur (figure 8).
  4. Calibration. L’objectif est une règle de score propre : le score de Brier, la log-vraisemblance et le classement par confiance s’améliorent sur des tâches inédites, et la calibration top-1 s’améliore pour la tête scalaire sans mise à l’échelle de la température (section 5.4).
  5. Comparaison des coûts avec l’interrogation par invite. Une décision entre 77 options d’un modèle de 1,7 milliard de paramètres prend 54 ms sur un A100, 3× plus vite que le décodage contraint et 19× plus vite que la génération JSON avec justification, avec peu de variation d’une entrée à l’autre (section 5.6). Interroger le modèle ajusté aux instructions de même taille est moins exact à toutes les tailles, et jusqu’à 7 % de ses réponses ne nomment aucune option; onze modèles de pointe hébergés obtiennent de 0,71 à 0,81, contre 0,72 pour notre modèle entraîné de 8 milliards, avec 4 à 177 pas de décodage par décision (section 5.5).
  6. Une recette générale. La même procédure fait gagner 25 et 21 points d’exactitude à SmolLM2-1.7B et à OLMo-2-1B, 15 à gpt-oss-20b et 3 à Qwen2.5-32B; davantage d’ensembles d’étiquettes d’entraînement profitent surtout aux tâches à nombreuses étiquettes et à la calibration, et retirer deux jeux d’entraînement voisins de tâches réservées relève les scores de ces tâches voisines (section 5.7).

Notation des options. Noter des continuations candidates par log-vraisemblance est le protocole à choix multiples de GPT-3 [7] et de lm-evaluation-harness [5], qui rapporte une variante brute (acc) et une variante normalisée par caractère (acc_norm). Holtzman et al. [24] ont mis en évidence la concurrence des formes de surface et proposé la PMI conditionnelle au domaine; Min et al. [46] notent l’invite sachant l’option; Tsvilodub et al. [66] montrent que les prédictions changent selon la méthode de notation. Noter la lettre d’une option [57] coûte moins cher, mais favorise certaines lettres d’option [82]; les choix extraits de réponses générées sont plus robustes que les probabilités du premier jeton lorsque les deux divergent [70]. Nous notons le texte complet de l’option.

Réglage fin discriminatif des décodeurs. LS-LLaMA [38] et Sood et Savelka [63] ajoutent une tête de classification à un décodeur et l’entraînent tâche par tâche; ces derniers constatent que l’entropie croisée sur les scores des candidats surpasse de 2 à 3 points le SFT par génération d’étiquette entre 0,6 et 1,7 milliard de paramètres. Aucun des deux n’entraîne sur plusieurs tâches, n’évalue sur des ensembles d’étiquettes inédits ni ne mesure la calibration ou la latence. Kowsher et al. [31] soutiennent que la génération préserve davantage d’information qu’une représentation agrégée; le logit de notre tête LM est une vraisemblance au niveau du jeton, la tête scalaire une représentation agrégée. Nous comparons les deux à la génération.

Classification sans entraînement sur des ensembles d’étiquettes arbitraires. T0 [59] et FLAN [10, 72] s’entraînent sur de nombreuses tâches formulées par invite et se transfèrent à des tâches réservées; tous deux apprennent à générer le texte cible, et T0 comme le premier FLAN évaluent la classification par classement des options selon leur vraisemblance (la collection Flan ultérieure évalue par invite directe et par chaîne de pensée). Nous adoptons le protocole des tâches réservées et entraînons directement la lecture par notation. Universal Discriminator [76] entraîne sur plusieurs tâches un noteur scalaire fondé sur un encodeur, par entropie croisée binaire sur des paires entrée–option, et se transfère à des tâches réservées. Nous utilisons un décodeur, entraînons par entropie croisée sur l’ensemble des options et notons toutes les options en une passe à préfixe commun. GLiClass [64] place les étiquettes devant l’entrée d’un encodeur. BTZSC [1] évalue des encodeurs croisés NLI, des plongements, des reclasseurs et la notation de LLM au premier jeton sur 22 jeux de données (section 5.8). Laya [13], publié en parallèle, est un encodeur ouvert doté des trois primitives de Jev : ModernBERT-large note chaque option à un jeton de masque et est entraîné par domaine avec REINFORCE sur des règles de score propres. Sa fiche de modèle rapporte 0,36 sans entraînement sur son propre ensemble de décisions et 0,43 sur Banking77, ce qui indique un transfert limité vers des ensembles d’étiquettes inédits.

Attention à préfixe commun. Hydragen [28] calcule une attention exacte pour des séquences qui partagent un préfixe. Wang et Hegde [69] empaquettent les réponses choisies et rejetées derrière une invite commune, avec un masque creux par blocs, pour l’optimisation directe des préférences. Nous appliquons cette construction à un ensemble d’options, avec des lectures par vraisemblance ou scalaires. Block-Attention [41] et Parallel Context Windows [56] masquent des blocs indépendants qu’un bloc final lit, et exigent un réglage fin ou perdent un peu d’exactitude. Le pack-readout utilise le même schéma préfixe-plus-blocs pour la notation des options et ne demande aucune adaptation : chaque bloc d’option ne porte son attention que sur l’invite et sur lui-même.

Calibration. La mise à l’échelle de la température [21], la calibration contextuelle [81] et la calibration par lot [83] corrigent les sorties d’un modèle figé; ConfTuner [36] entraîne une confiance verbalisée avec une perte de Brier. Nous entraînons la distribution sur les options elle-même avec une règle de score propre [20] et testons si la calibration se transfère. G-Eval [39] prend la somme des jetons de note pondérée par leurs probabilités; notre primitive ordinale est le même estimateur. Le tableau 21 (annexe C) compare ces méthodes.

Travaux concomitants. Cheng et al. [9] présentent en parallèle un modèle de décision typé de 2 milliards de paramètres qui lit chaque option sur un seul jeton et est entraîné sur tous ses paramètres avec des pertes d’entropie croisée et de Brier. Nous notons le texte complet de l’option, comparons deux lectures et mesurons, avec LoRA, le transfert vers des tâches réservées sur plusieurs familles de modèles; la section 5.3 entraîne leur lecture à un seul jeton selon notre protocole.

3 Méthode

La figure 1 résume le modèle : un décodeur préentraîné exécuté une seule fois sur l’invite et toutes les options, avec un masque d’attention par blocs et des identifiants de position propres à chaque option, lu aux jetons des options et normalisé sur l’ensemble des options.

3.1 Notation des options

Étant donné une invite x (état, question et options listées) et des options o1, …, on, chacune rendue par une espace initiale, le texte de l’option et un retour à la ligne servant de terminateur, le score de l’option i est sa log-vraisemblance par forçage de l’enseignant, et la distribution de décision en est la softmax :

si=∑t=1Lilog⁡Pθ(oi,t∣x,oi,<t),pi=exp⁡(si/τ)∑jexp⁡(sj/τ)(1)

Le terminateur est noté afin qu’une option dont les jetons forment un préfixe de ceux d’une autre (« New York », « New York City ») puisse obtenir un score inférieur. Un préfixe de jetons commun à plusieurs options contribue également à leurs log-probabilités, ce qui laisse leurs cotes relatives inchangées tout en pénalisant les options qui ne le partagent pas. Nous considérons aussi la normalisation de si par jeton, par octet et par caractère, ainsi que la variante PMI si − log Pθ(oi ∣ x0) pour l’invite sans contenu x0, qui ne garde que la ligne d’amorce, soit la PMI conditionnelle au domaine de Holtzman et al. [24].

3.2 Pack-readout : une seule passe avant pour toutes les options

L’éq. 1 ne demande aucun décodage. Une implémentation directe préremplit x une fois, réplique son cache KV n fois et note le lot d’options complété par remplissage; la réplication coûte un trafic mémoire en O(nP) et domine lorsque les options sont nombreuses (tableau 27). Nous exécutons plutôt une seule séquence x ‖ o1 ‖ ⋯ ‖ on, où ‖ désigne la concaténation de jetons, avec (i) un masque d’attention par blocs dans lequel un jeton ne porte son attention que sur l’invite et sur les jetons précédents de sa propre option, et (ii) des identifiants de position qui repartent de P = |x| pour chaque option (figure 1). Les états cachés des jetons d’option sont alors égaux à ceux d’une passe séparée sur x ‖ oi, de sorte que les log-vraisemblances sont exactes (vérifié à 2×10−3 nat près en fp32). La log-probabilité de chaque jeton d’option est lue à la position qui le prédit : la dernière position de l’invite pour le premier jeton de chaque option, puis les positions propres de l’option, y compris celle qui prédit son terminateur; la tête LM n’est appliquée qu’à ces positions. Nous appelons cette passe un pack-readout : les options sont empaquetées, puis lues. Le coût est un préremplissage de P + Σi Li jetons : une option ajoute Li jetons à un préremplissage limité par le calcul, alors que chaque jeton décodé coûte une étape limitée par la mémoire.

Invite x (P jetons)

Route the message to one intent.
Labels: refund, refund status, cancel
Text: Where is my refund?
Label:

Séquence empaquetée et identifiants de position

• la tête LM lit la log-probabilité de chaque jeton d’option à la position qui le prédit

xxo₁o₁o₂o₂o₃o₃

« status » (option 2, position P+1) voit l’invite et « refund » : comme dans une passe séparée sur l’invite et l’option 2.

Softmax sur les options

Figure 1. Le modèle, sur un exemple d’intention dont les options comprennent une paire préfixe (« refund », « refund status »). L’exemple est mis en forme comme une invite qui liste les options, et chaque option comprend une espace initiale, son texte et un retour à la ligne final noté (↵), ce qui permet à une option préfixe d’obtenir un score inférieur à son extension. Chaque option prolonge l’invite à partir de la position P, comme si elle en était la seule continuation; les n continuations sont empaquetées en une seule séquence pour la passe avant. Un décodeur préentraîné s’exécute une seule fois sur cette séquence. Un masque d’attention par blocs ne laisse les jetons d’option porter leur attention que sur l’invite et sur leur propre option, si bien que les états cachés de chaque option sont égaux à ceux d’une passe séparée sur l’invite et l’option. Chaque option reçoit un score calculé à partir de ses propres positions : la tête LM somme les log-probabilités de ses jetons (lues aux positions qui les prédisent, •), la tête scalaire applique un vecteur appris à son dernier état caché (■). Une softmax sur les n scores donne la distribution de décision; l’entraînement minimise son entropie croisée par rapport à la bonne option.

3.3 Primitives de décision

Trois primitives couvrent les décisions visées, chacune définie par l’éq. 1. Choix liste les options dans l’invite et renvoie p. Score liste K niveaux ordonnés avec leurs indices, note les chaînes d’indice « 0 », …, « K−1 » et renvoie le niveau espéré Σk k pk, comme dans G-Eval [39]; des indices d’un seul jeton (K ≤ 10) suppriment le biais de longueur dans le cas ordinal. Vrai/faux note « yes » et « no » et renvoie pyes.

3.4 Entraîner la distribution sur les options

Nous effectuons un réglage fin avec LoRA [26] sur un mélange de tâches de classification et à choix multiples, en minimisant la log-probabilité négative de la bonne option y selon l’éq. 1 avec τ = 1 :

Lset=−log⁡exp⁡(sy)∑jexp⁡(sj)(2)

Cela entraîne la distribution d’inférence avec une règle de score strictement propre, dont le minimiseur non restreint du risque en population est la vraie distribution conditionnelle [20], et permet au modèle de corriger le biais de longueur. Nous comparons deux lectures sur le même calcul empaqueté : la tête LM, si comme dans l’éq. 1, et la tête scalaire de Sood et Savelka [63], si = w⊤hi, où hi est l’état caché final, après la dernière normalisation, au retour à la ligne final de l’option i. C’est le vecteur que lit la tête LM, calculé avec une attention sur l’invite et sur l’option entière. Les deux lectures peuvent noter des chaînes d’option inédites; p est la softmax sur les n scores. Nous comparons aussi l’objectif sur la seule bonne réponse −sy, qui augmente la vraisemblance de la bonne option sans la comparer aux autres et qui correspond à l’objectif de génération d’étiquette de T0 et de FLAN avec le texte de l’option pour cible.

L’apprentissage par renforcement est-il nécessaire à la calibration ? Jev serait entraîné par « apprentissage par renforcement pour des décisions calibrées » (RLCD), que ses développeurs décrivent comme une optimisation de probabilités calibrées sur des tâches de décision [68]; la récompense et les données ne sont pas publiques. Une récompense qui vise la calibration est une règle de score propre de p par rapport à une étiquette vérifiée. Lorsque le modèle émet toute la distribution p en une passe, une telle récompense, par exemple le score de Brier Σi (pi − 𝟙[i = y])2, est déterministe et différentiable : il n’y a aucune action à échantillonner, la montée de gradient sur la récompense espérée est une descente de gradient sur la perte, et un estimateur par échantillonnage ne peut qu’ajouter de la variance. Nous comparons donc trois objectifs : le score logarithmique (éq. 2), le score de Brier comme perte, et REINFORCE [75] : échantillonner une décision selon p, puis mettre à jour la log-probabilité de cette option proportionnellement à la récompense moins une moyenne glissante des récompenses passées. Avec une récompense de 1 lorsque l’échantillon est y, la récompense espérée est py plutôt que log py, une règle de score impropre maximisée en plaçant toute la masse sur l’option la plus probable; elle n’optimise que l’exactitude.

4 Protocole expérimental

Modèles et calcul. Nous entraînons Qwen3-Base à 0,6 milliard, 1,7 milliard, 4, 8 et 14 milliards de paramètres [55] en bf16. La plupart des exécutions utilisent un NVIDIA A100-40GB; les principales exécutions à 8 et 14 milliards utilisent un DGX Spark (GB10, 128 Go), et le balayage à 14 milliards, l’échelle BTZSC et le balayage des ensembles d’étiquettes utilisent une machine Lambda 8×A100-40GB, à raison d’une exécution par GPU, sauf gpt-oss-20b et Qwen2.5-32B, répartis chacun sur deux GPU. L’entraînement utilise LoRA de rang 16 (α = 32) sur toutes les projections d’attention et de MLP, AdamW [40] avec un taux d’apprentissage de 2×10−4, 100 pas d’échauffement et une décroissance en cosinus, et des lots de 8 exemples pendant 2 000 pas (16 000 exemples du mélange de 36 000 exemples, au plus 2 000 par tâche d’entraînement); la tête scalaire est un vecteur fp32 entraîné avec l’adaptateur, et les exécutions principales utilisent les graines 0 à 2 (l’annexe G décrit les graines à 4 milliards). Une exécution à 1,7 milliard prend environ 20 minutes d’entraînement et 3 minutes d’évaluation sur les sous-ensembles (12 sur les jeux de test complets). Les travaux d’entraînement et d’évaluation totalisent 77 heures GPU dans nos relevés (13 sur l’A100 de Colab, 12 sur le DGX Spark et 52 sur les A100 de Lambda), surtout pour les modèles de 14 milliards et plus, les deux balayages de la section 5.7 et les mesures d’interrogation par invite et de latence; les relevés omettent les évaluations sur les jeux de test complets, dont les journaux n’ont pas été conservés.

Tâches. Le tableau 1 liste le mélange et l’ensemble réservé. Les tâches réservées ne partagent aucun jeu de données ni aucun ensemble d’étiquettes avec le mélange, mais deux y ont de proches voisins : trois des quatre étiquettes de TweetEval emotion (anger, joy, sadness) figurent aussi dans le jeu d’entraînement Emotion à six étiquettes, qui n’a pas « optimism », et TweetEval hate est étroitement lié à TweetEval offensive, une catégorie plus large. La section 5 en rapporte les effets; la section 5.7 évalue un entraînement sans ces jeux de données. Les options sont toujours listées dans l’invite. Les invites de classification ont la forme « instruction / Labels: … / Text: … / Label: »; les invites de question, « Question: … / Options: … / Answer: » (annexe A).

RôleTâches|𝒪|Type
entraînementAG News, DBpedia-14, Yahoo Answers4 / 14 / 10thème
entraînementYelp-5, IMDB, TweetEval sentiment5 / 2 / 3sentiment, ordinal
entraînementEmotion (dair-ai), TweetEval offensive, irony6 / 2 / 2émotion, binaire
entraînementCLINC-150151intention
entraînementSciQ, OpenBookQA, CommonsenseQA, QASC, ARC-Easy, HellaSwag, WinoGrandevariablechoix multiple
entraînementBoolQ2oui/non avec passage
réservéeBanking77, MASSIVE77 / 59intention
réservéeSST-5, Rotten Tomatoes5 / 2sentiment, ordinal
réservéeTweetEval emotion, hate; GoEmotions4 / 2 / 28émotion, binaire
réservéeSMS Spam, Amazon Counterfactual2 / 2binaire
réservéeARC-Challenge, MMLUvariablechoix multiple
réservéeStrategyQA2oui/non
Tableau 1. Mélange d’entraînement et tâches réservées. |𝒪| : nombre d’options; « variable » : les options diffèrent d’un exemple à l’autre. Sources : annexe I.

Points de comparaison. Avec le même modèle de base : la notation des options sans entraînement avec les scores bruts, par octet et PMI, et avec calibration par lot; la notation des options à cinq exemples, soit cinq exemples d’entraînement de la tâche dans l’invite et aucun entraînement; la notation du symbole au premier jeton, le protocole LLM de BTZSC; le SFT sur la seule bonne réponse et la tête scalaire sur le même mélange; la tête scalaire entraînée sur la partition d’entraînement propre à chaque tâche réservée, le plafond supervisé de la lecture (tableau 3). Les points de comparaison externes sont les meilleurs modèles de chaque famille et les petits LLM rapportés par BTZSC, ainsi que les meilleurs résultats publiés, sans entraînement et supervisés, pour chaque tâche réservée (annexe E).

Métriques. Le macro-F1 pour les tâches à ensemble d’étiquettes commun et l’exactitude pour les deux dont les options diffèrent d’un exemple à l’autre (la métrique principale); la log-vraisemblance négative, le score de Brier [6] et l’erreur de calibration espérée [52] (ECE, 15 intervalles de même largeur) de la confiance top-1; l’AUROC de la confiance comme détecteur d’erreurs; l’exactitude à 50 % de couverture. Le macro-F1 moyenne le F1 par classe sur les classes présentes parmi les étiquettes de référence des exemples évalués; une réponse qui ne nomme aucune option compte comme une erreur pour sa seule classe de référence. La latence est le temps écoulé pour une décision, mesuré une fois par entrée sur 20 entrées après échauffement, sur des GPU A100-40GB avec la même configuration PyTorch en mode eager pour toutes les méthodes et toutes les tailles (l’annexe F nomme les machines). Le tableau 3 évalue sur les jeux de test complets (40 117 exemples sur les douze tâches); les ablations, les balayages et les autres tailles utilisent 500 exemples de test par tâche, tirés avec une graine fixe, et les tableaux 11 et 12 comparent ces sous-ensembles aux jeux de test complets à chaque taille (moyennes à moins d’un point, sauf la moyenne sans entraînement à 0,6 milliard, inférieure de 1,2 sur le sous-ensemble). Les intervalles bootstrap à 95 % sur les sous-ensembles ont une demi-largeur d’environ 0,04 par tâche (médiane; 0,07 au plus, sur le jeu Counterfactual de 335 exemples) et de 0,012 sur la moyenne des tâches réservées. Des écarts de quelques points par tâche entre exécutions uniques restent dans le bruit; nous comparons donc des moyennes. Les moyennes des tâches réservées pondèrent également les tâches; les écarts-types décrivent la variation entre graines d’entraînement.

5 Résultats

5.1 Notation des options sans entraînement

Notre noteur reproduit lm-evaluation-harness sur ARC-Easy (400 premières questions de test, Qwen3-0.6B-Base : acc 0,6275 pour les deux; acc_norm 0,560 pour les deux). Le tableau 2 donne l’exactitude sans entraînement de Qwen3-1.7B-Base sur les tâches réservées. La notation du texte est une référence solide (moyenne 0,626; 0,73 sur ARC-Challenge, 0,87 sur Rotten Tomatoes) et, sur les neuf tâches d’au plus 26 options, dépasse de 8,9 points la notation du symbole au premier jeton (0,688 contre 0,599), qui échoue sur SMS Spam (0,24). Quatre observations motivent l’entraînement. Aucune normalisation ne l’emporte partout : la somme brute est la meilleure en moyenne, et toute normalisation par la longueur réduit l’exactitude sur les étiquettes courtes (Banking77 : 0,43 en brut, 0,17 par caractère). La PMI avec une invite nulle générique s’effondre sur les grands ensembles d’étiquettes (0,01 sur Banking77) : l’option dont la forme de surface est la plus rare est prédite pour chaque exemple. Les petits modèles suivent l’a priori sur les étiquettes : le modèle de 0,6 milliard prédit « spam » pour 499 messages sur 500 et « hate » pour 494 tweets sur 500; la calibration par lot [83] améliore les tâches dominées par l’a priori sur les étiquettes (+4,6 sur Banking77, +5,2 sur StrategyQA à 1,7 milliard) et dégrade les tâches déséquilibrées (−20,6 sur SMS Spam, −23,6 sur Counterfactual). La calibration est médiocre et incohérente : l’ECE va de 0,05 à 0,32 selon les tâches à 1,7 milliard (de 0,07 à 0,73 à 0,6 milliard), et la température la mieux ajustée va de 0,4 à 2,4 à 1,7 milliard (de 0,5 à 20 à 0,6 milliard, 20 étant le plafond de la recherche), si bien qu’aucune température a posteriori unique ne suffit.

Tâchebrutpar jetonpar octetpar caractèrePMI+BCsymboleECE (brut)
Banking770,4320,2280,1980,1740,0140,478–0,083
MASSIVE0,6560,5920,5920,5780,0560,666–0,047
SST-50,4280,2980,3040,2960,2440,3840,2920,164
TweetEval emotion0,7580,7580,6780,6200,6900,7620,7340,078
TweetEval hate0,6120,5880,5880,5880,5880,6220,6760,062
Rotten Tomatoes0,8720,8720,8720,8720,7300,8980,8540,062
SMS Spam0,7960,7960,6340,5060,8780,5900,2360,162
Counterfactual0,8240,8270,8270,8270,8270,5880,8270,107
GoEmotions0,2320,2300,1620,1520,1860,258–0,316
ARC-Challenge†0,7340,7220,7300,7240,512–0,7160,058
MMLU†0,5840,5660,5560,5580,430–0,5480,128
StrategyQA0,5820,5820,6080,6080,5100,6340,5120,102
Moyenne0,6260,5880,5620,5420,4720,5880,5990,114
Tableau 2. Exactitude sans entraînement sur les tâches réservées, Qwen3-1.7B-Base : score brut, normalisation par octet, PMI, calibration par lot (+BC), notation du symbole au premier jeton, et ECE du score brut. Les normalisations par jeton et par caractère se comportent comme la normalisation par octet.

5.2 Transfert vers des ensembles d’étiquettes inédits

L’entraînement sur le mélange relève la moyenne des tâches réservées sur les jeux de test complets (tableau 3; figure 2) de 0,552 à 0,621 avec la tête LM et à 0,641 ± 0,010 (trois graines; écart-type de population) avec la tête scalaire à 1,7 milliard de paramètres; cinq exemples en contexte de la tâche elle-même atteignent 0,571 (tableau 13), si bien que l’entraînement inter-tâches apporte environ cinq fois le gain obtenu par des exemples de la tâche dans l’invite. Le gain est le plus fort là où la notation sans entraînement est la plus faible : 20 points à 0,6 milliard (de 0,37 à 0,57) et, à 1,7 milliard, de 0,40 à 0,66 sur Banking77 (77 intentions inédites), de 0,45 à 0,63 sur Counterfactual et de 0,36 à 0,45 sur SST-5. Le gain est de 9 points à 4 et 8 milliards et de moins d’un point à 14 milliards (de 0,708 à 0,714). Le modèle de base de 14 milliards part de haut : la moitié de son avance de 8 points sans entraînement sur le modèle de base de 8 milliards traduit un a priori sur les étiquettes aligné sur trois tâches (avec la calibration par lot, qui supprime l’a priori, les moyennes sans entraînement sont de 0,58, 0,61 et 0,65 à 4, 8 et 14 milliards). L’exécution fixe de 2 000 pas produit aussi des régressions sur les tweets courts qui compensent ses gains sur les tâches à nombreuses étiquettes (annexe B). La section 5.7 montre qu’une exécution plus douce récupère la perte (0,731) et attribue les régressions sur les tweets à deux jeux d’entraînement qui leur sont voisins. L’exactitude et le macro-F1 évoluent différemment sur les tâches binaires déséquilibrées : sur Counterfactual, le modèle sans entraînement prédit l’étiquette majoritaire pour 334 exemples sur 335 (exactitude 0,82, macro-F1 0,45) et le modèle entraîné prédit les deux classes (0,84 et 0,63). L’entraînement atténue l’a priori de l’invite sur les étiquettes au profit du texte.

Sans entraînement, ce modèleEntraîné sur d’autres ensembles d’étiquettes
Rotten TomatoesARC-Challenge*TweetEval emotionSMS SpamMASSIVEMMLU*StrategyQATweetEval hateCounterfactualBanking77SST-5GoEmotions

Jeux de test complets; colonnes entraînées : moyenne de trois graines.

Figure 2. Avant et après l’entraînement, par tâche réservée, Qwen3-1.7B-Base, sur les jeux de test complets. En gris : la notation des options sans entraînement; en orange : après entraînement sur le mélange (tête scalaire), qui n’a jamais vu ces jeux de données. Triangles vides : le meilleur résultat publié sans entraînement sur la même métrique, issu de classifieurs spécialisés ou de travaux antérieurs sur des LLM de 1,7 à 20 milliards de paramètres ou de taille non divulguée (le tableau 3 ajoute les chiffres supervisés et ceux des modèles de pointe interrogés, que la légende permet d’afficher ici). Tâches ordonnées par score sans entraînement. Les autres tailles et gpt-oss-20b portent sur les sous-ensembles de 500 exemples (tableaux 16–19).

Face aux chiffres publiés. Les dernières colonnes du tableau 3 rapportent les meilleurs résultats publiés, sans entraînement et supervisés, sur la même métrique, avec la taille des modèles (annexe E), ainsi que le meilleur modèle de pointe interrogé de la section 5.5; la figure 2 signale les résultats publiés sans entraînement. Les modèles de pointe dépassent tous les chiffres publiés sans entraînement sauf sur SST-5, et définissent le plafond actuel sans entraînement; notre modèle entraîné de 8 milliards reste à 8,5 points du meilleur modèle (Claude Fable 5.1, 0,806) sur la moyenne des tâches réservées, avec 8 milliards de paramètres face à des modèles de taille non divulguée ou de l’ordre du billion de paramètres. Les meilleurs résultats publiés sans entraînement sont ceux de modèles de plongements et de reclasseurs de 8 milliards, de Flan-UL2 (20 milliards) et de ChatGPT ou GPT-4, soit 5 à 12 fois les paramètres de notre modèle lorsque la taille est connue. Sur MASSIVE, notre modèle de 1,7 milliard, qui n’a jamais vu ses 59 intentions, atteint 0,74 contre 0,67 pour le reclasseur de 8 milliards; sur Banking77, il atteint 0,66 contre 0,72 pour le modèle de plongements de 8 milliards, et les modèles entraînés sur les étiquettes de la tâche y restent nettement devant (exactitude de 0,94 avec BERT-large). Les deux sont mesurés sur les jeux de test complets; les résultats publiés utilisent les invites et la formulation des étiquettes de chaque article, si bien que des écarts d’un point n’établissent pas de classement.

Face au classement BTZSC. La figure 3 situe le modèle parmi les 35 classifieurs sans entraînement du classement BTZSC sur les trois tâches réservées que le banc d’essai évalue aussi, avec, pour chaque famille, le meilleur score à chaque taille ou en dessous. Un seul jeu de poids sert tous les ensembles d’étiquettes, et aucun de nos modèles n’a été entraîné sur la tâche évaluée. Sur MASSIVE, le modèle entraîné de 1,7 milliard (0,74) dépasse tous les systèmes du classement, dont le meilleur est un reclasseur de 8 milliards à 0,67, et le modèle de 0,6 milliard égale ce reclasseur avec 13× moins de paramètres. Sur Rotten Tomatoes, le modèle de 1,7 milliard est à moins de deux points du meilleur système et le modèle de 8 milliards le dépasse. Sur Banking77, où les modèles de plongements qui retrouvent les intentions par similarité sont les spécialistes, le modèle de 1,7 milliard se situe juste sous leur meilleur score (0,66 contre 0,72) et le modèle de 4 milliards au-dessus de tous les systèmes (0,73). Tous les LLM du classement, notés selon le protocole du premier jeton, sont à plus de 20 points sous les nôtres sur les tâches d’intention, jusqu’à 12 milliards de paramètres. Les quatre autres modèles de base (disques lettrés) se placent sur la courbe de Qwen3 ou au-dessus; gpt-oss-20b dépasse tous les systèmes sur Banking77 et MASSIVE, et Qwen2.5 32B tous les systèmes sur Rotten Tomatoes. La comparaison n’est pas exacte : les chiffres du classement utilisent les descriptions verbalisées des étiquettes du banc d’essai, les nôtres les noms des étiquettes; le tableau 30 (annexe D) donne nos chiffres selon le protocole propre au banc d’essai.

Les nôtres, entraînés
0,6 Md1,7 Md4 Md8 Md14 MdOOSSGGQQ
Figure 3. Macro-F1 selon le nombre de paramètres sur les trois tâches réservées que BTZSC évalue aussi. Escaliers gris : pour chaque famille du classement BTZSC [1], sa frontière de Pareto (le meilleur score à chaque taille ou en dessous), prolongée à plat jusqu’au plus grand système de la famille; petits repères gris, une forme par famille : les systèmes individuels tels que publiés (btzsc/btzsc-results, récupéré le 2026-09-20; jeux de test complets, descriptions verbalisées des étiquettes). En orange : notre modèle entraîné de 0,6 à 14 milliards de paramètres (tête scalaire, noms d’étiquettes, jeux de test complets, tableau 12; trois graines à 1,7 milliard; contour seul : l’exécution plus douce à 14 milliards de la section 5.7), qui n’a jamais vu ces jeux de données; cercles vides : les mêmes modèles de base sans entraînement; disques lettrés : les quatre autres modèles de base de la section 5.7, une taille chacun (O : OLMo-2 1B, S : SmolLM2 1.7B, G : gpt-oss-20b à 21 milliards de paramètres au total, Q : Qwen2.5 32B; sous-ensembles de 500 exemples), vides lorsqu’ils sont sans entraînement. Un segment pointillé relie le point sans entraînement de chaque modèle de base à son point entraîné.

Taille et calcul par décision. Le tableau 22 (annexe C) estime le coût d’une décision pour chacun de ces systèmes à 2 × paramètres × jetons traités. La passe empaquetée traite l’invite et chaque option une fois, soit 2,4 TFLOP sur Banking77 et 0,2 sur SST-5 à 1,7 milliard de paramètres; un reclasseur à encodeur croisé exécute une passe par étiquette et coûte 8× plus sur Banking77, et un modèle génératif de 20 milliards 6× plus avant même de décoder. Un bi-encodeur qui met en cache les plongements des étiquettes coûte moins sur Banking77, mais il renvoie une similarité par étiquette, chacune notée sans voir les autres. Parmi les systèmes qui se conditionnent sur l’ensemble des options, le nôtre est le plus petit et ne coûte pas plus par décision qu’aucun autre.

Quelle distance avec un modèle entraîné sur la tâche ? La colonne « Entraîné sur la tâche » du tableau 3 applique la même recette à la partition d’entraînement propre à chaque tâche, pendant 400 pas. Sur les tâches à nombreuses étiquettes et d’émotion, l’écart est grand : 0,87 contre 0,66 sur Banking77, 0,84 contre 0,74 sur MASSIVE, 0,85 contre 0,69 sur TweetEval emotion, 0,89 contre 0,63 sur Counterfactual. Sur ARC-Challenge et Rotten Tomatoes, le modèle général est à moins de deux points ou au-dessus (0,83 contre 0,84, 0,91 contre 0,89), sur SST-5 et StrategyQA il est en retrait de 11 et 6 points, et sur TweetEval hate le modèle entraîné sur la tâche fait moins bien (0,42 contre 0,56) : 400 pas sur la partition d’entraînement binaire déséquilibrée mènent au surapprentissage. Sur les tâches de questions et d’avis, le modèle général est proche du modèle entraîné sur la tâche; ailleurs, l’entraînement spécifique à la tâche ajoute de 6 à 26 points, surtout là où l’ensemble d’étiquettes est grand et spécifique.

Le SFT sur la seule bonne réponse atteint 0,605 avec la même lecture et les mêmes données (annexe B) : comparer la bonne option aux autres ajoute environ deux points de macro-F1, avec des améliorations plus nettes de la distribution (section 5.4). La notation du symbole au premier jeton reste sous la notation du texte sur toutes les tâches où elle s’applique, sauf TweetEval hate, où l’invite à lettres évite l’a priori « hate ».

TâcheSans entraînementTête LMTête scalaireEntraîné sur la tâcheMeilleur modèle de pointe interrogéMeilleur publié sans entraînement (taille)Meilleur supervisé (taille)
Banking770,3990,6500,6600,8740,868 (Claude Fable 5.1)0,715 (8 Md)–
MASSIVE0,6460,7160,7400,8360,890 (GPT-6 Astra)0,673 (8 Md)–
SST-50,3580,4290,4510,5640,544 (Claude Fable 5.1)––
TweetEval emotion0,6970,7010,6940,8490,802 (gpt-oss-120b)0,728 (n.c.)0,810 (0,12 Md)
TweetEval hate0,4840,5620,5600,4190,767 (Kimi K3)0,708 (20 Md)0,581 (0,12 Md)
Rotten Tomatoes0,8620,8830,8880,9110,952 (Claude Fable 5.1)0,903 (8 Md)–
SMS Spam0,6760,6730,703–0,986 (Claude Fable 5.1)––
Counterfactual0,4510,4980,6260,8900,847 (gpt-oss-120b)––
GoEmotions0,2060,2700,2950,4680,362 (gpt-oss-120b)––
ARC-Challenge†0,7450,8370,8380,8280,976 (Kimi K3)0,786 (3,2 Md)–
MMLU†0,5520,6050,592–0,938 (GPT-6 Astra)0,626 (1,7 Md)–
StrategyQA0,5480,6280,6460,7080,923 (Claude Fable 5.1)––
Moyenne0,5520,6210,641
Tableau 3. Performances sur les tâches réservées, Qwen3-1.7B-Base : macro-F1, ou exactitude pour les deux tâches marquées †, dont les options diffèrent d’un exemple à l’autre. Les colonnes tête LM et tête scalaire n’ont jamais vu ces jeux de données (les deux lectures : moyenne de trois graines); « Entraîné sur la tâche » est la même recette appliquée à la partition d’entraînement propre à la tâche (400 pas, tête scalaire), le plafond supervisé de ce modèle. Les trois dernières colonnes donnent du contexte : le meilleur des onze modèles de pointe interrogés du tableau 7 sur les sous-ensembles de 500 exemples (réponses libres), et les meilleurs chiffres publiés sur la même métrique, sur les jeux de test complets, issus de classifieurs spécialisés ou de travaux antérieurs sur des LLM non entraînés sur la tâche (sans entraînement) ou entraînés sur elle (supervisés), avec le nombre de paramètres du modèle (n.c. : non communiqué); sources et cas non comparables en annexe E. Nos colonnes portent sur les jeux de test complets, trois graines pour les deux lectures (le tableau 11 donne les sous-ensembles de 500 exemples utilisés ailleurs). Les colonnes d’ablation figurent en annexe B.

5.3 Quelle lecture se transfère ?

Dans la plupart des cas, la tête scalaire se transfère mieux que la tête LM. À 1,7 milliard de paramètres, elle mène de 2,0 points de score principal moyen sur trois graines (0,641 contre 0,621, tableau 3), de 13 points sur Counterfactual, de 2 à 3 sur MASSIVE, SST-5, SMS Spam, GoEmotions et StrategyQA et de 1 sur Banking77, tandis que la tête LM mène d’environ un point sur MMLU et TweetEval emotion et que les autres tâches sont à moins d’un point. Elle est aussi plus robuste au renommage. Remplacer chaque étiquette des sept tâches réservées à petits ensembles d’étiquettes par une paraphrase (« ham » par « legitimate message », « optimism » par « hopeful »; annexe A) coûte 6,9 points d’exactitude à la tête scalaire, 9,3 à la tête LM et 10,0 au modèle sans entraînement (tableau 4). Les deux lectures dépendent de représentations préentraînées qui ne sont pas nécessairement invariantes aux paraphrases d’étiquettes. Cette sensibilité est déjà présente avant le réglage fin (section 5.7) et peut refléter une familiarité lexicale ou une exposition aux bancs d’essai pendant le préentraînement; cette expérience ne permet pas de départager ces explications. À 0,6 milliard, l’ordre est le même (0,568 contre 0,527). Entraîner les deux têtes et sommer leurs scores n’aide pas : 0,617 sur les tâches réservées à 2 000 pas, sous chacune des deux têtes seule, et 0,600 sur les étiquettes renommées. Ces résultats plaident pour la tête scalaire à l’entraînement et pour la tête LM en notation sans entraînement.

Lecture à un seul jeton. Le modèle concomitant this-that-model [9] lit sa décision à une position désignée. Pour isoler la lecture, nous l’entraînons dans des conditions par ailleurs identiques : les logits des lettres d’option à la position de réponse (le protocole du premier jeton de la section 5.1), avec le même LoRA, le même objectif et le même mélange (Qwen3-1.7B-Base, graine 0). Sur les mêmes 500 exemples de test par tâche, elle atteint 0,626 contre 0,652 pour le pack-readout scalaire et 0,617 pour la tête LM (tableau 24, annexe C). Les intervalles bootstrap appariés à 95 % sur les exemples vont de +1,5 à +3,8 points pour la tête scalaire par rapport à la lecture à un seul jeton, et de −2,2 à +0,4 pour la tête LM; la tête scalaire est aussi mieux calibrée (Brier 0,414 contre 0,447, ECE 0,097 contre 0,116). Ces résultats proviennent d’une seule graine, et les intervalles n’incluent pas la variation entre graines.

Lecture (graine 0)Moyenne des tâches réservées7 tâches renommablesLes mêmes, étiquettes renommées
sans entraînement0,6260,6960,596
tête scalaire0,6980,7300,661
tête LM0,6610,6790,586
les deux têtes0,6440,6480,600
tête LM, logits normalisés par octet0,6780,713–
lecture à un seul jeton0,679––
Tableau 4. Comparaison des lectures, Qwen3-1.7B-Base, graine 0 : exactitude sur toutes les tâches réservées, sur les sept dont les étiquettes peuvent être renommées, et sur ces mêmes sept tâches avec chaque étiquette paraphrasée. La lecture à un seul jeton est mesurée sur les 5 835 exemples appariés du tableau 24, où la tête scalaire obtient 0,696 et la tête LM 0,650; elle n’a pas été évaluée avec des étiquettes renommées.

5.4 Calibration sur des tâches inédites

Le tableau 5 et la figure 4 distinguent deux notions de calibration. Les scores propres qu’optimise l’objectif s’améliorent sur des tâches inédites pour les deux lectures : Brier de 0,507 à 0,452 (tête LM) et 0,418 (tête scalaire), NLL de 1,149 à 0,994 et 0,881, de même que le classement par confiance (AUROC de 0,69 à 0,73 et 0,75; exactitude sur la moitié la plus confiante de 0,74 à 0,79 et 0,81). L’ECE top-1 à T = 1 ne s’améliore pas avec la tête LM (de 0,114 à 0,121), mais s’améliore avec la tête scalaire (0,098) : les logits de la tête LM conservent l’échelle du modèle de langage, ce qui améliore le classement par confiance sans améliorer la calibration top-1; la tête scalaire apprend sa propre échelle. Une température par tâche, ajustée de manière croisée, divise environ par deux l’ECE pour les deux lectures, si bien qu’un petit échantillon étiqueté d’une nouvelle tâche améliore encore sa calibration absolue.

L’objectif compte davantage pour la distribution que pour l’exactitude. Le SFT sur la seule bonne réponse égale le score logarithmique en exactitude (0,664 contre 0,667, tête LM), mais a la pire distribution des modèles entraînés avec une perte supervisée (NLL 1,22 contre 0,99; ECE 0,150 contre 0,121) : sa perte ne compare jamais les options incorrectes à la bonne. Entraîner sur le score de Brier, une récompense de calibration qu’optimiserait une méthode de type RLCD (section 3.4), réduit l’exactitude de 2,9 points et améliore légèrement l’ECE (0,111), mais donne un score de Brier sur les tâches réservées moins bon (0,471 contre 0,452) et une AUROC moins bonne (0,70 contre 0,73); des deux scores propres, le score logarithmique est le meilleur objectif d’entraînement. REINFORCE avec une récompense d’exactitude égale le score logarithmique en exactitude (0,657), mais a une confiance moyenne de 0,92 pour une exactitude de 0,66; son ECE (0,266) est le double de celle du modèle non entraîné et sa NLL (2,45) le double de celle de tout objectif à score propre. C’est la surconfiance induite par la récompense que Damani et al. [14] rapportent pour des générateurs entraînés par apprentissage par renforcement avec récompenses vérifiables (RLVR) [32], reproduite dans un modèle de décision en une passe. Lorsque des étiquettes sont disponibles, l’objectif à score propre atteint la même exactitude sans ce coût.

5 835 prédictions
Fiabilité
Prédiction sélective
0,780Sans entraînement, répond si la confiance ≥ 0,670,862Entraîné (tête scalaire), répond si la confiance ≥ 0,77
Figure 4. Calibration sur les tâches réservées, Qwen3-1.7B-Base, sans entraînement contre la tête scalaire entraînée, regroupée sur les douze tâches (5 835 prédictions; intervalles d’au moins 20). À gauche : diagramme de fiabilité; la diagonale en tirets indique l’égalité entre confiance et exactitude. Les deux modèles en restent proches sans mise à l’échelle de la température dans cette vue regroupée (ECE regroupée de 0,04 pour les deux). Le regroupement peut masquer des erreurs de sens opposés sur différentes tâches, si bien que le texte et les tableaux rapportent l’ECE par tâche, plus stricte (tableau 5); le menu des tâches montre chaque tâche seule. À droite : exactitude sur la fraction la plus confiante des exemples; la courbe monte quand la couverture diminue, car la confiance classe les décisions correctes au-dessus des erronées.
Modèleexact.ECEBrierNLLAUROCexact. à 50 % couv.
sans entraînement, brut0,6260,1140,5071,1490,6900,743
sans entraînement, brut + TS0,6260,0520,4821,0630,6910,744
set-CE, tête LM0,6670,1210,4520,9940,7290,789
set-CE, tête LM + TS0,6670,0530,4260,8780,7190,783
SFT sur la seule bonne réponse0,6640,1500,4751,2200,7360,792
set-CE, tête scalaire0,6920,0980,4180,8810,7490,814
perte de Brier0,6380,1110,4711,0080,6970,743
REINFORCE (récompense d’exactitude)0,6570,2660,5862,4500,7120,770
Tableau 5. Calibration sur les tâches réservées, Qwen3-1.7B-Base, moyenne sur les tâches. « +TS » : une température ajustée sur une moitié du jeu de test de chaque tâche, évaluée sur l’autre moitié.

Les décisions ordinales utilisent toute la distribution. SST-5 compte cinq niveaux ordonnés. Le tableau 23 (annexe C) compare l’argmax au niveau espéré Σk k pk, l’estimateur de Score (section 3.3). Pour les cinq modèles, le niveau espéré arrondi réduit l’erreur absolue moyenne et les erreurs de deux niveaux ou plus, et améliore le classement des phrases. La tête scalaire entraînée de 1,7 milliard de paramètres s’améliore le plus : l’erreur absolue moyenne passe de 0,64 à 0,55 niveau, les erreurs de deux niveaux ou plus de 8,7 % à 5,5 %, et la corrélation de rang avec le niveau de référence monte de 0,76 à 0,83 (trois graines). La distribution conserve une information que l’argmax écarte.

5.5 Face à un modèle de langage invité à nommer l’étiquette

La classification par invite demande une étiquette à un modèle ajusté aux instructions et analyse sa réponse. Les modèles de décision restreignent les sorties à l’ensemble des options, ce qui élimine les échecs d’analyse et les étiquettes invalides [68]. Le tableau 6 compare ces approches à tailles de modèle égales. Qwen3-1.7B, 4B et 8B ajustés aux instructions reçoivent l’invite du noteur sans sa ligne d’amorce, suivie d’une instruction demandant de renvoyer une réponse de la liste, au format conversationnel avec la réflexion désactivée. Les réponses libres sont échantillonnées avec les réglages recommandés par les auteurs du modèle (température 0,7, top-p 0,8, top-k 20; graine 0) sur les jeux de test complets, puis appariées aux options, et les réponses non appariées comptent comme fausses. Nous évaluons aussi un décodage glouton restreint aux chaînes des options.

Premièrement, l’interrogation par invite est moins exacte, sur la plupart des tâches, que la notation sans entraînement de la version de base du même modèle, et bien en dessous du modèle entraîné : une métrique principale moyenne de 0,52 pour les réponses libres comme pour les réponses contraintes, contre 0,55 sans entraînement et 0,64 après entraînement. Deuxièmement, les réponses libres sont invalides dans 1,7 % des cas en moyenne et dans 6 à 7 % des cas sur Banking77 et TweetEval emotion, alors même que l’instruction demande l’une des réponses de la liste, exactement telle qu’elle est écrite. Le tableau 25 (annexe C) en donne des exemples : sur Banking77, le modèle produit des intentions plausibles absentes de la liste (« reverted top up » pour « top up reverted », « freeze my account » pour « compromised card »), sur les tâches d’émotion il répond par un synonyme d’une étiquette (« angry », « sad »), et sur les tâches de questions il explique au lieu de choisir. Le décodage contraint supprime les réponses invalides mais laisse la moyenne inchangée, ce qui concorde avec un modèle qui garde sa préférence pour sa propre formulation dans les premiers jetons. Troisièmement, toute décision par invite exige un décodage séquentiel : 99 ms en médiane pour les réponses libres et 63 ms en mode contraint sur un A100-40GB de Lambda, contre 47–54 ms pour la passe empaquetée sur l’A100-40GB de Colab (section 5.6); le rapport entre les deux machines est approximatif. À 4 et 8 milliards de paramètres, le même schéma tient avec un écart plus faible : les modèles interrogés atteignent 0,63 et 0,66 avec 1 % de réponses invalides, en 128–131 ms, contre 0,60 et 0,63 sans entraînement et 0,69 et 0,72 après entraînement; notre modèle entraîné de 1,7 milliard (0,64) devance le modèle interrogé de 4 milliards, et notre modèle entraîné de 4 milliards (0,69) le modèle interrogé de 8 milliards.

les nôtres, 1,7 MdQwen3-1.7B interrogé
TâcheSans entraînementEntraînélibrecontraint
Banking770,4010,6800,4140,417
MASSIVE0,6730,7460,5180,518
SST-50,3410,4550,2520,255
TweetEval emotion0,6980,6580,5050,537
TweetEval hate0,5010,5820,3520,352
Rotten Tomatoes0,8700,9030,8590,861
SMS Spam0,6450,6780,7310,719
Counterfactual0,4520,6410,6160,599
GoEmotions0,1940,2730,1250,130
ARC-Challenge†0,7340,8250,7130,719
MMLU†0,5840,6310,5420,535
StrategyQA0,5460,6180,5910,591
Moyenne0,5530,6410,5180,520
Réponses invalides1,7 %0,0 %
Médiane, ms par décision48489963
les nôtres, 4 MdQwen3-4B interrogé
TâcheSans entraînementEntraînélibrecontraint
Banking770,5780,7560,6060,606
MASSIVE0,7280,7720,6980,697
SST-50,3930,5080,3690,369
TweetEval emotion0,7100,6720,6740,675
TweetEval hate0,6240,5660,6100,609
Rotten Tomatoes0,8870,9150,9050,902
SMS Spam0,5100,7660,5370,537
Counterfactual0,5280,7640,7110,719
GoEmotions0,1990,2820,2820,284
ARC-Challenge†0,8360,8850,8670,868
MMLU†0,6580,7020,6590,669
StrategyQA0,5230,7100,6550,649
Moyenne0,5980,6910,6310,632
Réponses invalides0,8 %0,0 %
Médiane, ms par décision606013181
les nôtres, 8 MdQwen3-8B interrogé
TâcheSans entraînementEntraînélibrecontraint
Banking770,6100,7550,5810,583
MASSIVE0,8020,8090,7410,727
SST-50,2570,5260,4230,425
TweetEval emotion0,7340,6610,6910,706
TweetEval hate0,5930,5630,7040,702
Rotten Tomatoes0,8910,9270,9120,915
SMS Spam0,6920,8790,7710,774
Counterfactual0,4700,7960,6200,620
GoEmotions0,2250,3200,2310,238
ARC-Challenge†0,8840,9270,9100,916
MMLU†0,6800,7600,7150,715
StrategyQA0,6850,7260,6760,680
Moyenne0,6270,7210,6650,667
Réponses invalides0,7 %0,0 %
Médiane, ms par décision12884
Tableau 6. Interrogation du modèle ajusté aux instructions de même taille contre notation des options, Qwen3 à 1,7 milliard, 4 et 8 milliards de paramètres, douze tâches réservées (macro-F1, ou exactitude pour †); les nôtres sur les sous-ensembles de 500 exemples, les modèles interrogés sur les jeux de test complets. Libre : réponse échantillonnée appariée à une option; contraint : décodage glouton restreint aux chaînes des options. Les réponses invalides ne nomment aucune option et comptent comme fausses. Latence par décision avec un lot de taille un, médiane sur les tâches : l’interrogation est chronométrée sur les invites des tâches sur un A100-40GB de Lambda; la nôtre est lue dans le balayage du tableau 27 sur l’A100-40GB de Colab, au nombre d’options de chaque tâche, une passe empaquetée, sans entraînement comme après entraînement (section 5.6).

Modèles plus grands. Le tableau 7 reprend le protocole des réponses libres pour onze modèles hébergés (annexe F). Leurs moyennes sur les tâches réservées vont de 0,710 (DeepSeek V3.2) à 0,806 (Claude Fable 5.1), contre 0,721 pour notre modèle entraîné de 8 milliards (deux graines; le modèle entraîné de 14 milliards obtient 0,714, et 0,731 avec 1 000 pas à demi-taux d’apprentissage, deux graines). DeepSeek V3.2, un modèle à poids ouverts de 671 milliards de paramètres, se place en dessous (notre modèle de 8 milliards le devance sur 6 des 12 tâches); les modèles de pointe actuels, GPT-6 Astra (0,793), Claude Fable 5.1 (0,806), Muse Spark 1.3 (0,790) et Kimi K3 (0,778, 2,8 billions de paramètres), le dépassent de 6 à 9 points; GPT-5 et Claude Sonnet 4.6, de la génération précédente, le dépassent de 3 à 5 points. Au plus 0,9 % de leurs réponses ne nomment aucune option. Ils ne renvoient aucune probabilité, leurs réponses doivent quand même être analysées, et chaque décision exige un décodage séquentiel : environ 4 pas pour Qwen3-235B et DeepSeek V3.2, de 6 à 138 pour les modèles fermés et 177 pour Kimi K3, qui raisonne avant de répondre, contre un seul préremplissage.

La figure 5 compare les trois approches selon la taille du modèle. La courbe entraînée dépasse la courbe des modèles interrogés à toutes les tailles testées, mais l’écart se resserre, de 12 points à 1,7 milliard de paramètres à 6 points à 4 et 8 milliards. Les performances après entraînement plafonnent de 8 à 14 milliards; celles des modèles hébergés interrogés continuent d’augmenter, jusqu’à 0,78 pour gpt-oss-120b. Les quatre autres modèles de base entraînés (disques lettrés) suivent la même courbe malgré des scores initiaux différents : SmolLM2 1.7B atteint le score de Qwen3-1.7B en partant de 25 points plus bas, OLMo-2 1B suit la courbe à 1 milliard, et gpt-oss-20b et Qwen2.5 32B la prolongent. Ces résultats n’établissent pas les performances à l’échelle des modèles de pointe; aux tailles testées, le modèle entraîné surpasse l’interrogation par invite à sa propre taille ainsi que des modèles interrogés de deux à quatre-vingts fois plus grands.

Les nôtres, entraînés
taille non divulguée0,6 Md1,7 Md4 Md8 Md14 MdOOSSGGQQ1,7 Md4 Md8 Mdgpt-oss-120bKimi K3GLM-5.3Qwen3-235BDeepSeek V3.2
Figure 5. Moyenne sur les tâches réservées selon le nombre de paramètres, pour trois façons d’utiliser un modèle de langage comme classifieur : inviter un modèle ajusté aux instructions à nommer l’étiquette (Qwen3 sur notre GPU; modèles hébergés à poids ouverts à leur taille publique), la notation des options sans entraînement, et nos modèles entraînés (Qwen3 à chaque taille; contour seul : l’exécution plus douce à 14 milliards de la section 5.7; disques lettrés : les quatre autres modèles de base, une taille chacun, gpt-oss-20b à ses 21 milliards de paramètres au total). Un segment pointillé relie le point sans entraînement de chaque modèle de base à son point entraîné; les modèles fermés de taille non divulguée se trouvent dans la colonne grisée. Les lignes relient chaque frontière de Pareto (le meilleur à chaque taille ou en dessous). La flèche compare notre plus grand modèle à Qwen3-235B interrogé, de même famille et de même préentraînement, si bien que le rapport est une comparaison au sein d’une même famille (les tailles hébergées sont des paramètres totaux; Qwen3-235B en a 22 milliards actifs). Le menu montre chaque tâche seule (les nôtres et Qwen3 interrogé de 1,7 à 8 milliards, avec les réglages de leurs tableaux).
TâcheLe nôtre, entraînéClaude Fable 5.1réflexion adaptativeGPT-6 Astraraisonnement minimalMuse Spark 1.3raisonnement minimalgpt-oss-120bKimi K3Claude Sonnet 4.6sans réflexion
Banking770,7550,8680,8570,8330,8430,8470,800
MASSIVE0,8090,8900,8900,8600,8380,8590,832
SST-50,5260,5440,5100,4830,4930,4950,525
TweetEval emotion0,6610,7710,7750,7690,8020,7580,761
TweetEval hate0,5630,7010,6050,7530,7340,7670,752
Rotten Tomatoes0,9270,9520,9480,9300,9080,9440,936
SMS Spam0,8790,9860,9760,9580,8970,9110,930
Counterfactual0,7960,8180,8210,8210,8470,7360,721
GoEmotions0,3200,3280,3370,3080,3620,2750,285
ARC-Challenge†0,9270,9680,9720,9700,9500,9760,964
MMLU†0,7600,9220,9380,9240,8620,9120,898
StrategyQA0,7260,9230,8830,8680,8000,8510,829
Moyenne0,7210,8060,7930,7900,7780,7780,769
Réponses invalides0,0 %0,0 %0,0 %0,1 %0,7 %0,1 %
Jetons de réponse, moyenne2513138–1776
TâcheLe nôtre, entraînéClaude Sonnet 5réflexion adaptativeGLM-5.3raisonnement faibleGPT-5raisonnement minimalQwen3-235BDeepSeek V3.2
Banking770,7550,8110,7840,7870,7330,726
MASSIVE0,8090,8550,8090,8320,8260,833
SST-50,5260,5170,4840,5110,5150,397
TweetEval emotion0,6610,7410,7360,7480,7680,761
TweetEval hate0,5630,6760,7410,6690,6970,544
Rotten Tomatoes0,9270,9460,9400,9400,9360,928
SMS Spam0,8790,9730,9200,8680,8620,907
Counterfactual0,7960,5640,7180,8010,7370,689
GoEmotions0,3200,3500,2460,2770,2110,269
ARC-Challenge†0,9270,9700,9740,9580,9500,942
MMLU†0,7600,9080,8940,8760,8260,848
StrategyQA0,7260,8540,8680,7570,7820,674
Moyenne0,7210,7640,7590,7520,7370,710
Réponses invalides0,1 %0,1 %0,1 %0,9 %0,1 %
Jetons de réponse, moyenne13132144
Tableau 7. Modèles hébergés ajustés aux instructions, invités à nommer l’étiquette (réponses libres), face à notre modèle entraîné de 8 milliards : macro-F1, ou exactitude pour †, part des réponses invalides et nombre moyen de jetons décodés par réponse, raisonnement compris. GPT-5, GPT-6 Astra et Muse Spark 1.3 tournent avec un effort de raisonnement minimal, GLM-5.3 avec un effort faible, et les autres modèles avec leurs réglages par défaut, ce qui signifie la réflexion adaptative activée pour Claude Sonnet 5 et Claude Fable 5.1 (Fable ne peut pas la désactiver) et aucune réflexion pour Claude Sonnet 4.6. Identifiants, tailles, fournisseurs et réglages des modèles en annexe F.

5.6 Efficacité

La figure 6 et le tableau 27 (annexe C) comparent la passe empaquetée à la réplication du cache KV, à une séquence par option, au décodage glouton contraint de l’étiquette (un trie sur les jetons des options) et à la génération JSON d’une justification d’une phrase suivie de l’étiquette, sur le même modèle de base et avec la même exécution PyTorch en mode eager. Dans cette configuration, les temps absolus sont dominés par le surcoût de chaque passe avant (environ 40 ms à 1,7 milliard de paramètres); ce sont donc les rapports qui sont comparables. La notation empaquetée utilise la tête LM; la référence JSON ajoute une instruction demandant de générer une justification et l’étiquette. Chaque méthode est chronométrée une fois par entrée sur 20 requêtes de Banking77 et trois ensembles d’étiquettes aléatoires par nombre d’options, si bien que les plages de la figure 6 montrent la variation selon les entrées et les tirages d’étiquettes. La latence empaquetée est de 47–48 ms de 2 à 16 options, de 54 ms à 77 et de 91 ms à 255 (une invite de 926 jetons), avec un p90 à moins de 2 ms de la médiane. La réplication KV coûte environ 2× partout et 4,8× à 255 options, et à 4 milliards ne tient pas dans 40 Go à 255 options (annexe H). La génération a un coût par pas de décodage, le total dépendant du texte généré : le décodage contraint prend 164–217 ms en médiane sur le balayage, 2,4–4,3× la passe empaquetée, avec des p90 jusqu’à 200 ms au-dessus de sa médiane. Après le préremplissage, chaque jeton d’étiquette supplémentaire exige un pas de décodage (3,0 à 3,7 pas en moyenne sur trois ensembles d’étiquettes aléatoires par nombre d’options), si bien que le coût du décodage dépend directement de la longueur de l’étiquette choisie; le JSON avec justification prend 1,0–1,2 s en médiane, 13–22× la passe empaquetée, avec des p90 supérieurs de 0,2–0,4 s. Une séquence par option, le réglage par défaut de lm-evaluation-harness, est compétitive jusqu’à 8 options, puis croît avec le produit du nombre d’options par la longueur de l’invite. Aux prix d’un A100 à la demande (1,5–2 $ de l’heure), une décision entre 77 options coûte environ 0,03 $ les mille.

Coût de la conversion. Convertir un modèle préentraîné demande un seul entraînement LoRA : 2 000 pas de 8 exemples, soit 16 000 présentations d’exemples publics de classification de 154 jetons empaquetés chacun, 2,5 M de jetons d’entraînement au total, sans données synthétiques, sans étiquettes issues d’un plus grand modèle ni apprentissage par renforcement. À 6 × paramètres × jetons, cela fait 25 PFLOP à 1,7 milliard de paramètres et 120 à 8 milliards, 20 minutes sur un A100 à 1,7 milliard (38 pour l’exécution de 1 000 pas à 4 milliards), 2,1 et 3,3 heures sur un DGX Spark à 8 et 14 milliards, le temps étant dominé par le surcoût de lancement des noyaux. Le tableau 26 (annexe C) compare les données et le calcul d’adaptation des classifieurs spécialisés sans entraînement (section 5.8) et des modèles ajustés aux instructions. Le meilleur système BTZSC proche de notre taille, un encodeur croisé NLI, a été réglé finement sur environ 885 000 paires NLI pendant trois époques, soit une dizaine d’heures d’A100 pour un entraînement comparable; le meilleur système de 8 milliards, Qwen3-Reranker-8B, sur 19 millions de paires de recherche, dont douze millions synthétiques; le meilleur modèle de plongements sur 800 millions de paires extraites du web, puis 3 millions de paires annotées; le réglage par instructions de Flan-T5-XXL a coûté 3 000 fois notre entraînement; et le post-entraînement des modèles ajustés aux instructions et des modèles de pointe n’est pas divulgué. Notre conversion utilise trois ordres de grandeur d’exemples de moins que les systèmes entraînés pour la recherche, chaque exemple est public, et elle laisse intacts les poids du modèle de base.

Empaqueté (le nôtre)
3,23,03,73,43,73,5Génération JSONRéplication du cache KVDécodage contraintEmpaqueté (le nôtre)
Figure 6. Latence par décision selon le nombre d’options, Qwen3-1.7B-Base sur un A100, deux axes logarithmiques : les lignes sont les médianes sur les mêmes 20 entrées, les plages les 80 % centraux des entrées et des tirages d’étiquettes. La latence empaquetée passe de 47–48 ms à 2–16 options à 91 ms à 255; sa dispersion d’une entrée à l’autre est faible. La génération JSON avec justification est plus lente d’un ordre de grandeur, et le décodage contraint 2,4–4,3× plus lent. Les annotations indiquent le nombre moyen de pas de décodage. Les grands ensembles d’options peuvent avoir des étiquettes plus longues, ce qui allonge le décodage; chaque nombre d’options utilise trois tirages aléatoires parmi des noms d’intentions regroupés, si bien que ce balayage ne sépare pas les deux effets. Les balayages à 0,6 et 4 milliards de paramètres sont ceux de l’annexe H; la légende permet d’afficher une séquence par option.

5.7 La recette : modèles de base et moteurs du transfert

Modèles de base. Le tableau 8 applique la même procédure à Qwen3-Base en cinq tailles, à SmolLM2-1.7B (architecture Llama, de la taille de Qwen3-1.7B), à OLMo-2-1B (données d’entraînement ouvertes), à Qwen2.5-32B et à gpt-oss-20b. SmolLM2-1.7B part 19 points sous Qwen3-1.7B sans entraînement et finit à moins d’un point (exactitude de 0,68 contre 0,69 sur les tâches réservées); OLMo-2-1B, la base la plus faible, gagne 21 points; Qwen3-4B et 8B gagnent 6 points chacun et 14B un point, tous finissant avec une ECE entre 0,08 et 0,09 : le gain d’exactitude diminue à mesure que le modèle de base grandit, pas le gain de calibration. gpt-oss-20b [51] diffère des autres : c’est un mélange d’experts post-entraîné (21 milliards de paramètres, dont 3,6 milliards actifs) avec des couches à fenêtre glissante et des puits d’attention, exécuté par une seconde implémentation complète de la méthode qui construit ses masques couche par couche. Sans entraînement, il note mal les options (macro-F1 de 0,51), comme c’est courant pour les modèles conversationnels post-entraînés; la recette le porte à 0,70 avec la tête scalaire, avec une ECE passant de 0,21 à 0,10, le plus fort gain de tous les modèles au-delà de 1,7 milliard de paramètres.

Modèle de baseSans entraînementTête LMTête scalaireECE sans entr.ECE tête LMECE scalaire
Qwen3-0.6B0,4310,5560,6340,2600,1690,113
OLMo-2-1B0,3970,5330,6050,2920,2070,133
SmolLM2-1.7B0,4340,5810,6800,1620,1580,117
Qwen3-1.7B0,6260,6670,6920,1140,1210,098
Qwen3-4B0,6670,6750,7230,1130,1070,094
Qwen3-8B0,6920,7410,7470,1220,1100,087
Qwen3-14B0,7360,7320,7490,1220,1160,086
gpt-oss-20b0,5900,7260,7370,2080,1220,100
Qwen2.5-32B0,734–0,7680,105–0,080
Tableau 8. La recette sur différents modèles de base : exactitude moyenne sur les tâches réservées et ECE (T = 1), sans entraînement et après entraînement avec chaque lecture.

Entraîner des modèles plus grands. Le taux d’apprentissage et le nombre de pas de la recette ont été choisis à 1,7 milliard de paramètres. À 14 milliards, la recette inchangée ajuste le mélange plus étroitement (perte d’entraînement finale de 0,35 contre 0,44 à 8 milliards) et ne gagne qu’un point : les régressions sur les textes courts compensent les progrès sur les tâches à nombreuses étiquettes. Le tableau 9 reprend l’entraînement avec un taux d’apprentissage plus faible, moins de pas, ou les deux : chaque exécution plus douce atteint de 0,729 à 0,731, au-dessus du modèle entraîné de 8 milliards, avec les tâches à textes courts à deux à quatre points du niveau sans entraînement, les gains sur les tâches à nombreuses étiquettes conservés et une ECE de 0,07 à 0,08. La quantité d’adaptation est décisive, qu’elle soit réglée par le nombre de pas ou par le taux d’apprentissage. Le réglage choisi à 1,7 milliard, où l’augmentation de l’un comme de l’autre continuait d’aider, suradapte un modèle de 14 milliards (la tête LM à 14 milliards tombe sous le niveau sans entraînement en moyenne, à 0,699). Appliquée à Qwen2.5-32B, réparti sur deux GPU, la même exécution plus douce porte la moyenne des tâches réservées de 0,704 à 0,737, la plus élevée de tous les modèles entraînés ici, en 1,7 heure. Les graphiques par taille des figures 5 et 3 montrent cette exécution de 1 000 pas à demi-taux d’apprentissage à 14 milliards comme leur point en contour seul; les tableaux conservent la recette inchangée.

EntraînementMoyenne des tâches réservéesTâches à nombreuses étiquettesTâches à textes courtsECE
sans entraînement0,7080,5580,6920,122
recette : taux 2×10⁻⁴, 2 000 pas0,7140,6350,6130,086
taux 2×10⁻⁴, 1 000 pas0,7310,6320,6680,080
taux 10⁻⁴, 2 000 pas0,7290,6320,6570,074
taux 10⁻⁴, 1 000 pas0,7310,6260,6710,071
taux 5×10⁻⁵, 2 000 pas0,7300,6340,6540,081
recette, tête LM0,6990,6010,5980,116
Tableau 9. Exécutions plus douces à 14 milliards de paramètres : moyenne des tâches réservées, les trois tâches à nombreuses étiquettes (Banking77, MASSIVE, GoEmotions), les quatre tâches à textes courts (SST-5, TweetEval emotion et hate, SMS Spam) et ECE. Une graine chacune, deux pour l’exécution de 1 000 pas à demi-taux d’apprentissage.

Nombre d’ensembles d’étiquettes. À budget fixe de 16 000 présentations d’exemples et de 2 000 pas, nous entraînons la tête scalaire sur 4 à 18 des tâches d’entraînement, avec trois sous-ensembles aléatoires de tâches par nombre (figure 7; tableau 28 en annexe C). L’exactitude sur les tâches réservées augmente avec le nombre d’ensembles d’étiquettes d’entraînement à données fixes, surtout sur les tâches à nombreuses étiquettes. Chaque nombre reste au-dessus du niveau sans entraînement sur la moyenne des tâches réservées (0,638 avec 4 ensembles d’étiquettes contre 0,626), qui monte ensuite à 0,69 avec 18, avec une dispersion entre tirages à peu près aussi grande que la tendance. Les trois tâches à nombreuses étiquettes passent de 0,47 avec 4 ensembles à 0,61 avec 18, et l’ECE baisse de 0,15 à 0,10. Cela concorde avec un modèle entraîné sur peu d’ensembles d’étiquettes qui apprend ces ensembles, et un modèle entraîné sur de nombreux ensembles d’étiquettes qui apprend à interpréter les étiquettes listées.

Toutes les tâches réservées
Figure 7. Exactitude sur les tâches réservées selon le nombre d’ensembles d’étiquettes d’entraînement à données fixes, Qwen3-1.7B-Base, tête scalaire; plage : ±1 écart-type sur trois sous-ensembles aléatoires de tâches par nombre, chaque sous-ensemble étant un point pâle. L’exactitude augmente avec le nombre d’ensembles d’étiquettes d’entraînement à données fixes, le plus fortement sur les tâches à nombreuses étiquettes; la moyenne dépasse le niveau sans entraînement dès quatre ensembles. Le menu montre l’ECE et l’AUROC des mêmes exécutions (tableau 28).

Quantité de données. Le tableau 29 (annexe C) entraîne la tête scalaire pendant les mêmes 2 000 pas sur des réserves de 2 000 à 36 000 exemples. L’exactitude sature tôt, la calibration non : la réserve de 2 000 exemples, vue huit fois, donne déjà 0,595 contre 0,553 sans entraînement, et la réserve complète 0,641, tandis que l’ECE baisse de 0,31 à 0,10. Les exemples répétés cessent d’améliorer l’exactitude bien avant de cesser d’accroître la surconfiance; la réserve doit donc être aussi grande que les ensembles d’étiquettes le permettent.

Sensibilité aux noms d’étiquettes. Les noms d’étiquettes font partie de l’invite et influent sur les performances. Sur SMS Spam, « ham »/« spam » donne au modèle de base de 0,6 milliard une exactitude de 0,12 (il qualifie presque chaque message de spam) et « legitimate message »/« unsolicited junk » 0,75; à 1,7 milliard, l’ordre s’inverse (0,80 et 0,48), et la tête scalaire entraînée conserve la préférence du modèle de base (0,90 et 0,52).

Ensembles d’étiquettes voisins dans le mélange. Deux jeux d’entraînement ressemblent fortement à des jeux réservés (section 4) : Emotion partage trois des quatre étiquettes de TweetEval emotion, et TweetEval offensive est une version plus large de TweetEval hate. Le tableau 10 rapporte la même recette sans eux. Retirer ces jeux de données améliore leurs équivalents réservés : TweetEval emotion passe de 0,66 à 0,73 et TweetEval hate de 0,58 à 0,68 (son ECE de 0,18 à 0,06), soit trois à cinq fois la dispersion entre graines. La moyenne des tâches réservées est inchangée (de 0,641 à 0,634) : SMS Spam et Counterfactual, les deux tâches binaires déséquilibrées, perdent à peu près ce que gagnent les tâches de tweets, dans les limites de leur dispersion entre graines; TweetEval offensive était la seule tâche binaire déséquilibrée du mélange. À 4 milliards de paramètres, avec des exécutions de 1 000 pas, le même retrait ajoute 2 points sur emotion et 5 sur hate, qui revient à son niveau sans entraînement, et laisse là encore la moyenne inchangée (une graine chacune). Cela suggère que la forme des ensembles d’étiquettes détermine la valeur d’un jeu d’entraînement pour le mélange. Un jeu d’entraînement dont l’ensemble d’étiquettes duplique presque celui d’une tâche réservée abaisse le score de cette tâche, car le modèle apprend un a priori et des frontières de classes pour des étiquettes qui ont un autre sens au moment du test; un jeu d’entraînement de même forme aide quel que soit son domaine.

TailleMélangePasGrainesTweetEval emotionTweetEval hateGoEmotionsMoyenne réservée
1,7 Mdles 18 tâches2 00030,6580,5820,2730,641
1,7 Mdsans Emotion ni TweetEval offensive2 00020,7260,6760,2330,634
4 Mdles 18 tâches1 00010,7320,5660,2910,693
4 Mdsans Emotion ni TweetEval offensive1 00010,7490,6180,2640,698
Tableau 10. Le mélange sans les deux jeux d’entraînement voisins de tâches réservées (Emotion, TweetEval offensive), tête scalaire, sous-ensembles de 500 exemples : les tâches réservées apparentées à ces voisins s’améliorent et la moyenne des tâches réservées est inchangée. Chaque ligne est la moyenne sur ses graines; la paire à 4 milliards de paramètres correspond à des exécutions de 1 000 pas au taux d’apprentissage de la recette (le réglage « court » du tableau 9).

Ce qu’enseigne l’entraînement. Ces résultats suggèrent que l’entraînement enseigne la classification : interpréter l’ensemble d’étiquettes de l’invite, comparer les options et attribuer des probabilités. Six observations appuient cette interprétation. L’entraînement utilise 2,5 M de jetons d’étiquettes publiques contre des billions de jetons de préentraînement, et l’exactitude sature dès une réserve de 8 000 exemples, alors que le nombre d’ensembles d’étiquettes continue d’aider (tableaux 29 et 28). Les gains apparaissent là où la notation sans entraînement échoue sur la forme, l’a priori sur les étiquettes et la concurrence des formes de surface, et ils sont les plus faibles pour les modèles de base qui maîtrisent déjà les tâches (section 5.2). Avec des étiquettes paraphrasées, la tête scalaire surpasse encore la notation sans entraînement et la tête LM entraînée (section 5.3). La même procédure fonctionne sur tous les modèles de base testés, y compris un mélange d’experts post-entraîné. Retirer les deux jeux d’entraînement voisins de tâches réservées relève les scores de ces tâches voisines (tableau 10), ce qui concorde avec un mélange qui transfère la forme et un ensemble d’étiquettes quasi dupliqué qui transfère un a priori. Le plafond du modèle entraîné sur la tâche, au tableau 3, quantifie la valeur ajoutée de la connaissance de la tâche : de 10 à 25 points sur les tâches à nombreuses étiquettes, où le modèle général s’appuie sur la sémantique des étiquettes apprise au préentraînement. Cette hypothèse prédit qu’un entraînement sur des ensembles d’étiquettes d’un domaine sans rapport devrait se transférer presque aussi bien; la vérifier relève de travaux futurs.

5.8 Comparaison avec les classifieurs spécialisés sans entraînement

BTZSC [1] évalue des classifieurs sans entraînement sur 22 jeux de données à partir des textes et d’une description verbalisée de chaque étiquette (« This example news text is about business news »). Nous listons les descriptions dans l’invite et notons chacune comme une option. Cinq jeux de données de BTZSC (AG News, Yelp, IMDB, Emotion, Yahoo) font partie de notre mélange; nous entraînons donc aussi un modèle sur le mélange sans eux. La figure 8 situe notre modèle parmi les 35 systèmes du classement selon leur taille; le tableau 30 de l’annexe D donne le macro-F1 global et par groupe de tâches face au meilleur modèle de chaque famille de BTZSC et aux petits LLM de son classement, notés selon le protocole du premier jeton (0,43 au global pour un modèle ajusté aux instructions de 3 milliards de paramètres, 0,65 pour Qwen3-4B).

Sur les deux jeux de données d’intention communs avec notre ensemble réservé, le meilleur modèle global de chaque famille obtient 0,69 (reclasseur), 0,63 (plongements), 0,24 (NLI) et 0,35 (LLM de 12 milliards) sur Banking77, et 0,67, 0,57, 0,40 et 0,36 sur MASSIVE; notre modèle de 1,7 milliard atteint 0,66 et 0,74 avec ses propres noms d’étiquettes (tableau 3). Selon le protocole du banc d’essai, le modèle de base de 1,7 milliard non entraîné obtient 0,53 au global : au-dessus du LLM de 3 milliards au premier jeton (0,43), sous les LLM de 4 et 12 milliards (0,65 et 0,67) et sous toutes les familles spécialisées, le groupe intention (0,35) étant le plus pénalisé par les descriptions verbalisées.

Entraîné sur le mélange sans les cinq jeux de données de BTZSC, le même modèle de 1,7 milliard atteint 0,67 au global avec la tête LM et 0,70 avec la tête scalaire : au-dessus de tous les meilleurs modèles de famille sauf le reclasseur de 8 milliards (0,72), au-dessus du LLM de 12 milliards au premier jeton (0,67) pour un septième de sa taille, et 27 points au-dessus du LLM de 3 milliards. Par groupe de tâches, la tête scalaire est à moins de 3 points du reclasseur en sentiment (0,90 contre 0,92) et en émotion (0,48 contre 0,49), 4 points en dessous en intention (0,66 contre 0,70) et, en thème (0,65), juste sous le reclasseur (0,66) et le LLM de 12 milliards (0,69). La même recette aux autres tailles donne 0,67 à 0,6 milliard, 0,73 à 4 milliards, 0,74 à 8 milliards et 0,75 à 14 milliards (l’exécution plus douce de la section 5.7; deux graines à 1,7 milliard, 4 et 8 milliards) : dès 4 milliards, elle dépasse le meilleur système du classement, à la moitié de sa taille (0,727 contre 0,722), et à la taille même du reclasseur, c’est le meilleur système du classement (0,740; intention 0,73 contre 0,70, thème 0,69 contre 0,66, émotion 0,45 contre 0,49). Selon le protocole propre au banc d’essai, conçu pour des classifieurs qui lisent une description d’étiquette, le modèle entraîné sur d’autres ensembles d’étiquettes dépasse la frontière de chaque famille à chaque taille que nous avons entraînée, sur des sous-ensembles de 500 exemples de ses jeux de données (figure 8). La figure 3 compare des systèmes individuels sur les trois jeux de données communs avec notre ensemble réservé. BTZSC ne rapporte la vitesse d’inférence que sous forme d’un chiffre normalisé, sans valeurs par modèle et sur un autre matériel; nous n’avançons donc aucune affirmation de vitesse face à ces familles.

Les nôtres, entraînés
0,6 Md1,7 Md4 Md8 Md14 Md
Figure 8. Macro-F1 global sur BTZSC (22 jeux de données, protocole du banc d’essai) selon le nombre de paramètres. Petits repères gris, une forme par famille : les 35 systèmes du classement, sur les jeux de test complets; escaliers gris : la frontière de Pareto de chaque famille, prolongée à plat jusqu’au plus grand système de la famille. En orange : nos modèles Qwen3 entraînés sur le mélange sans les cinq jeux de données de BTZSC (tête scalaire, sous-ensembles de 500 exemples), à chaque taille, avec une ligne suivant leur frontière; le point en contour seul est le modèle de 14 milliards entraîné pendant 1 000 pas à demi-taux d’apprentissage (section 5.7); cercles vides : les mêmes modèles de base sans entraînement, un segment pointillé reliant chacun à son point entraîné. Le menu montre chaque groupe de tâches du tableau 30.

6 Limites

Deux limites découlent de la conception. L’invite par chaîne de pensée et le raisonnement entraîné par renforcement améliorent l’exactitude sur les tâches qui exigent des étapes intermédiaires [16, 73]; une décision en une passe n’en comporte aucune, si bien que ce gain est hors de portée de notre modèle, et StrategyQA, la seule tâche réservée qui demande une inférence en plusieurs étapes, fait partie des tâches où nos modèles accusent le plus de retard sur les modèles de pointe (0,65 à 1,7 milliard de paramètres et 0,76 à 14 milliards contre 0,92 pour le meilleur modèle hébergé). Pour de telles questions, les cas de faible confiance pourraient être acheminés vers un modèle de raisonnement. Le classifieur interprète le texte des options littéralement et exige donc des noms d’étiquettes descriptifs (section 5.7).

L’évaluation a aussi ses limites. Les jeux de données réservés sont exclus de notre mélange de réglage fin (deux ensembles d’étiquettes binaires reviennent, section 4), mais une exposition aux bancs d’essai pendant le préentraînement ne peut être exclue. Nos résultats n’établissent donc pas une généralisation à des tâches absentes du préentraînement. La calibration est mesurée sur les douze tâches réservées avec 500 exemples chacune (335 pour Amazon Counterfactual), et sur TweetEval hate le modèle entraîné échange de l’exactitude contre du macro-F1. Toutes les latences proviennent d’une seule implémentation PyTorch en mode eager; les rapports de vitesse peuvent différer avec un service optimisé. La recette a été testée avec LoRA, sur des modèles d’au plus 32 milliards de paramètres, en anglais, avec des hyperparamètres réglés à 1,7 milliard et seul le réglage plus doux testé au-delà de 14 milliards.

7 Conclusion

Choisir dans un ensemble connu d’options ne demande aucun décodage. Un pack-readout, une seule passe avant empaquetée, calcule les vraisemblances exactes des options pour le coût d’un préremplissage, et l’entropie croisée sur l’ensemble des options, avec des données publiques de classification, fait d’un petit modèle préentraîné un classifieur qui accepte un nouvel ensemble d’étiquettes au moment de l’inférence : sur 12 tâches réservées, le score principal moyen passe, à 1,7 milliard de paramètres, de 0,55 à 0,64 et, à 8 milliards, de 0,63 à 0,72, tandis que la calibration s’améliore (Brier de 0,51 à 0,42 à 1,7 milliard). Un seul jeu de poids sert tous les ensembles d’étiquettes testés : sur des tâches inédites, il se situe sur la frontière taille–exactitude des classifieurs spécialisés sans entraînement ou au-dessus, mène leur classement dès 4 milliards selon leur propre protocole, et est plus exact que l’interrogation du modèle ajusté aux instructions de sa taille, pour un préremplissage par décision. La méthode se compose d’un masque d’attention par blocs, d’une softmax sur l’ensemble des options et d’un entraînement LoRA; elle s’est appliquée telle quelle aux cinq modèles de base testés. L’implémentation du modèle, le code d’entraînement et les adaptateurs entraînés sont publiés.

Remerciements et disponibilité

Remerciements et déclarations. Claude Code et OpenAI Codex ont aidé au développement du code d’entraînement, aux révisions du manuscrit et au code de génération des figures. L’idée de recherche vient de l’auteur, qui assume l’entière responsabilité du travail. L’étude a été entièrement autofinancée, et l’auteur ne déclare aucun conflit d’intérêts.

Disponibilité des données. Les sources des bancs d’essai sont citées en annexe I; le fichier DATA.md du dépôt liste les identifiants des jeux de données et les liens d’accès. Les rapports d’évaluation (scores par exemple sur les tâches réservées, scores agrégés sur BTZSC, réponses des modèles hébergés), les mesures de latence et l’instantané du classement BTZSC sont publiés sous forme d’archive de résultats (github.com/maxz411/classifier-from-llm/releases/tag/v0.1.0).

Disponibilité du code. L’implémentation du modèle et le code d’entraînement et d’évaluation sont disponibles sous licence Apache-2.0 à l’adresse github.com/maxz411/classifier-from-llm, sous la forme du paquet Python packreadout. Les adaptateurs entraînés sont sur Hugging Face sous licence CC BY-NC 4.0 (huggingface.co/collections/maxz411/pack-readout-classifiers).

Références

  1. Ilias Aarab. BTZSC: A benchmark for zero-shot text classification across cross-encoders, embedding models, rerankers and LLMs. In ICLR, 2026.
  2. Loubna Ben Allal et al. SmolLM2: When smol goes big – data-centric training of a small language model. arXiv:2502.02737, 2025.
  3. Tiago A. Almeida, José María Gómez Hidalgo, and Akebo Yamakami. Contributions to the study of SMS spam filtering: New collection and results. In ACM Symposium on Document Engineering, 2011.
  4. Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of EMNLP, 2020.
  5. Stella Biderman et al. Lessons from the trenches on reproducible evaluation of language models. arXiv:2405.14782, 2024.
  6. Glenn W. Brier. Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78:1–3, 1950.
  7. Tom Brown et al. Language models are few-shot learners. In NeurIPS, 2020.
  8. Iñigo Casanueva, Tadas Temčinas, Daniela Gerz, Matthew Henderson, and Ivan Vulić. Efficient intent detection with dual sentence encoders. In Workshop on NLP for Conversational AI, 2020.
  9. Zehua Cheng, Wei Dai, and Jiahao Sun. this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent. arXiv:2609.23886, 2026.
  10. Hyung Won Chung et al. Scaling instruction-finetuned language models. JMLR, 2024.
  11. Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, and Kristina Toutanova. BoolQ: Exploring the surprising difficulty of natural yes/no questions. In NAACL, 2019.
  12. Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. Think you have solved question answering? Try ARC, the AI2 reasoning challenge. arXiv:1803.05457, 2018.
  13. Convai Innovations. Laya. Model card, https://huggingface.co/convaiinnovations/laya, 2026. Apache-2.0 weights released 2026-09-18; accessed 2026-09-21.
  14. Mehul Damani et al. Beyond binary rewards: Training LMs to reason about their uncertainty. arXiv:2507.16806, 2025.
  15. DeepSeek-AI. DeepSeek-V3 technical report. arXiv:2412.19437, 2024.
  16. DeepSeek-AI. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv:2501.12948, 2025.
  17. Dorottya Demszky, Dana Movshovitz-Attias, Jeongwoo Ko, Alan Cowen, Gaurav Nemade, and Sujith Ravi. GoEmotions: A dataset of fine-grained emotions. In ACL, 2020.
  18. Jack FitzGerald et al. MASSIVE: A 1M-example multilingual natural language understanding dataset with 51 typologically-diverse languages. arXiv:2204.08582, 2022.
  19. Mor Geva, Daniel Khashabi, Elad Segal, Tushar Khot, Dan Roth, and Jonathan Berant. Did Aristotle use a laptop? A question answering benchmark with implicit reasoning strategies. TACL, 2021.
  20. Tilmann Gneiting and Adrian E. Raftery. Strictly proper scoring rules, prediction, and estimation. Journal of the American Statistical Association, 2007.
  21. Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In ICML, 2017.
  22. Franz A. Heinsen. An algorithm for routing vectors in sequences. arXiv:2211.11754, 2022.
  23. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In ICLR, 2021.
  24. Ari Holtzman, Peter West, Vered Shwartz, Yejin Choi, and Luke Zettlemoyer. Surface form competition: Why the highest probability answer isn’t always right. In EMNLP, 2021.
  25. Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for NLP. In ICML, 2019.
  26. Edward J. Hu et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.
  27. Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham Neubig. How can we know when language models know? On the calibration of language models for question answering. TACL, 2021.
  28. Jordan Juravsky, Bradley Brown, Ryan Ehrlich, Daniel Y. Fu, Christopher Ré, and Azalia Mirhoseini. Hydragen: High-throughput LLM inference with shared prefixes. arXiv:2402.05099, 2024.
  29. Tushar Khot, Peter Clark, Michal Guerquin, Peter Jansen, and Ashish Sabharwal. QASC: A dataset for question answering via sentence composition. In AAAI, 2020.
  30. Kimi Team. Kimi K2: Open agentic intelligence. arXiv:2507.20534, 2025.
  31. Md Kowsher et al. Predicting through generation: Why generation is better for prediction. arXiv:2502.17817, 2025.
  32. Nathan Lambert et al. Tülu 3: Pushing frontiers in open language model post-training. arXiv:2411.15124, 2024.
  33. Stefan Larson et al. An evaluation dataset for intent classification and out-of-scope prediction. In EMNLP, 2019.
  34. Moritz Laurer, Wouter van Atteveldt, Andreu Casas, and Kasper Welbers. Building efficient universal classifiers with natural language inference. arXiv:2312.17543, 2023.
  35. Chankyu Lee, Rajarshi Roy, Mengyao Xu, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, and Wei Ping. NV-Embed: Improved techniques for training LLMs as generalist embedding models. In ICLR, 2025.
  36. Yibo Li et al. ConfTuner: Training large language models to express their confidence verbally. arXiv:2508.18847, 2025.
  37. Zehan Li, Xin Zhang, Yanzhao Zhang, Dingkun Long, Pengjun Xie, and Meishan Zhang. Towards general text embeddings with multi-stage contrastive learning. arXiv:2308.03281, 2023.
  38. Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, Jing Li, Fu-lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised LLaMA finetuning. arXiv:2310.01208, 2023.
  39. Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu. G-Eval: NLG evaluation using GPT-4 with better human alignment. In EMNLP, 2023.
  40. Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.
  41. Dongyang Ma, Yan Wang, and Tian Lan. Block-attention for efficient prefilling. In ICLR, 2025.
  42. Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In ACL, 2011.
  43. Meta. Introducing Muse Spark 1.3. https://research.meta.ai/blog/introducing-muse-spark-1-3, 2026.
  44. Meta AI. Llama 3.2 model card. https://github.com/meta-llama/llama-models/blob/main/models/llama3_2/MODEL_CARD.md, 2024.
  45. Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal. Can a suit of armor conduct electricity? A new dataset for open book question answering. In EMNLP, 2018.
  46. Sewon Min, Mike Lewis, Hannaneh Hajishirzi, and Luke Zettlemoyer. Noisy channel language model prompting for few-shot text classification. In ACL, 2022.
  47. Mistral AI. Mistral NeMo. https://mistral.ai/news/mistral-nemo, 2024.
  48. Minxue Niu and Emily Mower Provost. Contrastive distillation of emotion knowledge from LLMs for zero-shot emotion recognition. arXiv:2505.18040, 2025.
  49. OLMo Team. 2 OLMo 2 furious. arXiv:2501.00656, 2025.
  50. James O’Neill, Polina Rozenshtein, Ryuichi Kiryo, Motoko Kubota, and Danushka Bollegala. I wish I would have loved this one, but I didn’t – a multilingual dataset for counterfactual detection in product review. In EMNLP, 2021.
  51. OpenAI. gpt-oss-120b & gpt-oss-20b model card. arXiv:2508.10925, 2025.
  52. Mahdi Pakdaman Naeini, Gregory F. Cooper, and Milos Hauskrecht. Obtaining well calibrated probabilities using Bayesian binning. In AAAI, 2015.
  53. Bo Pang and Lillian Lee. Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales. In ACL, 2005.
  54. Qwen Team. Qwen2.5 technical report. arXiv:2412.15115, 2024.
  55. Qwen Team. Qwen3 technical report. arXiv:2505.09388, 2025.
  56. Nir Ratner et al. Parallel context windows for large language models. In ACL, 2023.
  57. Joshua Robinson, Christopher Rytting, and David Wingate. Leveraging large language models for multiple choice question answering. arXiv:2210.12353, 2022.
  58. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. WinoGrande: An adversarial Winograd schema challenge at scale. In AAAI, 2020.
  59. Victor Sanh et al. Multitask prompted training enables zero-shot task generalization. In ICLR, 2022.
  60. Elvis Saravia, Hsien-Chi Toby Liu, Yen-Hao Huang, Junlin Wu, and Yi-Shin Chen. CARER: Contextualized affect representations for emotion recognition. In EMNLP, 2018.
  61. Ali Şenol, Garima Agrawal, and Huan Liu. Measuring reasoning quality in LLMs: A multi-dimensional behavioral framework. arXiv:2605.24661v4, 2026.
  62. Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In EMNLP, 2013.
  63. Bhavesh Sood and Jaromir Savelka. Punching above their weight: Classification-head fine-tuning of tiny language models (TLMs) for verifiable multiple-choice tasks. arXiv:2607.03801, 2026.
  64. Ihor Stepanov et al. GLiClass: Generalist lightweight model for sequence classification tasks. arXiv:2508.07662, 2025.
  65. Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In NAACL, 2019.
  66. Polina Tsvilodub, Hening Wang, Sharon Grosch, and Michael Franke. Predictions from language models for multiple-choice tasks are not robust under variation of scoring methods. arXiv:2403.00998, 2024.
  67. TypeSafe AI. Introduction – TypeSafe AI. Documentation of Jev, https://docs.typesafe.ai/introduction, 2026.
  68. TypeSafe AI. Introducing system one models & Jev. https://typesafe.ai/blog/introducing-system-one-models-and-jev, 2026.
  69. Franklin Wang and Sumanth Hegde. Accelerating direct preference optimization with prefix sharing. arXiv:2410.20305, 2024.
  70. Xinpeng Wang, Chengzhi Hu, Bolei Ma, Paul Röttger, and Barbara Plank. Look at the text: Instruction-tuned language models are more robust multiple choice selectors than you think. In COLM, 2024.
  71. Zhiqiang Wang, Yiran Pang, and Yanbin Lin. Large language models are zero-shot text classifiers. arXiv:2312.01044, 2023.
  72. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V. Le. Finetuned language models are zero-shot learners. In ICLR, 2022.
  73. Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In NeurIPS, 2022.
  74. Johannes Welbl, Nelson F. Liu, and Matt Gardner. Crowdsourcing multiple choice science questions. In Workshop on Noisy User-generated Text, 2017.
  75. Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8:229–256, 1992.
  76. Haike Xu, Zongyu Lin, Jing Zhou, Yanan Zheng, and Zhilin Yang. A universal discriminator for zero-shot generalization. In ACL, pages 10559–10575, 2023.
  77. Z.ai. GLM-5.3. https://docs.z.ai/guides/llm/glm-5.3, 2026.
  78. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. HellaSwag: Can a machine really finish your sentence? In ACL, 2019.
  79. Xiang Zhang, Junbo Zhao, and Yann LeCun. Character-level convolutional networks for text classification. In NeurIPS, 2015.
  80. Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, and Jingren Zhou. Qwen3 Embedding: Advancing text embedding and reranking through foundation models. arXiv:2506.05176, 2025.
  81. Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In ICML, 2021.
  82. Chujie Zheng, Hao Zhou, Fandong Meng, Jie Zhou, and Minlie Huang. Large language models are not robust multiple choice selectors. In ICLR, 2024.
  83. Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, and Subhrajit Roy. Batch calibration: Rethinking calibration for in-context learning and prompt engineering. In ICLR, 2024.

A Invites

Chaque option est rendue par une espace initiale, le texte de l’option et un retour à la ligne, et le retour à la ligne est noté. Les options sont listées dans l’ordre du jeu de données.

Classification de texte (classify_prompt) :

<instruction>
Labels: <label 1>, <label 2>, ..., <label n>
Text: <text, cut at 1500 characters>
Label:

Banking77, par exemple, utilise l’instruction « Classify the customer’s banking query into exactly one intent. » et les 77 noms d’intentions, dont les tirets bas sont remplacés par des espaces.

Choix multiple et oui/non (mcq_prompt) :

<context, if any>
Question: <question>
Options:
- <option 1>
- <option 2>
Answer:

Les tâches oui/non utilisent les options « yes » et « no ».

Référence par symbole au premier jeton (symbol_prompt) : la ligne d’amorce est remplacée par des choix lettrés « A. <option 1> » … et les lettres sont notées.

Primitives de décision. choice : « <state> / Question: <question> / Options: <o1>, … / Answer: ». score : niveaux listés sous la forme « <i>: <level> » sous « Levels: », avec « Answer (level number): » à la fin; les options sont les indices des niveaux. true_false : « Answer (yes or no): » avec les options yes et no.

Étiquettes renommées (tableau 4) : SST-5 (very negative en strongly unfavorable, negative en unfavorable, neutral en mixed or indifferent, positive en favorable, very positive en strongly favorable); TweetEval emotion (anger en furious, joy en happiness, optimism en hopeful, sadness en sorrow); TweetEval hate (non-hate en not hateful, hate en hateful); Rotten Tomatoes (negative en thumbs down, positive en thumbs up); SMS Spam (ham en legitimate message, spam en unsolicited junk); Counterfactual (not-counterfactual en describes what actually happened, counterfactual en describes something that did not happen); StrategyQA (yes en true, no en false).

BTZSC. « Pick the label that describes the text. », suivi des descriptions verbalisées des étiquettes du banc d’essai, dans le gabarit de classification.

B Résultats supplémentaires

TâcheTaille du testSans entr., 500Sans entr., completEntraîné, 500Entraîné, complet
Banking773 0760,4010,3990,6800,660
MASSIVE2 9740,6730,6460,7460,740
SST-52 2100,3410,3580,4550,451
TweetEval emotion1 4210,6980,6970,6580,694
TweetEval hate2 9700,5010,4840,5820,560
Rotten Tomatoes1 0660,8700,8620,9030,888
SMS Spam5 5740,6450,6760,6780,703
Counterfactual3350,4520,4510,6410,626
GoEmotions4 5900,1940,2060,2730,295
ARC-Challenge†1 1720,7340,7450,8250,838
MMLU†14 0420,5840,5520,6310,592
StrategyQA6870,5460,5480,6180,646
Moyenne0,5530,5520,6410,641
Tableau 11. Les sous-ensembles d’évaluation de 500 exemples comparés aux jeux de test complets, Qwen3-1.7B-Base : notation sans entraînement et tête scalaire entraînée (les deux colonnes sont des moyennes sur trois graines; les exécutions sur les jeux de test complets sont trois exécutions supplémentaires avec la configuration principale, rapportées au tableau 3). Les écarts sont d’au plus quatre points par tâche (MMLU, TweetEval emotion) et de 0,1 sur la moyenne.
TailleSans entr., 500Sans entr., completEntraîné, 500Entraîné, complet
0,6 Md0,3660,3780,5680,567
1,7 Md0,5530,5520,6410,641
4 Md0,5980,5940,6910,695
8 Md0,6270,6260,7210,721
14 Md0,7080,7110,714–
Tableau 12. La même vérification à chaque taille, moyennes des tâches réservées : les sous-ensembles de 500 exemples comparés aux jeux de test complets, sans entraînement et après entraînement (tête scalaire; à 0,6 milliard de paramètres, une exécution réentraînée, à 1,7 milliard trois, à 4 et 8 milliards l’adaptateur entraîné réévalué). Les moyennes concordent à un point près, sauf pour le modèle de base de 0,6 milliard sans entraînement, que le sous-ensemble sous-estime de 1,2. La seule inversion entre tailles, le modèle de base de 14 milliards sous celui de 8 milliards sur MASSIVE, se maintient sur le jeu de test complet (0,748 contre 0,762); ce n’est donc pas un artefact du sous-ensemble.
Tâchesans entr., brutsans entr., octetsymbole5 exemplesSFT bonne réponseTête scalaireles deux têtesset-CE, tête LM
Banking770,4010,153–0,5600,6030,6800,6810,663
MASSIVE0,6730,635–0,7380,7320,7460,7340,718
SST-50,3410,2660,2320,4340,4290,4550,3760,344
TweetEval emotion0,6980,5790,6460,7350,6790,6580,6860,680
TweetEval hate0,5010,3700,6570,3910,5060,5820,5390,548
Rotten Tomatoes0,8700,8700,8510,7980,9000,9030,9120,903
SMS Spam0,6450,5470,2360,7490,6270,6780,6070,659
Counterfactual0,4520,4530,4530,4870,4830,6410,4790,569
GoEmotions0,1940,114–0,1920,2570,2730,2960,283
ARC-Challenge†0,7340,7300,7160,7500,7860,8250,8140,822
MMLU†0,5840,5560,5480,5900,6120,6310,6320,650
StrategyQA0,5460,5970,3750,4280,6420,6180,6540,633
Moyenne0,5530,4890,5240,5710,6050,641 ± 0,0120,6170,623 ± 0,008
Tableau 13. Ablations, 1,7 milliard de paramètres : notation sans entraînement brute et par octet, notation du symbole au premier jeton, notation des options à cinq exemples (cinq exemples d’entraînement de la tâche dans l’invite), SFT sur la seule bonne réponse et lectures entraînées.
Tâchesans entr., brutsans entr., octetsymbole5 exemplesSFT bonne réponseTête scalaireles deux têtesset-CE, tête LM
Banking770,4320,198–0,5940,6340,7070,7080,692
MASSIVE0,6560,592–0,7160,7340,7670,7360,730
SST-50,4280,3040,2920,4900,4540,4720,4340,446
TweetEval emotion0,7580,6780,7340,7900,7560,7290,7620,755
TweetEval hate0,6120,5880,6760,4600,5260,5820,5440,554
Rotten Tomatoes0,8720,8720,8540,8060,9000,9030,9120,903
SMS Spam0,7960,6340,2360,8440,8620,8890,7200,819
Counterfactual0,8240,8270,8270,8330,8240,8510,5070,677
GoEmotions0,2320,162–0,2120,2360,3270,3020,324
ARC-Challenge0,7340,7300,7160,7500,7860,8250,8140,822
MMLU0,5840,5560,5480,5900,6120,6310,6320,650
StrategyQA0,5820,6080,5120,5420,6420,6200,6540,637
Moyenne0,6260,5620,5990,6360,6640,692 ± 0,0040,6440,667 ± 0,007
Tableau 14. Exactitude au lieu du macro-F1 pour chaque tâche réservée, Qwen3-1.7B-Base, sous-ensembles de 500 exemples, colonnes comme au tableau 13.
Tâchebrutpar jetonpar octetpar caractèrePMI+BCsymboleECE (brut)
Banking770,3760,3340,2580,2500,0140,436–0,073
MASSIVE0,4020,4100,3960,4000,0600,494–0,143
SST-50,3320,2680,2680,2420,1240,3540,2880,368
TweetEval emotion0,6320,6320,6000,5960,6360,6920,5380,163
TweetEval hate0,4240,5480,5000,5480,5880,6020,5480,397
Rotten Tomatoes0,6020,6020,6020,6020,5540,8760,6040,246
SMS Spam0,1240,1240,1220,1220,1220,5140,3220,725
Counterfactual0,6750,8270,8270,8270,8270,4510,6630,085
GoEmotions0,1420,1520,1060,0980,1660,200–0,369
ARC-Challenge†0,5340,5160,5160,5140,386–0,3900,137
MMLU†0,4140,4060,3860,3840,340–0,3360,189
StrategyQA0,5120,5120,4940,4960,5020,5120,4980,227
Moyenne0,4310,4440,4230,4230,3600,5130,4650,260
Tableau 15. Exactitude sans entraînement sur les tâches réservées, Qwen3-0.6B-Base, colonnes comme au tableau 2.
TâcheSans entraînementTête LMTête scalaireEntraîné sur la tâcheMeilleur modèle de pointe interrogéMeilleur publié sans entraînement (taille)Meilleur supervisé (taille)
Banking770,3340,6110,661–0,868 (Claude Fable 5.1)0,715 (8 Md)–
MASSIVE0,4110,6860,685–0,890 (GPT-6 Astra)0,673 (8 Md)–
SST-50,1420,2810,332–0,544 (Claude Fable 5.1)––
TweetEval emotion0,5680,6520,672–0,802 (gpt-oss-120b)0,728 (n.c.)0,810 (0,12 Md)
TweetEval hate0,3140,4840,531–0,767 (Kimi K3)0,708 (20 Md)0,581 (0,12 Md)
Rotten Tomatoes0,5220,8730,884–0,952 (Claude Fable 5.1)0,903 (8 Md)–
SMS Spam0,1110,3430,455–0,986 (Claude Fable 5.1)––
Counterfactual0,5150,4210,579–0,847 (gpt-oss-120b)––
GoEmotions0,1120,2640,257–0,362 (gpt-oss-120b)––
ARC-Challenge†0,5340,6660,672–0,976 (Kimi K3)0,786 (3,2 Md)–
MMLU†0,4140,5100,528–0,938 (GPT-6 Astra)0,626 (1,7 Md)–
StrategyQA0,4120,5340,560–0,923 (Claude Fable 5.1)––
Moyenne0,3660,5270,568
Tableau 16. Performances sur les tâches réservées après entraînement, Qwen3-0.6B-Base, sous-ensembles de 500 exemples, colonnes comme au tableau 3.
TâcheSans entraînementTête LMTête scalaireEntraîné sur la tâcheMeilleur modèle de pointe interrogéMeilleur publié sans entraînement (taille)Meilleur supervisé (taille)
Banking770,5780,7220,756–0,868 (Claude Fable 5.1)0,715 (8 Md)–
MASSIVE0,7280,7490,772–0,890 (GPT-6 Astra)0,673 (8 Md)–
SST-50,3930,4460,508–0,544 (Claude Fable 5.1)––
TweetEval emotion0,7100,6350,672–0,802 (gpt-oss-120b)0,728 (n.c.)0,810 (0,12 Md)
TweetEval hate0,6240,4530,566–0,767 (Kimi K3)0,708 (20 Md)0,581 (0,12 Md)
Rotten Tomatoes0,8870,9080,915–0,952 (Claude Fable 5.1)0,903 (8 Md)–
SMS Spam0,5100,5920,766–0,986 (Claude Fable 5.1)––
Counterfactual0,5280,6160,764–0,847 (gpt-oss-120b)––
GoEmotions0,1990,2710,282–0,362 (gpt-oss-120b)––
ARC-Challenge†0,8360,9060,885–0,976 (Kimi K3)0,786 (3,2 Md)–
MMLU†0,6580,7000,702–0,938 (GPT-6 Astra)0,626 (1,7 Md)–
StrategyQA0,5230,7080,710–0,923 (Claude Fable 5.1)––
Moyenne0,5980,6420,691
Tableau 17. Performances sur les tâches réservées après entraînement, Qwen3-4B-Base, sous-ensembles de 500 exemples, colonnes comme au tableau 3.
TâcheSans entraînementTête LMTête scalaireEntraîné sur la tâcheMeilleur modèle de pointe interrogéMeilleur publié sans entraînement (taille)Meilleur supervisé (taille)
Banking770,6100,7230,755–0,868 (Claude Fable 5.1)0,715 (8 Md)–
MASSIVE0,8020,8070,809–0,890 (GPT-6 Astra)0,673 (8 Md)–
SST-50,2570,5030,526–0,544 (Claude Fable 5.1)––
TweetEval emotion0,7340,6840,661–0,802 (gpt-oss-120b)0,728 (n.c.)0,810 (0,12 Md)
TweetEval hate0,5930,5360,563–0,767 (Kimi K3)0,708 (20 Md)0,581 (0,12 Md)
Rotten Tomatoes0,8910,9300,927–0,952 (Claude Fable 5.1)0,903 (8 Md)–
SMS Spam0,6920,7490,879–0,986 (Claude Fable 5.1)––
Counterfactual0,4700,8050,796–0,847 (gpt-oss-120b)––
GoEmotions0,2250,2990,320–0,362 (gpt-oss-120b)––
ARC-Challenge†0,8840,9300,927–0,976 (Kimi K3)0,786 (3,2 Md)–
MMLU†0,6800,7560,760–0,938 (GPT-6 Astra)0,626 (1,7 Md)–
StrategyQA0,6850,7680,726–0,923 (Claude Fable 5.1)––
Moyenne0,6270,7070,721
Tableau 18. Performances sur les tâches réservées après entraînement, Qwen3-8B-Base, sous-ensembles de 500 exemples, colonnes comme au tableau 3.
TâcheSans entraînementTête LMTête scalaireEntraîné sur la tâcheMeilleur modèle de pointe interrogéMeilleur publié sans entraînement (taille)Meilleur supervisé (taille)
Banking770,5500,8080,810–0,868 (Claude Fable 5.1)0,715 (8 Md)–
MASSIVE0,5810,7640,811–0,890 (GPT-6 Astra)0,673 (8 Md)–
SST-50,1930,3320,429–0,544 (Claude Fable 5.1)––
TweetEval emotion0,4620,6500,720–0,802 (gpt-oss-120b)0,728 (n.c.)0,810 (0,12 Md)
TweetEval hate0,6310,5760,547–0,767 (Kimi K3)0,708 (20 Md)0,581 (0,12 Md)
Rotten Tomatoes0,6360,9020,908–0,952 (Claude Fable 5.1)0,903 (8 Md)–
SMS Spam0,6720,7850,765–0,986 (Claude Fable 5.1)––
Counterfactual0,5000,7840,792–0,847 (gpt-oss-120b)––
GoEmotions0,0920,2650,314–0,362 (gpt-oss-120b)––
ARC-Challenge†0,8500,9000,894–0,976 (Kimi K3)0,786 (3,2 Md)–
MMLU†0,6140,7200,704–0,938 (GPT-6 Astra)0,626 (1,7 Md)–
StrategyQA0,3640,6950,675–0,923 (Claude Fable 5.1)––
Moyenne0,5120,6820,697
Tableau 19. Performances sur les tâches réservées après entraînement, gpt-oss-20b (mélange d’experts post-entraîné), sous-ensembles de 500 exemples, colonnes comme au tableau 3.
Modèleexact.ECEBrierNLLAUROCexact. à 50 % couv.
sans entraînement, brut0,4310,2600,7541,6830,6800,550
sans entraînement, brut + TS0,4310,0960,6121,3390,6700,551
set-CE, tête LM0,5560,1690,5721,2130,6680,657
set-CE, tête LM + TS0,5560,0670,5081,0350,6630,653
SFT sur la seule bonne réponse0,5790,1530,5631,4190,6930,707
set-CE, tête scalaire0,6340,1130,4961,0170,6760,736
Tableau 20. Calibration, 0,6 milliard de paramètres, regroupée sur les douze tâches réservées (5 835 prédictions). Le plateau sans entraînement entre 0,5 et 0,9 de confiance correspond au modèle de base qui se trompe avec assurance sur les tâches binaires déséquilibrées (SMS Spam : confiance 0,84, exactitude 0,12; TweetEval hate : 0,82 et 0,42); l’entraînement le supprime. Par tâche, le modèle entraîné reste surconfiant sur TweetEval hate, MMLU et StrategyQA et sous-confiant sur SMS Spam et Amazon Counterfactual (figure 9).
5 835 prédictions
Fiabilité
Prédiction sélective
0,504Sans entraînement, répond si la confiance ≥ 0,710,783Entraîné (tête scalaire), répond si la confiance ≥ 0,72
Figure 9. Calibration sur les tâches réservées, Qwen3-0.6B-Base, sans entraînement contre la tête scalaire entraînée, regroupée sur les douze tâches comme à la figure 4 : diagramme de fiabilité (à gauche) et exactitude sur la fraction la plus confiante (à droite). Le plateau sans entraînement entre 0,5 et 0,9 de confiance correspond au modèle de base qui se trompe avec assurance sur les tâches binaires déséquilibrées; l’entraînement le supprime (tableau 20).

C Tableaux complémentaires

Ces tableaux complètent le texte principal : travaux connexes, calcul par décision, prédiction ordinale, échecs de l’interrogation par invite, coût d’adaptation, latence, et balayages des ensembles d’étiquettes et des données.

MéthodeEntraînementLectureUne passeCalibrationÉtiquettes inéditesOuvert
Notation par log-vraisemblance [7]aucunvraisemblance de l’optionnon, une séq. par optionmédiocre (tableau 2)ouioui
Symbole au premier jeton [82]aucunP(letter)ouibiais de lettreoui, ≤ 26oui
T0 / FLAN [59, 72]mélange, une foisvraisemblance de l’optionnon, une séq. par optionnon mesuréeouioui
Universal Discriminator [76]mélange, une foistête scalaire d’encodeurune séq. par optionnon mesuréeouioui
Sood et al. [63]par tâchetête scalairenon, une séq. par optionnon mesuréenonoui
GLiClass [64]une foisencodeurouinon indiquéeouioui
NLI / plongements / reclasseurune fois (paires NLI ou de recherche)score de paireune passe par étiquettenon indiquéeouioui
Jev [67]non divulguédistributionouirevendiquéeouinon
Laya [13]par domaine (RLCD)noteur d’encodeur au jeton masquéouiECE après températureproche du hasard (rapporté)oui
Le nôtre, tête LMmélange, une foisvraisemblance empaquetéeouiscores propres, classementoui, 12 tâchesoui
Le nôtre, tête scalairemélange, une foisw⊤h empaquetéouiscores propres, ECEoui, 12 tâchesoui
Tableau 21. Positionnement. « Étiquettes inédites » : évalué sur des ensembles d’étiquettes non vus à l’entraînement. « Une passe » : toutes les options notées en une seule passe avant.
SystèmeParamètresUne décisionBanking77 (77 étiquettes)SST-5 (5 étiquettes)
Le nôtre, Qwen3-1.7B-Base1,7 Mdnotation empaquetée : invite + toutes les options, une passe2,40,2
Qwen3-Embedding-8B8 Mdbi-encodeur : le texte, une passe; étiquettes en cache0,20,4
Qwen3-Reranker-8B8 Mdencodeur croisé : texte + étiquette, une passe par étiquette20,31,9
Flan-UL220 Mdgénératif : l’invite, puis le décodage de l’étiquette14,72,1
Llama-3.2-3B-Instruct3,2 Mdgénératif : l’invite, puis le décodage de l’étiquette2,40,3
ChatGPT / GPT-4n,d.génératif : l’invite, puis le décodage de l’étiquette––
Tableau 22. Taille et calcul estimé d’une décision, le nôtre contre les systèmes derrière les meilleurs chiffres publiés sans entraînement. Les valeurs sont en TFLOP par décision, ≈ 2 × paramètres × jetons traités; les nombres de jetons sont des moyennes sur nos 500 invites de test (Banking77 : invite de 365 jetons, 334 jetons d’options, texte de 13 jetons, étiquettes de 3,5 jetons; SST-5 : 51, 12, 23 et 1,4). L’estimation du reclasseur omet son gabarit d’invite fixe; c’est donc une borne inférieure. n.c. : taille non communiquée.
ModèleExactitudeEAM (niveaux)Écart ≥ 2 niveauxSpearman ρ
1,7 Md sans entraînement0,4280,666 / 0,6420,074 / 0,0540,751 / 0,813
1,7 Md tête LM0,4460,623 / 0,6080,064 / 0,0560,765 / 0,829
1,7 Md tête scalaire0,4720,636 / 0,5490,087 / 0,0550,759 / 0,831
8 Md sans entraînement0,2860,982 / 0,8620,230 / 0,1920,774 / 0,847
8 Md tête scalaire0,5350,528 / 0,4840,059 / 0,0340,819 / 0,862
Tableau 23. SST-5 (cinq niveaux ordonnés) : l’argmax de la distribution sur les options contre son niveau espéré, arrondi (chaque cellule : argmax / espéré). Erreur absolue moyenne en niveaux, part des prédictions décalées de deux niveaux ou plus, et corrélation de Spearman avec le niveau de référence. Le niveau espéré est la meilleure prédiction ordinale pour tous les modèles, avec la plus large marge pour la tête scalaire entraînée de 1,7 milliard de paramètres.
LectureMoyenne principaleExactitudeBrierNLLECE
un seul jeton0,6260,6790,4471,0450,116
pack-readout, tête scalaire0,6520,6960,4140,8750,097
pack-readout, tête LM0,6170,6500,4661,0360,120
Tâchenun seul jetonpack-readout, tête scalairepack-readout, tête LM
Banking775000,6310,6660,649
MASSIVE5000,6910,7320,728
SST-55000,4530,4880,388
TweetEval emotion5000,6920,7060,688
TweetEval hate5000,5830,5540,528
Rotten Tomatoes5000,9020,9120,898
SMS Spam5000,6640,7160,655
Counterfactual3350,5940,6500,497
GoEmotions5000,2470,2650,291
ARC-Challenge†5000,7940,8240,808
MMLU†5000,5980,6420,626
StrategyQA5000,6600,6680,654
Tableau 24. Une lecture entraînée à un seul jeton contre le pack-readout, Qwen3-1.7B-Base, graine 0, sur les mêmes 500 exemples de test par tâche (les 500 premiers de chaque jeu de test mélangé; pack-readout : les adaptateurs de graine 0 sur les jeux de test complets du tableau 3). En haut : moyennes sur les douze tâches réservées; en bas : score principal par tâche. Un seul jeton : les logits des lettres d’option à une position de réponse, entraînés avec le même LoRA, le même objectif et le même mélange.
TâcheRéponseBonne option
Banking77« reverted top up »top up reverted
Banking77« freeze my account »compromised card
MASSIVE« lists addorcreate »calendar set
MASSIVE« recommendations movies »recommendation movies
TweetEval emotion« angry »anger
TweetEval emotion« sad »sadness
Rotten Tomatoes« neutral »positive
Rotten Tomatoes« more intellectually scary than dramatically involving »negative
SMS Spam« A »spam
GoEmotions« desperation »neutral
GoEmotions« redeem »neutral
ARC-Challenge« the color of the light bulb they use »the color of light bulb they use
ARC-Challenge« release of chlorofluorocarcs from aerosol cans »release of chlorofluorocarbons from aero
MMLU« 18x + 15 »18x+15
MMLU« recognized as breaking an important norm of behaviour »seen a temporary aberration from an othe
Tableau 25. Réponses invalides de Qwen3-1.7B interrogé : les deux premières par tâche qui ne nommaient aucune option, avec l’étiquette de référence. Chacune est une réponse plausible hors de l’ensemble des options, que la notation des options ne peut pas produire.
SystèmeDonnées d’adaptationCalculDonnées publiques
Le nôtre, depuis Qwen3-1.7B-Base16 000 exemples de 18 jeux de données publics, 2,5 M de jetons20 min, un A100 (25 PFLOP)oui
Le nôtre, depuis Qwen3-8B-Baseidem2,1 h, un DGX Spark (120 PFLOP)oui
gte-large-en-v1.5 [37]MLM sur C4; 800 M de paires extraites du web; 3 M de paires annotéesn.c. (v1 : 50 000 pas de préentraînement, lots de 16 000, 8 A100-80GB)sources seulement
Qwen3-Embedding-8B [80]150 M de paires synthétiques; 7 M de paires étiquetées + 12 M synthétiquesn.c.sources seulement
Qwen3-Reranker-8B [80]7 M de paires étiquetées + 12 M synthétiquesn.c.sources seulement
deberta-v3-large-nli-triplet [1]885 000 paires NLI, 3 époques [34]n.c. (un entraînement semblable : 10 h, un A100)oui
Flan-T5-XXL [10]collection Flan 2022, 1 836 tâches7,6×10¹⁹ FLOP (76 000 PFLOP)oui
Mistral-Nemo-Instruct [47]n.c.n.c.non
Llama-3.2-3B-Instruct [44]SFT, échantillonnage par rejet, DPO; volumes n.c.460 000 heures H100 avec le préentraînementnon
GPT-5, Clauden.c.n.c.non
Tableau 26. Données et calcul d’adaptation au-delà du préentraînement, lorsqu’ils sont divulgués. Le nôtre : 16 000 exemples publics, 20 minutes sur un A100 à 1,7 milliard de paramètres.
OptionsJetons d’inviteEmpaqueté (le nôtre)Réplication KVUne séq. par optionDécodage contraintGénération JSON
23747,591,447,3203,31 042,8
44447,389,948,2163,61 030,7
85747,390,449,2203,21 014,1
168348,292,350,8164,81 033,8
7729554,4106,9578,0167,91 042,8
25592190,8432,85 606,1217,21 184,6
Tableau 27. Latence par décision (médiane en ms sur 20 entrées et trois ensembles d’étiquettes aléatoires par nombre d’options), Qwen3-1.7B-Base, bf16, A100-40GB, étiquettes listées dans l’invite.
Ensembles d’étiquettesExactitude réservéeExactitude, nombreuses étiquettesECEAUROC
40,638 ± 0,0140,4710,1490,718
60,663 ± 0,0200,5620,1420,724
80,655 ± 0,0250,5680,1300,731
100,669 ± 0,0250,5740,1090,733
120,667 ± 0,0040,5630,1250,730
160,672 ± 0,0110,5890,1200,738
180,693 ± 0,0030,6070,0950,745
Tableau 28. Performances sur les tâches réservées selon le nombre d’ensembles d’étiquettes d’entraînement, à 16 000 présentations d’exemples et 2 000 pas, tête scalaire, Qwen3-1.7B-Base : moyenne et écart-type sur trois sous-ensembles aléatoires des tâches d’entraînement par nombre (à 18, sur trois graines d’entraînement).
Exemples dans le réservoirPar tâcheMacro-F1 réservéExactitude, nombreuses étiquettesECE
1 9981110,5950,5700,311
7 9924440,6230,6070,195
16 0028890,6310,5980,115
36 0002 0000,6410,6000,098
Tableau 29. Performances sur les tâches réservées selon la taille de la réserve d’entraînement, à 2 000 pas, tête scalaire, Qwen3-1.7B-Base; chacune des 18 tâches est plafonnée au nombre par tâche, et la plus petite réserve est vue huit fois.

D Comparaison BTZSC par groupe de tâches

Le tableau 30 donne les chiffres de la figure 8 (section 5.8), au global et par groupe de tâches.

ModèleGlobalSentimentThèmeIntentionÉmotion
Qwen3-Reranker-8B (reclasseur, 8,0 Md)0,7220,9230,6620,7000,486
Mistral-Nemo-Instruct-2407 (LLM, premier jeton, 12,2 Md)0,6700,8410,6910,4550,363
Qwen3-4B (LLM, premier jeton, 4,0 Md)0,6490,8830,6380,4010,373
gte-large-en-v1.5 (plongements, 0,4 Md)0,6170,8490,5430,5900,372
deberta-v3-large-nli-triplet (NLI, 0,4 Md)0,5960,8990,5030,4470,419
Llama-3.2-3B-Instruct (LLM, premier jeton, 3,2 Md)0,4300,4560,4370,4080,348
Le nôtre, Qwen3-1.7B-Base, sans entraînement0,5260,7260,4890,3520,386
Le nôtre, 1,7 Md entraîné, tête LM (mélange sans les données BTZSC)0,6720,9130,5980,6050,456
Le nôtre, 1,7 Md entraîné, tête scalaire (idem) (2 graines)0,7030,8990,6480,6580,480
Le nôtre, 0,6 Md entraîné, tête scalaire (idem)0,6730,8790,6210,6130,433
Le nôtre, 4 Md entraîné, tête scalaire (idem) (2 graines)0,7270,9290,6690,7210,444
Le nôtre, 8 Md entraîné, tête scalaire (idem) (2 graines)0,7400,9290,6910,7310,454
Le nôtre, 14 Md entraîné, tête scalaire (idem; 1 000 pas, demi-taux d’apprentissage)0,7450,9320,6890,7600,473
Tableau 30. Comparaison avec les classifieurs spécialisés sans entraînement sur le banc d’essai BTZSC (22 jeux de données; macro-F1 global et par groupe de tâches), selon le protocole propre au banc d’essai : chaque système reçoit le texte et une description verbalisée de chaque étiquette, et aucun n’est entraîné sur la tâche. En haut : le meilleur modèle de chaque famille du classement et ses petits LLM, sur les jeux de test complets. En bas : les nôtres, sur un sous-ensemble de 500 exemples par jeu de données, tiré avec une graine fixe; les lignes entraînées utilisent le mélange d’entraînement sans les cinq jeux de données que BTZSC contient aussi. Face à des modèles de recherche de 8 milliards de paramètres et à des LLM de 4 à 12 milliards, notre modèle est à moins de 2 points du meilleur système à 1,7 milliard, le dépasse à 4 milliards, la moitié de sa taille, et le dépasse de deux points à 8 milliards, la même taille.

E Chiffres publiés sur les tâches réservées

Meilleurs résultats publiés que nous avons pu vérifier (2026-09-19, corrigés le 2026-09-30) pour chaque tâche réservée, avec la taille du modèle et la métrique dans laquelle chacun est rapporté. « Sans entraînement » signifie aucun entraînement sur le jeu de données. Sources : résultats de BTZSC (Aarab [1], jeux de test complets); Zhang et al. 2023 (arXiv 2305.15005; 500 éléments de test échantillonnés); TimeLMs (arXiv 2202.03829); Casanueva et al. 2020 (arXiv 2003.04807); FitzGerald et al. 2022 (arXiv 2204.08582); Emo Pillars (arXiv 2504.16856); les rapports techniques de Llama 3.2 et de Qwen3; pour SMS Spam, Wang et al. [71] (150 messages de test échantillonnés) et Houlsby et al. [25] (réglage fin complet; leur partition de test de 558 messages); pour Counterfactual, Lee et al. [35] (une sonde logistique sur des plongements figés; le jeu de test anglais de MTEB); pour GoEmotions, Niu et Mower Provost [48]; pour SST-5, Heinsen [22]; pour StrategyQA, Şenol et al. [61] (version 4; 250 éléments échantillonnés de la partition de test que nous utilisons). Les résultats supervisés publiés sur StrategyQA utilisent d’autres partitions. Les chiffres de GoEmotions sont multi-étiquettes et ne sont pas comparables à notre sous-ensemble à étiquette unique.

TâcheMeilleur sans entraînement (modèle, mesure)Meilleur supervisé (modèle, mesure)
Banking770,715 Qwen3-Embedding (8 Md) (macro-F1)0,937 BERT-large (0,3 Md) (exactitude)
MASSIVE0,673 Qwen3-Reranker (8 Md) (macro-F1)0,890 mT5-base (0,6 Md) (exactitude)
SST-50,570 Flan-UL2 (20 Md) (exactitude)0,598 tête de routage sur RoBERTa-large figé (0,4 Md) (exactitude)
TweetEval emotion0,728 ChatGPT (macro-F1)0,810 TimeLM (0,1 Md) (macro-F1)
TweetEval hate0,708 Flan-UL2 (20 Md) (macro-F1)0,581 TimeLM (0,1 Md) (macro-F1)
Rotten Tomatoes0,903 Qwen3-Reranker (8 Md) (macro-F1)0,900 T5-large (0,8 Md) (exactitude)
SMS Spam0,973 GPT-4 (exactitude)0,993 BERT-base (0,1 Md) (exactitude)
Counterfactualaucun trouvé0,951 NV-Embed-v1 (8 Md), sonde sur 32 exemples par étiquette (exactitude)
GoEmotions0,319 GPT-4 (macro-F1, multi-étiquettes)0,550 RoBERTa-large (0,4 Md) (macro-F1, multi-étiquettes)
ARC-Challenge0,786 Llama-3.2-3B-Instruct (exactitude)aucun trouvé
MMLU0,626 Qwen3-1.7B-Base, 5 exemples (exactitude)aucun trouvé
StrategyQA0,524 Phi-2 (2,7 Md), réponse libre (exactitude)aucun trouvé
Tableau 31. Chiffres publiés sur les tâches réservées.

F Points de comparaison par invite : protocole

Chaque modèle interrogé reçoit l’invite du noteur sans sa ligne d’amorce, suivie de « Reply with one of the listed answers, exactly as written, and nothing else. », sous la forme d’un unique message utilisateur au format conversationnel du modèle; la réflexion est désactivée lorsque le gabarit le permet. Les modèles locaux échantillonnent les réponses libres avec les réglages recommandés par leurs auteurs pour le mode sans réflexion (température 0,7, top-p 0,8, top-k 20; graine 0) et décodent les réponses contraintes de façon gloutonne. Les requêtes hébergées fixent la température à 0; la passerelle n’indique pas si un fournisseur l’applique à un modèle de raisonnement. Une réponse est appariée à une option par correspondance exacte après normalisation (casse, guillemets et ponctuation en bordure, espaces), sinon par l’option la plus longue contenue dans la réponse en mots entiers, sinon par l’unique option dont la réponse fait partie; à défaut, elle est invalide et compte comme fausse. Chaque réponse est conservée avec les résultats. Les modèles locaux (Qwen3-1.7B, 4B, 8B, les versions post-entraînées) tournent sur un A100-40GB de Lambda, une décision à la fois; les réponses libres s’arrêtent au jeton de fin de tour ou à un plafond de 32 768 jetons, qu’ont atteint deux réponses MMLU du modèle de 1,7 milliard de paramètres. Les modèles hébergés passent par la Vercel AI Gateway. Muse Spark 1.3 et GLM-5.3 n’ont pas de plafond de jetons de sortie au niveau de la requête; les autres exécutions hébergées utilisaient un budget de 1 024 jetons, raisonnement caché compris. Les requêtes sont limitées aux fournisseurs listés au tableau 32. Les fournisseurs qui ont servi les requêtes sont consignés par tâche, et par réponse pour Muse Spark 1.3 et GLM-5.3. GPT-5, GPT-6 Astra et Muse Spark 1.3 tournent avec un effort de raisonnement minimal, GLM-5.3 avec un effort faible; les autres modèles utilisent leurs réglages par défaut, ce qui signifie la réflexion adaptative activée pour Claude Sonnet 5 et Claude Fable 5.1 et aucune réflexion pour Claude Sonnet 4.6 (les étiquettes du tableau 7 indiquent le réglage effectif). Le tableau 32 liste les identifiants des modèles, les fournisseurs qui ont servi les requêtes et les dates; l’annexe I liste les rapports techniques disponibles.

IdentifiantParamètres (Md)Servi parRéglagesDate
alibaba/qwen-3-235b235deepinfra, novitapar défaut2026-09-19
anthropic/claude-fable-5.1n.c.anthropicpar défaut2026-09-20
anthropic/claude-sonnet-4.6n.c.anthropicpar défaut2026-09-19
anthropic/claude-sonnet-5n.c.anthropicpar défaut2026-09-20
deepseek/deepseek-v3.2671deepinfrapar défaut2026-09-19
meta/muse-spark-1.3n.c.metareasoning_effort=minimal2026-09-20
moonshotai/kimi-k32 800alibaba, basetenpar défaut2026-09-20
openai/gpt-5n.c.openaireasoning_effort=minimal2026-09-19
openai/gpt-6-astran.c.openaireasoning_effort=minimal2026-09-20
openai/gpt-oss-120b117basetenpar défaut2026-09-19
zai/glm-5.3753deepinfrareasoning_effort=low2026-09-20
Tableau 32. Modèles hébergés du tableau 7 : identifiant du modèle sur la passerelle, paramètres totaux tels qu’indiqués par le développeur du modèle (n.c. : non communiqué), fournisseurs ayant servi les requêtes, réglages des requêtes et date de l’exécution.

G Reproduction

Le dépôt publié contient l’implémentation du modèle, les chargeurs de données d’entraînement et les points d’entrée d’entraînement et d’évaluation. scripts/train.py entraîne l’adaptateur LoRA et la lecture; scripts/evaluate.py évalue un modèle de base ou un adaptateur enregistré sur les tâches indiquées; scripts/prompting_baseline.py, scripts/prompting_baseline_api.py, scripts/bench_latency.py et scripts/btzsc_eval.py exécutent les comparaisons d’interrogation par invite, de latence et sur BTZSC des sections 5.5, 5.6 et 5.8. La section 4 donne les réglages d’entraînement. L’archive de résultats (Disponibilité des données) contient les rapports d’évaluation derrière chaque chiffre rapporté. Les adaptateurs entraînés (poids LoRA et, pour la lecture scalaire, le vecteur de la tête) des exécutions principales à chaque taille, des autres modèles de base, de la lecture par tête LM, du mélange expurgé de BTZSC et des graines supplémentaires sont publiés sur Hugging Face, nommés d’après leur modèle de base, sous licence CC BY-NC 4.0, car le mélange d’entraînement comprend SciQ (CC BY-NC 3.0).

Un entraînement a divergé : l’exécution sur les jeux de test complets de la tête scalaire de 1,7 milliard de paramètres avec la graine 2, sur les A100 de Lambda (sa perte est passée d’environ 0,5 à 1,3 après le pas 500 et y est restée, et ses scores sur les tâches réservées étaient proches du hasard). Il a été relancé avec la même graine; seule la relance est rapportée. Une exécution concomitante avec la graine 3 a atteint une moyenne de 0,649 sur les tâches réservées et n’est pas utilisée. Aucune autre exécution n’a divergé. À 4 milliards, la graine 0 de la tête scalaire (4b-set-scalar-s0) était une première exécution de 1 000 pas et la graine 1 la recette de 2 000 pas; les deux concordent à 0,005 près sur la moyenne des tâches réservées, et le contrôle à 1 000 pas de la section 5.7 montre que le nombre de pas ne change pas le résultat à 4 milliards.

H Latence à d’autres tailles

Le balayage du tableau 27 à 0,6 et 4 milliards de paramètres, avec le même protocole et le même GPU (également dans la figure 6). À 4 milliards, la réplication KV ne tient pas dans 40 Go à 255 options.

OptionsJetons d’inviteEmpaqueté (le nôtre)Réplication KVUne séq. par optionDécodage contraintGénération JSON
23744,785,445,7193,9798,3
44445,387,346,3161,7778,8
85745,287,246,5195,6860,4
168346,187,748,4158,1850,6
7729552,999,5340,8162,9931,9
25592172,6406,63 291,1173,0969,7
Tableau 33. Latence par décision (médiane en ms), Qwen3-0.6B-Base, A100-40GB, colonnes comme au tableau 27.
OptionsJetons d’inviteEmpaqueté (le nôtre)Réplication KVUne séq. par optionDécodage contraintGénération JSON
23759,8116,661,7260,71 351,5
44459,9114,861,2212,11 355,3
85761,2116,462,6209,31 364,6
168362,4119,689,7210,91 385,4
7729569,2163,91 237,8219,41 373,7
255921159,0OOM12 349,9234,51 433,0
Tableau 34. Latence par décision (médiane en ms), Qwen3-4B-Base, A100-40GB, colonnes comme au tableau 27; OOM : ne tient pas dans 40 Go.

I Sources des jeux de données et des modèles

Mélange d’entraînement : AG News, DBpedia-14, Yahoo Answers et Yelp-5 [79]; IMDB [42]; TweetEval sentiment, offensive et irony [4]; Emotion [60]; CLINC-150 [33]; SciQ [74]; OpenBookQA [45]; CommonsenseQA [65]; QASC [29]; ARC-Easy [12]; HellaSwag [78]; WinoGrande [58]; BoolQ [11]. Tâches réservées : Banking77 [8]; MASSIVE [18]; SST-5 [62]; Rotten Tomatoes [53]; TweetEval emotion et hate [4]; GoEmotions [17]; SMS Spam [3]; Amazon Counterfactual [50]; ARC-Challenge [12]; MMLU [23]; StrategyQA [19]. Modèles de base : Qwen3 [55], Qwen2.5 [54], OLMo 2 [49], SmolLM2 [2]. Modèles hébergés à poids ouverts avec un rapport publié : gpt-oss [51], DeepSeek-V3 [15], la lignée que prolonge V3.2, Kimi K2 [30], le prédécesseur de K3, et Qwen3-235B [55]. GLM-5.3 [77] et Muse Spark 1.3 [43] sont documentés par leurs développeurs; les modèles fermés sont identifiés par leur identifiant et leur date au tableau 32. Systèmes de référence BTZSC du tableau 30 : Qwen3-Reranker-8B [80], gte-large-en-v1.5 [37], Llama-3.2-3B-Instruct [44] et Mistral-Nemo-Instruct [47].