Tout modèle de langage est un classifieur : des décisions calibrées en une passe sur des ensembles d’étiquettes arbitraires, à partir de LLM préentraînés
Résumé
Beaucoup d’appels à des modèles de langage choisissent dans un ensemble connu d’options, mais passent par la génération puis l’analyse du texte produit. Nous calculons plutôt la vraisemblance de chaque option et la normalisons sur l’ensemble. Empaqueter les options après une invite commune, avec un masque d’attention par blocs, calcule toutes les vraisemblances en une seule passe avant (un pack-readout). Sans entraînement, c’est le protocole par log-vraisemblance des outils d’évaluation standard, avec ses limites connues : il favorise les options courtes, répartit la probabilité entre paraphrases et est mal calibré. Nous entraînons la distribution sur les options par entropie croisée sur l’ensemble des options, sur un mélange de 18 tâches, et évaluons sur 12 tâches réservées. À 0,6 milliard de paramètres, le score principal moyen sur les tâches réservées (macro-F1, ou exactitude lorsque les options diffèrent d’un exemple à l’autre) passe de 0,37 à 0,57; à 1,7 milliard, de 0,55 à 0,64; à 8 milliards, de 0,63 à 0,72. Un seul jeu de poids traite tous les ensembles d’étiquettes testés. Face aux 35 classifieurs sans entraînement du classement BTZSC, le modèle se situe sur la frontière taille–exactitude ou au-dessus pour les trois tâches communes; selon le protocole propre au banc d’essai, le modèle de 4 milliards dépasse le meilleur système répertorié, à la moitié de sa taille. Interroger le modèle ajusté aux instructions de même taille est moins exact à toutes les tailles; onze modèles hébergés interrogés, dont GPT-6 Astra et Claude Fable 5.1, obtiennent de 0,71 à 0,81, contre 0,72 pour notre modèle entraîné de 8 milliards. Une tête scalaire apprise se transfère mieux que la tête du modèle de langage; à 1,7 milliard, l’erreur de calibration top-1 moyenne passe de 0,114 à 0,098 sans mise à l’échelle de la température. Une décision entre 77 options d’un modèle de 1,7 milliard de paramètres prend 54 ms sur un A100, 3× plus vite que le décodage contraint et 19× plus vite que la génération JSON avec justification; la conversion demande 16 000 exemples d’entraînement et 20 minutes d’entraînement LoRA, et s’applique telle quelle à SmolLM2, OLMo-2, Qwen2.5 et gpt-oss-20b. L’implémentation du modèle, le code d’entraînement et les adaptateurs entraînés sont publiés.
1 Introduction
Dans de nombreuses applications, un modèle de langage choisit une option dans un ensemble fixe : une étiquette d’acheminement, un niveau de gravité, oui ou non. Générer du texte puis l’analyser présente des inconvénients. Le décodage est séquentiel et limité par la mémoire, si bien qu’une étiquette de n jetons demande n passes avant successives; la sortie doit être analysée et peut sortir du schéma; et une étiquette échantillonnée ne porte aucune probabilité exploitable.
Une autre voie consiste à sélectionner par maximum de vraisemblance parmi les options admissibles [5, 7]. Des options connues peuvent être notées par forçage de l’enseignant, sans décodage. Restreindre les sorties à ces options fournit des décisions valides, assorties de probabilités. Des « modèles de décision » commerciaux comme Jev [67] exposent cette interface (une question typée, un ensemble d’options, une probabilité sur celles-ci, une passe), mais ne divulguent pas leur mode d’entraînement. Nous étudions une adaptation simple et entièrement spécifiée d’un modèle de langage préentraîné vers cette interface : un classifieur qui accepte un nouvel ensemble d’étiquettes au moment de l’inférence et renvoie des probabilités sur celui-ci en une seule passe avant.
La notation des options sans entraînement a au moins trois limites documentées. La somme des log-probabilités pénalise les options longues, et les prédictions changent selon la méthode de notation [66]; la probabilité fuit vers des paraphrases hors de l’ensemble d’options [24]; et la distribution renormalisée est mal calibrée [27, 81, 83]. Des méthodes par tâche pour décodeurs entraînent une tête de classification [38, 63]; Universal Discriminator [76] transfère vers des tâches réservées une notation des candidats fondée sur un encodeur. Nous combinons un entraînement discriminatif inter-tâches avec le pack-readout.
Nos contributions sont les suivantes :
- Pack-readout. Une seule passe avant sur l’invite suivie de toutes les options, avec un masque d’attention par blocs et des identifiants de position propres à chaque option, donne les mêmes log-vraisemblances que la notation séparée de chaque option, sans réplication du cache KV (section 3.2); la même passe met en œuvre trois primitives de décision : choix, score ordinal et oui/non (section 3.3).
- Entraîner la distribution sur les options. Nous minimisons l’entropie croisée sur l’ensemble des options, sur un mélange public de tâches, en au plus 2 000 pas LoRA (16 000 présentations d’exemples, environ 2,5 M de jetons); l’entraînement prend 20 minutes sur un A100 à 1,7 milliard de paramètres. Sur 12 tâches réservées, le score principal moyen dépasse celui de la notation sans entraînement de 9 points à 1,7 milliard (trois graines), 4 et 8 milliards, de 20 à 0,6 milliard et de 2 à 14 milliards avec un taux d’apprentissage et un nombre de pas réduits (section 5.2); la tête scalaire se transfère à des ensembles et à des noms d’étiquettes qu’elle n’a jamais vus (section 5.3).
- Comparaison avec les classifieurs spécialisés sans entraînement. Face aux 35 systèmes du classement BTZSC, les modèles entraînés dépassent tous les systèmes répertoriés sur MASSIVE dès 0,6 milliard de paramètres et sur Banking77 dès 4 milliards (figure 3); selon le protocole propre au banc d’essai, entraîné sans ses jeux de données, le modèle de 4 milliards dépasse tous les systèmes du classement, à la moitié de la taille du meilleur (figure 8).
- Calibration. L’objectif est une règle de score propre : le score de Brier, la log-vraisemblance et le classement par confiance s’améliorent sur des tâches inédites, et la calibration top-1 s’améliore pour la tête scalaire sans mise à l’échelle de la température (section 5.4).
- Comparaison des coûts avec l’interrogation par invite. Une décision entre 77 options d’un modèle de 1,7 milliard de paramètres prend 54 ms sur un A100, 3× plus vite que le décodage contraint et 19× plus vite que la génération JSON avec justification, avec peu de variation d’une entrée à l’autre (section 5.6). Interroger le modèle ajusté aux instructions de même taille est moins exact à toutes les tailles, et jusqu’à 7 % de ses réponses ne nomment aucune option; onze modèles de pointe hébergés obtiennent de 0,71 à 0,81, contre 0,72 pour notre modèle entraîné de 8 milliards, avec 4 à 177 pas de décodage par décision (section 5.5).
- Une recette générale. La même procédure fait gagner 25 et 21 points d’exactitude à SmolLM2-1.7B et à OLMo-2-1B, 15 à gpt-oss-20b et 3 à Qwen2.5-32B; davantage d’ensembles d’étiquettes d’entraînement profitent surtout aux tâches à nombreuses étiquettes et à la calibration, et retirer deux jeux d’entraînement voisins de tâches réservées relève les scores de ces tâches voisines (section 5.7).
2 Contexte et travaux connexes
Notation des options. Noter des continuations candidates par log-vraisemblance est le protocole à choix multiples de GPT-3 [7] et de lm-evaluation-harness [5], qui rapporte une variante brute (acc) et une variante normalisée par caractère (acc_norm). Holtzman et al. [24] ont mis en évidence la concurrence des formes de surface et proposé la PMI conditionnelle au domaine; Min et al. [46] notent l’invite sachant l’option; Tsvilodub et al. [66] montrent que les prédictions changent selon la méthode de notation. Noter la lettre d’une option [57] coûte moins cher, mais favorise certaines lettres d’option [82]; les choix extraits de réponses générées sont plus robustes que les probabilités du premier jeton lorsque les deux divergent [70]. Nous notons le texte complet de l’option.
Réglage fin discriminatif des décodeurs. LS-LLaMA [38] et Sood et Savelka [63] ajoutent une tête de classification à un décodeur et l’entraînent tâche par tâche; ces derniers constatent que l’entropie croisée sur les scores des candidats surpasse de 2 à 3 points le SFT par génération d’étiquette entre 0,6 et 1,7 milliard de paramètres. Aucun des deux n’entraîne sur plusieurs tâches, n’évalue sur des ensembles d’étiquettes inédits ni ne mesure la calibration ou la latence. Kowsher et al. [31] soutiennent que la génération préserve davantage d’information qu’une représentation agrégée; le logit de notre tête LM est une vraisemblance au niveau du jeton, la tête scalaire une représentation agrégée. Nous comparons les deux à la génération.
Classification sans entraînement sur des ensembles d’étiquettes arbitraires. T0 [59] et FLAN [10, 72] s’entraînent sur de nombreuses tâches formulées par invite et se transfèrent à des tâches réservées; tous deux apprennent à générer le texte cible, et T0 comme le premier FLAN évaluent la classification par classement des options selon leur vraisemblance (la collection Flan ultérieure évalue par invite directe et par chaîne de pensée). Nous adoptons le protocole des tâches réservées et entraînons directement la lecture par notation. Universal Discriminator [76] entraîne sur plusieurs tâches un noteur scalaire fondé sur un encodeur, par entropie croisée binaire sur des paires entrée–option, et se transfère à des tâches réservées. Nous utilisons un décodeur, entraînons par entropie croisée sur l’ensemble des options et notons toutes les options en une passe à préfixe commun. GLiClass [64] place les étiquettes devant l’entrée d’un encodeur. BTZSC [1] évalue des encodeurs croisés NLI, des plongements, des reclasseurs et la notation de LLM au premier jeton sur 22 jeux de données (section 5.8). Laya [13], publié en parallèle, est un encodeur ouvert doté des trois primitives de Jev : ModernBERT-large note chaque option à un jeton de masque et est entraîné par domaine avec REINFORCE sur des règles de score propres. Sa fiche de modèle rapporte 0,36 sans entraînement sur son propre ensemble de décisions et 0,43 sur Banking77, ce qui indique un transfert limité vers des ensembles d’étiquettes inédits.
Attention à préfixe commun. Hydragen [28] calcule une attention exacte pour des séquences qui partagent un préfixe. Wang et Hegde [69] empaquettent les réponses choisies et rejetées derrière une invite commune, avec un masque creux par blocs, pour l’optimisation directe des préférences. Nous appliquons cette construction à un ensemble d’options, avec des lectures par vraisemblance ou scalaires. Block-Attention [41] et Parallel Context Windows [56] masquent des blocs indépendants qu’un bloc final lit, et exigent un réglage fin ou perdent un peu d’exactitude. Le pack-readout utilise le même schéma préfixe-plus-blocs pour la notation des options et ne demande aucune adaptation : chaque bloc d’option ne porte son attention que sur l’invite et sur lui-même.
Calibration. La mise à l’échelle de la température [21], la calibration contextuelle [81] et la calibration par lot [83] corrigent les sorties d’un modèle figé; ConfTuner [36] entraîne une confiance verbalisée avec une perte de Brier. Nous entraînons la distribution sur les options elle-même avec une règle de score propre [20] et testons si la calibration se transfère. G-Eval [39] prend la somme des jetons de note pondérée par leurs probabilités; notre primitive ordinale est le même estimateur. Le tableau 21 (annexe C) compare ces méthodes.
Travaux concomitants. Cheng et al. [9] présentent en parallèle un modèle de décision typé de 2 milliards de paramètres qui lit chaque option sur un seul jeton et est entraîné sur tous ses paramètres avec des pertes d’entropie croisée et de Brier. Nous notons le texte complet de l’option, comparons deux lectures et mesurons, avec LoRA, le transfert vers des tâches réservées sur plusieurs familles de modèles; la section 5.3 entraîne leur lecture à un seul jeton selon notre protocole.
3 Méthode
La figure 1 résume le modèle : un décodeur préentraîné exécuté une seule fois sur l’invite et toutes les options, avec un masque d’attention par blocs et des identifiants de position propres à chaque option, lu aux jetons des options et normalisé sur l’ensemble des options.
3.1 Notation des options
Étant donné une invite x (état, question et options listées) et des options o1, …, on, chacune rendue par une espace initiale, le texte de l’option et un retour à la ligne servant de terminateur, le score de l’option i est sa log-vraisemblance par forçage de l’enseignant, et la distribution de décision en est la softmax :
Le terminateur est noté afin qu’une option dont les jetons forment un préfixe de ceux d’une autre (« New York », « New York City ») puisse obtenir un score inférieur. Un préfixe de jetons commun à plusieurs options contribue également à leurs log-probabilités, ce qui laisse leurs cotes relatives inchangées tout en pénalisant les options qui ne le partagent pas. Nous considérons aussi la normalisation de si par jeton, par octet et par caractère, ainsi que la variante PMI si − log Pθ(oi ∣ x0) pour l’invite sans contenu x0, qui ne garde que la ligne d’amorce, soit la PMI conditionnelle au domaine de Holtzman et al. [24].
3.2 Pack-readout : une seule passe avant pour toutes les options
L’éq. 1 ne demande aucun décodage. Une implémentation directe préremplit x une fois, réplique son cache KV n fois et note le lot d’options complété par remplissage; la réplication coûte un trafic mémoire en O(nP) et domine lorsque les options sont nombreuses (tableau 27). Nous exécutons plutôt une seule séquence x ‖ o1 ‖ ⋯ ‖ on, où ‖ désigne la concaténation de jetons, avec (i) un masque d’attention par blocs dans lequel un jeton ne porte son attention que sur l’invite et sur les jetons précédents de sa propre option, et (ii) des identifiants de position qui repartent de P = |x| pour chaque option (figure 1). Les états cachés des jetons d’option sont alors égaux à ceux d’une passe séparée sur x ‖ oi, de sorte que les log-vraisemblances sont exactes (vérifié à 2×10−3 nat près en fp32). La log-probabilité de chaque jeton d’option est lue à la position qui le prédit : la dernière position de l’invite pour le premier jeton de chaque option, puis les positions propres de l’option, y compris celle qui prédit son terminateur; la tête LM n’est appliquée qu’à ces positions. Nous appelons cette passe un pack-readout : les options sont empaquetées, puis lues. Le coût est un préremplissage de P + Σi Li jetons : une option ajoute Li jetons à un préremplissage limité par le calcul, alors que chaque jeton décodé coûte une étape limitée par la mémoire.
Invite x (P jetons)
Route the message to one intent.
Labels: refund, refund status, cancel
Text: Where is my refund?
Label:Séquence empaquetée et identifiants de position
• la tête LM lit la log-probabilité de chaque jeton d’option à la position qui le prédit
« status » (option 2, position P+1) voit l’invite et « refund » : comme dans une passe séparée sur l’invite et l’option 2.
Softmax sur les options
3.3 Primitives de décision
Trois primitives couvrent les décisions visées, chacune définie par l’éq. 1. Choix liste les options dans l’invite et renvoie p. Score liste K niveaux ordonnés avec leurs indices, note les chaînes d’indice « 0 », …, « K−1 » et renvoie le niveau espéré Σk k pk, comme dans G-Eval [39]; des indices d’un seul jeton (K ≤ 10) suppriment le biais de longueur dans le cas ordinal. Vrai/faux note « yes » et « no » et renvoie pyes.
3.4 Entraîner la distribution sur les options
Nous effectuons un réglage fin avec LoRA [26] sur un mélange de tâches de classification et à choix multiples, en minimisant la log-probabilité négative de la bonne option y selon l’éq. 1 avec τ = 1 :
Cela entraîne la distribution d’inférence avec une règle de score strictement propre, dont le minimiseur non restreint du risque en population est la vraie distribution conditionnelle [20], et permet au modèle de corriger le biais de longueur. Nous comparons deux lectures sur le même calcul empaqueté : la tête LM, si comme dans l’éq. 1, et la tête scalaire de Sood et Savelka [63], si = w⊤hi, où hi est l’état caché final, après la dernière normalisation, au retour à la ligne final de l’option i. C’est le vecteur que lit la tête LM, calculé avec une attention sur l’invite et sur l’option entière. Les deux lectures peuvent noter des chaînes d’option inédites; p est la softmax sur les n scores. Nous comparons aussi l’objectif sur la seule bonne réponse −sy, qui augmente la vraisemblance de la bonne option sans la comparer aux autres et qui correspond à l’objectif de génération d’étiquette de T0 et de FLAN avec le texte de l’option pour cible.
L’apprentissage par renforcement est-il nécessaire à la calibration ? Jev serait entraîné par « apprentissage par renforcement pour des décisions calibrées » (RLCD), que ses développeurs décrivent comme une optimisation de probabilités calibrées sur des tâches de décision [68]; la récompense et les données ne sont pas publiques. Une récompense qui vise la calibration est une règle de score propre de p par rapport à une étiquette vérifiée. Lorsque le modèle émet toute la distribution p en une passe, une telle récompense, par exemple le score de Brier Σi (pi − 𝟙[i = y])2, est déterministe et différentiable : il n’y a aucune action à échantillonner, la montée de gradient sur la récompense espérée est une descente de gradient sur la perte, et un estimateur par échantillonnage ne peut qu’ajouter de la variance. Nous comparons donc trois objectifs : le score logarithmique (éq. 2), le score de Brier comme perte, et REINFORCE [75] : échantillonner une décision selon p, puis mettre à jour la log-probabilité de cette option proportionnellement à la récompense moins une moyenne glissante des récompenses passées. Avec une récompense de 1 lorsque l’échantillon est y, la récompense espérée est py plutôt que log py, une règle de score impropre maximisée en plaçant toute la masse sur l’option la plus probable; elle n’optimise que l’exactitude.
4 Protocole expérimental
Modèles et calcul. Nous entraînons Qwen3-Base à 0,6 milliard, 1,7 milliard, 4, 8 et 14 milliards de paramètres [55] en bf16. La plupart des exécutions utilisent un NVIDIA A100-40GB; les principales exécutions à 8 et 14 milliards utilisent un DGX Spark (GB10, 128 Go), et le balayage à 14 milliards, l’échelle BTZSC et le balayage des ensembles d’étiquettes utilisent une machine Lambda 8×A100-40GB, à raison d’une exécution par GPU, sauf gpt-oss-20b et Qwen2.5-32B, répartis chacun sur deux GPU. L’entraînement utilise LoRA de rang 16 (α = 32) sur toutes les projections d’attention et de MLP, AdamW [40] avec un taux d’apprentissage de 2×10−4, 100 pas d’échauffement et une décroissance en cosinus, et des lots de 8 exemples pendant 2 000 pas (16 000 exemples du mélange de 36 000 exemples, au plus 2 000 par tâche d’entraînement); la tête scalaire est un vecteur fp32 entraîné avec l’adaptateur, et les exécutions principales utilisent les graines 0 à 2 (l’annexe G décrit les graines à 4 milliards). Une exécution à 1,7 milliard prend environ 20 minutes d’entraînement et 3 minutes d’évaluation sur les sous-ensembles (12 sur les jeux de test complets). Les travaux d’entraînement et d’évaluation totalisent 77 heures GPU dans nos relevés (13 sur l’A100 de Colab, 12 sur le DGX Spark et 52 sur les A100 de Lambda), surtout pour les modèles de 14 milliards et plus, les deux balayages de la section 5.7 et les mesures d’interrogation par invite et de latence; les relevés omettent les évaluations sur les jeux de test complets, dont les journaux n’ont pas été conservés.
Tâches. Le tableau 1 liste le mélange et l’ensemble réservé. Les tâches réservées ne partagent aucun jeu de données ni aucun ensemble d’étiquettes avec le mélange, mais deux y ont de proches voisins : trois des quatre étiquettes de TweetEval emotion (anger, joy, sadness) figurent aussi dans le jeu d’entraînement Emotion à six étiquettes, qui n’a pas « optimism », et TweetEval hate est étroitement lié à TweetEval offensive, une catégorie plus large. La section 5 en rapporte les effets; la section 5.7 évalue un entraînement sans ces jeux de données. Les options sont toujours listées dans l’invite. Les invites de classification ont la forme « instruction / Labels: … / Text: … / Label: »; les invites de question, « Question: … / Options: … / Answer: » (annexe A).
| Rôle | Tâches | |𝒪| | Type |
|---|---|---|---|
| entraînement | AG News, DBpedia-14, Yahoo Answers | 4 / 14 / 10 | thème |
| entraînement | Yelp-5, IMDB, TweetEval sentiment | 5 / 2 / 3 | sentiment, ordinal |
| entraînement | Emotion (dair-ai), TweetEval offensive, irony | 6 / 2 / 2 | émotion, binaire |
| entraînement | CLINC-150 | 151 | intention |
| entraînement | SciQ, OpenBookQA, CommonsenseQA, QASC, ARC-Easy, HellaSwag, WinoGrande | variable | choix multiple |
| entraînement | BoolQ | 2 | oui/non avec passage |
| réservée | Banking77, MASSIVE | 77 / 59 | intention |
| réservée | SST-5, Rotten Tomatoes | 5 / 2 | sentiment, ordinal |
| réservée | TweetEval emotion, hate; GoEmotions | 4 / 2 / 28 | émotion, binaire |
| réservée | SMS Spam, Amazon Counterfactual | 2 / 2 | binaire |
| réservée | ARC-Challenge, MMLU | variable | choix multiple |
| réservée | StrategyQA | 2 | oui/non |
Points de comparaison. Avec le même modèle de base : la notation des options sans entraînement avec les scores bruts, par octet et PMI, et avec calibration par lot; la notation des options à cinq exemples, soit cinq exemples d’entraînement de la tâche dans l’invite et aucun entraînement; la notation du symbole au premier jeton, le protocole LLM de BTZSC; le SFT sur la seule bonne réponse et la tête scalaire sur le même mélange; la tête scalaire entraînée sur la partition d’entraînement propre à chaque tâche réservée, le plafond supervisé de la lecture (tableau 3). Les points de comparaison externes sont les meilleurs modèles de chaque famille et les petits LLM rapportés par BTZSC, ainsi que les meilleurs résultats publiés, sans entraînement et supervisés, pour chaque tâche réservée (annexe E).
Métriques. Le macro-F1 pour les tâches à ensemble d’étiquettes commun et l’exactitude pour les deux dont les options diffèrent d’un exemple à l’autre (la métrique principale); la log-vraisemblance négative, le score de Brier [6] et l’erreur de calibration espérée [52] (ECE, 15 intervalles de même largeur) de la confiance top-1; l’AUROC de la confiance comme détecteur d’erreurs; l’exactitude à 50 % de couverture. Le macro-F1 moyenne le F1 par classe sur les classes présentes parmi les étiquettes de référence des exemples évalués; une réponse qui ne nomme aucune option compte comme une erreur pour sa seule classe de référence. La latence est le temps écoulé pour une décision, mesuré une fois par entrée sur 20 entrées après échauffement, sur des GPU A100-40GB avec la même configuration PyTorch en mode eager pour toutes les méthodes et toutes les tailles (l’annexe F nomme les machines). Le tableau 3 évalue sur les jeux de test complets (40 117 exemples sur les douze tâches); les ablations, les balayages et les autres tailles utilisent 500 exemples de test par tâche, tirés avec une graine fixe, et les tableaux 11 et 12 comparent ces sous-ensembles aux jeux de test complets à chaque taille (moyennes à moins d’un point, sauf la moyenne sans entraînement à 0,6 milliard, inférieure de 1,2 sur le sous-ensemble). Les intervalles bootstrap à 95 % sur les sous-ensembles ont une demi-largeur d’environ 0,04 par tâche (médiane; 0,07 au plus, sur le jeu Counterfactual de 335 exemples) et de 0,012 sur la moyenne des tâches réservées. Des écarts de quelques points par tâche entre exécutions uniques restent dans le bruit; nous comparons donc des moyennes. Les moyennes des tâches réservées pondèrent également les tâches; les écarts-types décrivent la variation entre graines d’entraînement.
5 Résultats
5.1 Notation des options sans entraînement
Notre noteur reproduit lm-evaluation-harness sur ARC-Easy (400 premières questions de test, Qwen3-0.6B-Base : acc 0,6275 pour les deux; acc_norm 0,560 pour les deux). Le tableau 2 donne l’exactitude sans entraînement de Qwen3-1.7B-Base sur les tâches réservées. La notation du texte est une référence solide (moyenne 0,626; 0,73 sur ARC-Challenge, 0,87 sur Rotten Tomatoes) et, sur les neuf tâches d’au plus 26 options, dépasse de 8,9 points la notation du symbole au premier jeton (0,688 contre 0,599), qui échoue sur SMS Spam (0,24). Quatre observations motivent l’entraînement. Aucune normalisation ne l’emporte partout : la somme brute est la meilleure en moyenne, et toute normalisation par la longueur réduit l’exactitude sur les étiquettes courtes (Banking77 : 0,43 en brut, 0,17 par caractère). La PMI avec une invite nulle générique s’effondre sur les grands ensembles d’étiquettes (0,01 sur Banking77) : l’option dont la forme de surface est la plus rare est prédite pour chaque exemple. Les petits modèles suivent l’a priori sur les étiquettes : le modèle de 0,6 milliard prédit « spam » pour 499 messages sur 500 et « hate » pour 494 tweets sur 500; la calibration par lot [83] améliore les tâches dominées par l’a priori sur les étiquettes (+4,6 sur Banking77, +5,2 sur StrategyQA à 1,7 milliard) et dégrade les tâches déséquilibrées (−20,6 sur SMS Spam, −23,6 sur Counterfactual). La calibration est médiocre et incohérente : l’ECE va de 0,05 à 0,32 selon les tâches à 1,7 milliard (de 0,07 à 0,73 à 0,6 milliard), et la température la mieux ajustée va de 0,4 à 2,4 à 1,7 milliard (de 0,5 à 20 à 0,6 milliard, 20 étant le plafond de la recherche), si bien qu’aucune température a posteriori unique ne suffit.
| Tâche | brut | par jeton | par octet | par caractère | PMI | +BC | symbole | ECE (brut) |
|---|---|---|---|---|---|---|---|---|
| Banking77 | 0,432 | 0,228 | 0,198 | 0,174 | 0,014 | 0,478 | – | 0,083 |
| MASSIVE | 0,656 | 0,592 | 0,592 | 0,578 | 0,056 | 0,666 | – | 0,047 |
| SST-5 | 0,428 | 0,298 | 0,304 | 0,296 | 0,244 | 0,384 | 0,292 | 0,164 |
| TweetEval emotion | 0,758 | 0,758 | 0,678 | 0,620 | 0,690 | 0,762 | 0,734 | 0,078 |
| TweetEval hate | 0,612 | 0,588 | 0,588 | 0,588 | 0,588 | 0,622 | 0,676 | 0,062 |
| Rotten Tomatoes | 0,872 | 0,872 | 0,872 | 0,872 | 0,730 | 0,898 | 0,854 | 0,062 |
| SMS Spam | 0,796 | 0,796 | 0,634 | 0,506 | 0,878 | 0,590 | 0,236 | 0,162 |
| Counterfactual | 0,824 | 0,827 | 0,827 | 0,827 | 0,827 | 0,588 | 0,827 | 0,107 |
| GoEmotions | 0,232 | 0,230 | 0,162 | 0,152 | 0,186 | 0,258 | – | 0,316 |
| ARC-Challenge† | 0,734 | 0,722 | 0,730 | 0,724 | 0,512 | – | 0,716 | 0,058 |
| MMLU† | 0,584 | 0,566 | 0,556 | 0,558 | 0,430 | – | 0,548 | 0,128 |
| StrategyQA | 0,582 | 0,582 | 0,608 | 0,608 | 0,510 | 0,634 | 0,512 | 0,102 |
| Moyenne | 0,626 | 0,588 | 0,562 | 0,542 | 0,472 | 0,588 | 0,599 | 0,114 |
5.2 Transfert vers des ensembles d’étiquettes inédits
L’entraînement sur le mélange relève la moyenne des tâches réservées sur les jeux de test complets (tableau 3; figure 2) de 0,552 à 0,621 avec la tête LM et à 0,641 ± 0,010 (trois graines; écart-type de population) avec la tête scalaire à 1,7 milliard de paramètres; cinq exemples en contexte de la tâche elle-même atteignent 0,571 (tableau 13), si bien que l’entraînement inter-tâches apporte environ cinq fois le gain obtenu par des exemples de la tâche dans l’invite. Le gain est le plus fort là où la notation sans entraînement est la plus faible : 20 points à 0,6 milliard (de 0,37 à 0,57) et, à 1,7 milliard, de 0,40 à 0,66 sur Banking77 (77 intentions inédites), de 0,45 à 0,63 sur Counterfactual et de 0,36 à 0,45 sur SST-5. Le gain est de 9 points à 4 et 8 milliards et de moins d’un point à 14 milliards (de 0,708 à 0,714). Le modèle de base de 14 milliards part de haut : la moitié de son avance de 8 points sans entraînement sur le modèle de base de 8 milliards traduit un a priori sur les étiquettes aligné sur trois tâches (avec la calibration par lot, qui supprime l’a priori, les moyennes sans entraînement sont de 0,58, 0,61 et 0,65 à 4, 8 et 14 milliards). L’exécution fixe de 2 000 pas produit aussi des régressions sur les tweets courts qui compensent ses gains sur les tâches à nombreuses étiquettes (annexe B). La section 5.7 montre qu’une exécution plus douce récupère la perte (0,731) et attribue les régressions sur les tweets à deux jeux d’entraînement qui leur sont voisins. L’exactitude et le macro-F1 évoluent différemment sur les tâches binaires déséquilibrées : sur Counterfactual, le modèle sans entraînement prédit l’étiquette majoritaire pour 334 exemples sur 335 (exactitude 0,82, macro-F1 0,45) et le modèle entraîné prédit les deux classes (0,84 et 0,63). L’entraînement atténue l’a priori de l’invite sur les étiquettes au profit du texte.
Jeux de test complets; colonnes entraînées : moyenne de trois graines.
Face aux chiffres publiés. Les dernières colonnes du tableau 3 rapportent les meilleurs résultats publiés, sans entraînement et supervisés, sur la même métrique, avec la taille des modèles (annexe E), ainsi que le meilleur modèle de pointe interrogé de la section 5.5; la figure 2 signale les résultats publiés sans entraînement. Les modèles de pointe dépassent tous les chiffres publiés sans entraînement sauf sur SST-5, et définissent le plafond actuel sans entraînement; notre modèle entraîné de 8 milliards reste à 8,5 points du meilleur modèle (Claude Fable 5.1, 0,806) sur la moyenne des tâches réservées, avec 8 milliards de paramètres face à des modèles de taille non divulguée ou de l’ordre du billion de paramètres. Les meilleurs résultats publiés sans entraînement sont ceux de modèles de plongements et de reclasseurs de 8 milliards, de Flan-UL2 (20 milliards) et de ChatGPT ou GPT-4, soit 5 à 12 fois les paramètres de notre modèle lorsque la taille est connue. Sur MASSIVE, notre modèle de 1,7 milliard, qui n’a jamais vu ses 59 intentions, atteint 0,74 contre 0,67 pour le reclasseur de 8 milliards; sur Banking77, il atteint 0,66 contre 0,72 pour le modèle de plongements de 8 milliards, et les modèles entraînés sur les étiquettes de la tâche y restent nettement devant (exactitude de 0,94 avec BERT-large). Les deux sont mesurés sur les jeux de test complets; les résultats publiés utilisent les invites et la formulation des étiquettes de chaque article, si bien que des écarts d’un point n’établissent pas de classement.
Face au classement BTZSC. La figure 3 situe le modèle parmi les 35 classifieurs sans entraînement du classement BTZSC sur les trois tâches réservées que le banc d’essai évalue aussi, avec, pour chaque famille, le meilleur score à chaque taille ou en dessous. Un seul jeu de poids sert tous les ensembles d’étiquettes, et aucun de nos modèles n’a été entraîné sur la tâche évaluée. Sur MASSIVE, le modèle entraîné de 1,7 milliard (0,74) dépasse tous les systèmes du classement, dont le meilleur est un reclasseur de 8 milliards à 0,67, et le modèle de 0,6 milliard égale ce reclasseur avec 13× moins de paramètres. Sur Rotten Tomatoes, le modèle de 1,7 milliard est à moins de deux points du meilleur système et le modèle de 8 milliards le dépasse. Sur Banking77, où les modèles de plongements qui retrouvent les intentions par similarité sont les spécialistes, le modèle de 1,7 milliard se situe juste sous leur meilleur score (0,66 contre 0,72) et le modèle de 4 milliards au-dessus de tous les systèmes (0,73). Tous les LLM du classement, notés selon le protocole du premier jeton, sont à plus de 20 points sous les nôtres sur les tâches d’intention, jusqu’à 12 milliards de paramètres. Les quatre autres modèles de base (disques lettrés) se placent sur la courbe de Qwen3 ou au-dessus; gpt-oss-20b dépasse tous les systèmes sur Banking77 et MASSIVE, et Qwen2.5 32B tous les systèmes sur Rotten Tomatoes. La comparaison n’est pas exacte : les chiffres du classement utilisent les descriptions verbalisées des étiquettes du banc d’essai, les nôtres les noms des étiquettes; le tableau 30 (annexe D) donne nos chiffres selon le protocole propre au banc d’essai.
btzsc/btzsc-results, récupéré le 2026-09-20; jeux de test complets, descriptions verbalisées des étiquettes). En orange : notre modèle entraîné de 0,6 à 14 milliards de paramètres (tête scalaire, noms d’étiquettes, jeux de test complets, tableau 12; trois graines à 1,7 milliard; contour seul : l’exécution plus douce à 14 milliards de la section 5.7), qui n’a jamais vu ces jeux de données; cercles vides : les mêmes modèles de base sans entraînement; disques lettrés : les quatre autres modèles de base de la section 5.7, une taille chacun (O : OLMo-2 1B, S : SmolLM2 1.7B, G : gpt-oss-20b à 21 milliards de paramètres au total, Q : Qwen2.5 32B; sous-ensembles de 500 exemples), vides lorsqu’ils sont sans entraînement. Un segment pointillé relie le point sans entraînement de chaque modèle de base à son point entraîné.Taille et calcul par décision. Le tableau 22 (annexe C) estime le coût d’une décision pour chacun de ces systèmes à 2 × paramètres × jetons traités. La passe empaquetée traite l’invite et chaque option une fois, soit 2,4 TFLOP sur Banking77 et 0,2 sur SST-5 à 1,7 milliard de paramètres; un reclasseur à encodeur croisé exécute une passe par étiquette et coûte 8× plus sur Banking77, et un modèle génératif de 20 milliards 6× plus avant même de décoder. Un bi-encodeur qui met en cache les plongements des étiquettes coûte moins sur Banking77, mais il renvoie une similarité par étiquette, chacune notée sans voir les autres. Parmi les systèmes qui se conditionnent sur l’ensemble des options, le nôtre est le plus petit et ne coûte pas plus par décision qu’aucun autre.
Quelle distance avec un modèle entraîné sur la tâche ? La colonne « Entraîné sur la tâche » du tableau 3 applique la même recette à la partition d’entraînement propre à chaque tâche, pendant 400 pas. Sur les tâches à nombreuses étiquettes et d’émotion, l’écart est grand : 0,87 contre 0,66 sur Banking77, 0,84 contre 0,74 sur MASSIVE, 0,85 contre 0,69 sur TweetEval emotion, 0,89 contre 0,63 sur Counterfactual. Sur ARC-Challenge et Rotten Tomatoes, le modèle général est à moins de deux points ou au-dessus (0,83 contre 0,84, 0,91 contre 0,89), sur SST-5 et StrategyQA il est en retrait de 11 et 6 points, et sur TweetEval hate le modèle entraîné sur la tâche fait moins bien (0,42 contre 0,56) : 400 pas sur la partition d’entraînement binaire déséquilibrée mènent au surapprentissage. Sur les tâches de questions et d’avis, le modèle général est proche du modèle entraîné sur la tâche; ailleurs, l’entraînement spécifique à la tâche ajoute de 6 à 26 points, surtout là où l’ensemble d’étiquettes est grand et spécifique.
Le SFT sur la seule bonne réponse atteint 0,605 avec la même lecture et les mêmes données (annexe B) : comparer la bonne option aux autres ajoute environ deux points de macro-F1, avec des améliorations plus nettes de la distribution (section 5.4). La notation du symbole au premier jeton reste sous la notation du texte sur toutes les tâches où elle s’applique, sauf TweetEval hate, où l’invite à lettres évite l’a priori « hate ».
| Tâche | Sans entraînement | Tête LM | Tête scalaire | Entraîné sur la tâche | Meilleur modèle de pointe interrogé | Meilleur publié sans entraînement (taille) | Meilleur supervisé (taille) |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,399 | 0,650 | 0,660 | 0,874 | 0,868 (Claude Fable 5.1) | 0,715 (8 Md) | – |
| MASSIVE | 0,646 | 0,716 | 0,740 | 0,836 | 0,890 (GPT-6 Astra) | 0,673 (8 Md) | – |
| SST-5 | 0,358 | 0,429 | 0,451 | 0,564 | 0,544 (Claude Fable 5.1) | – | – |
| TweetEval emotion | 0,697 | 0,701 | 0,694 | 0,849 | 0,802 (gpt-oss-120b) | 0,728 (n.c.) | 0,810 (0,12 Md) |
| TweetEval hate | 0,484 | 0,562 | 0,560 | 0,419 | 0,767 (Kimi K3) | 0,708 (20 Md) | 0,581 (0,12 Md) |
| Rotten Tomatoes | 0,862 | 0,883 | 0,888 | 0,911 | 0,952 (Claude Fable 5.1) | 0,903 (8 Md) | – |
| SMS Spam | 0,676 | 0,673 | 0,703 | – | 0,986 (Claude Fable 5.1) | – | – |
| Counterfactual | 0,451 | 0,498 | 0,626 | 0,890 | 0,847 (gpt-oss-120b) | – | – |
| GoEmotions | 0,206 | 0,270 | 0,295 | 0,468 | 0,362 (gpt-oss-120b) | – | – |
| ARC-Challenge† | 0,745 | 0,837 | 0,838 | 0,828 | 0,976 (Kimi K3) | 0,786 (3,2 Md) | – |
| MMLU† | 0,552 | 0,605 | 0,592 | – | 0,938 (GPT-6 Astra) | 0,626 (1,7 Md) | – |
| StrategyQA | 0,548 | 0,628 | 0,646 | 0,708 | 0,923 (Claude Fable 5.1) | – | – |
| Moyenne | 0,552 | 0,621 | 0,641 |
5.3 Quelle lecture se transfère ?
Dans la plupart des cas, la tête scalaire se transfère mieux que la tête LM. À 1,7 milliard de paramètres, elle mène de 2,0 points de score principal moyen sur trois graines (0,641 contre 0,621, tableau 3), de 13 points sur Counterfactual, de 2 à 3 sur MASSIVE, SST-5, SMS Spam, GoEmotions et StrategyQA et de 1 sur Banking77, tandis que la tête LM mène d’environ un point sur MMLU et TweetEval emotion et que les autres tâches sont à moins d’un point. Elle est aussi plus robuste au renommage. Remplacer chaque étiquette des sept tâches réservées à petits ensembles d’étiquettes par une paraphrase (« ham » par « legitimate message », « optimism » par « hopeful »; annexe A) coûte 6,9 points d’exactitude à la tête scalaire, 9,3 à la tête LM et 10,0 au modèle sans entraînement (tableau 4). Les deux lectures dépendent de représentations préentraînées qui ne sont pas nécessairement invariantes aux paraphrases d’étiquettes. Cette sensibilité est déjà présente avant le réglage fin (section 5.7) et peut refléter une familiarité lexicale ou une exposition aux bancs d’essai pendant le préentraînement; cette expérience ne permet pas de départager ces explications. À 0,6 milliard, l’ordre est le même (0,568 contre 0,527). Entraîner les deux têtes et sommer leurs scores n’aide pas : 0,617 sur les tâches réservées à 2 000 pas, sous chacune des deux têtes seule, et 0,600 sur les étiquettes renommées. Ces résultats plaident pour la tête scalaire à l’entraînement et pour la tête LM en notation sans entraînement.
Lecture à un seul jeton. Le modèle concomitant this-that-model [9] lit sa décision à une position désignée. Pour isoler la lecture, nous l’entraînons dans des conditions par ailleurs identiques : les logits des lettres d’option à la position de réponse (le protocole du premier jeton de la section 5.1), avec le même LoRA, le même objectif et le même mélange (Qwen3-1.7B-Base, graine 0). Sur les mêmes 500 exemples de test par tâche, elle atteint 0,626 contre 0,652 pour le pack-readout scalaire et 0,617 pour la tête LM (tableau 24, annexe C). Les intervalles bootstrap appariés à 95 % sur les exemples vont de +1,5 à +3,8 points pour la tête scalaire par rapport à la lecture à un seul jeton, et de −2,2 à +0,4 pour la tête LM; la tête scalaire est aussi mieux calibrée (Brier 0,414 contre 0,447, ECE 0,097 contre 0,116). Ces résultats proviennent d’une seule graine, et les intervalles n’incluent pas la variation entre graines.
| Lecture (graine 0) | Moyenne des tâches réservées | 7 tâches renommables | Les mêmes, étiquettes renommées |
|---|---|---|---|
| sans entraînement | 0,626 | 0,696 | 0,596 |
| tête scalaire | 0,698 | 0,730 | 0,661 |
| tête LM | 0,661 | 0,679 | 0,586 |
| les deux têtes | 0,644 | 0,648 | 0,600 |
| tête LM, logits normalisés par octet | 0,678 | 0,713 | – |
| lecture à un seul jeton | 0,679 | – | – |
5.4 Calibration sur des tâches inédites
Le tableau 5 et la figure 4 distinguent deux notions de calibration. Les scores propres qu’optimise l’objectif s’améliorent sur des tâches inédites pour les deux lectures : Brier de 0,507 à 0,452 (tête LM) et 0,418 (tête scalaire), NLL de 1,149 à 0,994 et 0,881, de même que le classement par confiance (AUROC de 0,69 à 0,73 et 0,75; exactitude sur la moitié la plus confiante de 0,74 à 0,79 et 0,81). L’ECE top-1 à T = 1 ne s’améliore pas avec la tête LM (de 0,114 à 0,121), mais s’améliore avec la tête scalaire (0,098) : les logits de la tête LM conservent l’échelle du modèle de langage, ce qui améliore le classement par confiance sans améliorer la calibration top-1; la tête scalaire apprend sa propre échelle. Une température par tâche, ajustée de manière croisée, divise environ par deux l’ECE pour les deux lectures, si bien qu’un petit échantillon étiqueté d’une nouvelle tâche améliore encore sa calibration absolue.
L’objectif compte davantage pour la distribution que pour l’exactitude. Le SFT sur la seule bonne réponse égale le score logarithmique en exactitude (0,664 contre 0,667, tête LM), mais a la pire distribution des modèles entraînés avec une perte supervisée (NLL 1,22 contre 0,99; ECE 0,150 contre 0,121) : sa perte ne compare jamais les options incorrectes à la bonne. Entraîner sur le score de Brier, une récompense de calibration qu’optimiserait une méthode de type RLCD (section 3.4), réduit l’exactitude de 2,9 points et améliore légèrement l’ECE (0,111), mais donne un score de Brier sur les tâches réservées moins bon (0,471 contre 0,452) et une AUROC moins bonne (0,70 contre 0,73); des deux scores propres, le score logarithmique est le meilleur objectif d’entraînement. REINFORCE avec une récompense d’exactitude égale le score logarithmique en exactitude (0,657), mais a une confiance moyenne de 0,92 pour une exactitude de 0,66; son ECE (0,266) est le double de celle du modèle non entraîné et sa NLL (2,45) le double de celle de tout objectif à score propre. C’est la surconfiance induite par la récompense que Damani et al. [14] rapportent pour des générateurs entraînés par apprentissage par renforcement avec récompenses vérifiables (RLVR) [32], reproduite dans un modèle de décision en une passe. Lorsque des étiquettes sont disponibles, l’objectif à score propre atteint la même exactitude sans ce coût.
| Modèle | exact. | ECE | Brier | NLL | AUROC | exact. à 50 % couv. |
|---|---|---|---|---|---|---|
| sans entraînement, brut | 0,626 | 0,114 | 0,507 | 1,149 | 0,690 | 0,743 |
| sans entraînement, brut + TS | 0,626 | 0,052 | 0,482 | 1,063 | 0,691 | 0,744 |
| set-CE, tête LM | 0,667 | 0,121 | 0,452 | 0,994 | 0,729 | 0,789 |
| set-CE, tête LM + TS | 0,667 | 0,053 | 0,426 | 0,878 | 0,719 | 0,783 |
| SFT sur la seule bonne réponse | 0,664 | 0,150 | 0,475 | 1,220 | 0,736 | 0,792 |
| set-CE, tête scalaire | 0,692 | 0,098 | 0,418 | 0,881 | 0,749 | 0,814 |
| perte de Brier | 0,638 | 0,111 | 0,471 | 1,008 | 0,697 | 0,743 |
| REINFORCE (récompense d’exactitude) | 0,657 | 0,266 | 0,586 | 2,450 | 0,712 | 0,770 |
Les décisions ordinales utilisent toute la distribution. SST-5 compte cinq niveaux ordonnés. Le tableau 23 (annexe C) compare l’argmax au niveau espéré Σk k pk, l’estimateur de Score (section 3.3). Pour les cinq modèles, le niveau espéré arrondi réduit l’erreur absolue moyenne et les erreurs de deux niveaux ou plus, et améliore le classement des phrases. La tête scalaire entraînée de 1,7 milliard de paramètres s’améliore le plus : l’erreur absolue moyenne passe de 0,64 à 0,55 niveau, les erreurs de deux niveaux ou plus de 8,7 % à 5,5 %, et la corrélation de rang avec le niveau de référence monte de 0,76 à 0,83 (trois graines). La distribution conserve une information que l’argmax écarte.
5.5 Face à un modèle de langage invité à nommer l’étiquette
La classification par invite demande une étiquette à un modèle ajusté aux instructions et analyse sa réponse. Les modèles de décision restreignent les sorties à l’ensemble des options, ce qui élimine les échecs d’analyse et les étiquettes invalides [68]. Le tableau 6 compare ces approches à tailles de modèle égales. Qwen3-1.7B, 4B et 8B ajustés aux instructions reçoivent l’invite du noteur sans sa ligne d’amorce, suivie d’une instruction demandant de renvoyer une réponse de la liste, au format conversationnel avec la réflexion désactivée. Les réponses libres sont échantillonnées avec les réglages recommandés par les auteurs du modèle (température 0,7, top-p 0,8, top-k 20; graine 0) sur les jeux de test complets, puis appariées aux options, et les réponses non appariées comptent comme fausses. Nous évaluons aussi un décodage glouton restreint aux chaînes des options.
Premièrement, l’interrogation par invite est moins exacte, sur la plupart des tâches, que la notation sans entraînement de la version de base du même modèle, et bien en dessous du modèle entraîné : une métrique principale moyenne de 0,52 pour les réponses libres comme pour les réponses contraintes, contre 0,55 sans entraînement et 0,64 après entraînement. Deuxièmement, les réponses libres sont invalides dans 1,7 % des cas en moyenne et dans 6 à 7 % des cas sur Banking77 et TweetEval emotion, alors même que l’instruction demande l’une des réponses de la liste, exactement telle qu’elle est écrite. Le tableau 25 (annexe C) en donne des exemples : sur Banking77, le modèle produit des intentions plausibles absentes de la liste (« reverted top up » pour « top up reverted », « freeze my account » pour « compromised card »), sur les tâches d’émotion il répond par un synonyme d’une étiquette (« angry », « sad »), et sur les tâches de questions il explique au lieu de choisir. Le décodage contraint supprime les réponses invalides mais laisse la moyenne inchangée, ce qui concorde avec un modèle qui garde sa préférence pour sa propre formulation dans les premiers jetons. Troisièmement, toute décision par invite exige un décodage séquentiel : 99 ms en médiane pour les réponses libres et 63 ms en mode contraint sur un A100-40GB de Lambda, contre 47–54 ms pour la passe empaquetée sur l’A100-40GB de Colab (section 5.6); le rapport entre les deux machines est approximatif. À 4 et 8 milliards de paramètres, le même schéma tient avec un écart plus faible : les modèles interrogés atteignent 0,63 et 0,66 avec 1 % de réponses invalides, en 128–131 ms, contre 0,60 et 0,63 sans entraînement et 0,69 et 0,72 après entraînement; notre modèle entraîné de 1,7 milliard (0,64) devance le modèle interrogé de 4 milliards, et notre modèle entraîné de 4 milliards (0,69) le modèle interrogé de 8 milliards.
| les nôtres, 1,7 Md | Qwen3-1.7B interrogé | |||
|---|---|---|---|---|
| Tâche | Sans entraînement | Entraîné | libre | contraint |
| Banking77 | 0,401 | 0,680 | 0,414 | 0,417 |
| MASSIVE | 0,673 | 0,746 | 0,518 | 0,518 |
| SST-5 | 0,341 | 0,455 | 0,252 | 0,255 |
| TweetEval emotion | 0,698 | 0,658 | 0,505 | 0,537 |
| TweetEval hate | 0,501 | 0,582 | 0,352 | 0,352 |
| Rotten Tomatoes | 0,870 | 0,903 | 0,859 | 0,861 |
| SMS Spam | 0,645 | 0,678 | 0,731 | 0,719 |
| Counterfactual | 0,452 | 0,641 | 0,616 | 0,599 |
| GoEmotions | 0,194 | 0,273 | 0,125 | 0,130 |
| ARC-Challenge† | 0,734 | 0,825 | 0,713 | 0,719 |
| MMLU† | 0,584 | 0,631 | 0,542 | 0,535 |
| StrategyQA | 0,546 | 0,618 | 0,591 | 0,591 |
| Moyenne | 0,553 | 0,641 | 0,518 | 0,520 |
| Réponses invalides | 1,7 % | 0,0 % | ||
| Médiane, ms par décision | 48 | 48 | 99 | 63 |
| les nôtres, 4 Md | Qwen3-4B interrogé | |||
|---|---|---|---|---|
| Tâche | Sans entraînement | Entraîné | libre | contraint |
| Banking77 | 0,578 | 0,756 | 0,606 | 0,606 |
| MASSIVE | 0,728 | 0,772 | 0,698 | 0,697 |
| SST-5 | 0,393 | 0,508 | 0,369 | 0,369 |
| TweetEval emotion | 0,710 | 0,672 | 0,674 | 0,675 |
| TweetEval hate | 0,624 | 0,566 | 0,610 | 0,609 |
| Rotten Tomatoes | 0,887 | 0,915 | 0,905 | 0,902 |
| SMS Spam | 0,510 | 0,766 | 0,537 | 0,537 |
| Counterfactual | 0,528 | 0,764 | 0,711 | 0,719 |
| GoEmotions | 0,199 | 0,282 | 0,282 | 0,284 |
| ARC-Challenge† | 0,836 | 0,885 | 0,867 | 0,868 |
| MMLU† | 0,658 | 0,702 | 0,659 | 0,669 |
| StrategyQA | 0,523 | 0,710 | 0,655 | 0,649 |
| Moyenne | 0,598 | 0,691 | 0,631 | 0,632 |
| Réponses invalides | 0,8 % | 0,0 % | ||
| Médiane, ms par décision | 60 | 60 | 131 | 81 |
| les nôtres, 8 Md | Qwen3-8B interrogé | |||
|---|---|---|---|---|
| Tâche | Sans entraînement | Entraîné | libre | contraint |
| Banking77 | 0,610 | 0,755 | 0,581 | 0,583 |
| MASSIVE | 0,802 | 0,809 | 0,741 | 0,727 |
| SST-5 | 0,257 | 0,526 | 0,423 | 0,425 |
| TweetEval emotion | 0,734 | 0,661 | 0,691 | 0,706 |
| TweetEval hate | 0,593 | 0,563 | 0,704 | 0,702 |
| Rotten Tomatoes | 0,891 | 0,927 | 0,912 | 0,915 |
| SMS Spam | 0,692 | 0,879 | 0,771 | 0,774 |
| Counterfactual | 0,470 | 0,796 | 0,620 | 0,620 |
| GoEmotions | 0,225 | 0,320 | 0,231 | 0,238 |
| ARC-Challenge† | 0,884 | 0,927 | 0,910 | 0,916 |
| MMLU† | 0,680 | 0,760 | 0,715 | 0,715 |
| StrategyQA | 0,685 | 0,726 | 0,676 | 0,680 |
| Moyenne | 0,627 | 0,721 | 0,665 | 0,667 |
| Réponses invalides | 0,7 % | 0,0 % | ||
| Médiane, ms par décision | 128 | 84 | ||
Modèles plus grands. Le tableau 7 reprend le protocole des réponses libres pour onze modèles hébergés (annexe F). Leurs moyennes sur les tâches réservées vont de 0,710 (DeepSeek V3.2) à 0,806 (Claude Fable 5.1), contre 0,721 pour notre modèle entraîné de 8 milliards (deux graines; le modèle entraîné de 14 milliards obtient 0,714, et 0,731 avec 1 000 pas à demi-taux d’apprentissage, deux graines). DeepSeek V3.2, un modèle à poids ouverts de 671 milliards de paramètres, se place en dessous (notre modèle de 8 milliards le devance sur 6 des 12 tâches); les modèles de pointe actuels, GPT-6 Astra (0,793), Claude Fable 5.1 (0,806), Muse Spark 1.3 (0,790) et Kimi K3 (0,778, 2,8 billions de paramètres), le dépassent de 6 à 9 points; GPT-5 et Claude Sonnet 4.6, de la génération précédente, le dépassent de 3 à 5 points. Au plus 0,9 % de leurs réponses ne nomment aucune option. Ils ne renvoient aucune probabilité, leurs réponses doivent quand même être analysées, et chaque décision exige un décodage séquentiel : environ 4 pas pour Qwen3-235B et DeepSeek V3.2, de 6 à 138 pour les modèles fermés et 177 pour Kimi K3, qui raisonne avant de répondre, contre un seul préremplissage.
La figure 5 compare les trois approches selon la taille du modèle. La courbe entraînée dépasse la courbe des modèles interrogés à toutes les tailles testées, mais l’écart se resserre, de 12 points à 1,7 milliard de paramètres à 6 points à 4 et 8 milliards. Les performances après entraînement plafonnent de 8 à 14 milliards; celles des modèles hébergés interrogés continuent d’augmenter, jusqu’à 0,78 pour gpt-oss-120b. Les quatre autres modèles de base entraînés (disques lettrés) suivent la même courbe malgré des scores initiaux différents : SmolLM2 1.7B atteint le score de Qwen3-1.7B en partant de 25 points plus bas, OLMo-2 1B suit la courbe à 1 milliard, et gpt-oss-20b et Qwen2.5 32B la prolongent. Ces résultats n’établissent pas les performances à l’échelle des modèles de pointe; aux tailles testées, le modèle entraîné surpasse l’interrogation par invite à sa propre taille ainsi que des modèles interrogés de deux à quatre-vingts fois plus grands.
| Tâche | Le nôtre, entraîné | Claude Fable 5.1réflexion adaptative | GPT-6 Astraraisonnement minimal | Muse Spark 1.3raisonnement minimal | gpt-oss-120b | Kimi K3 | Claude Sonnet 4.6sans réflexion |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,755 | 0,868 | 0,857 | 0,833 | 0,843 | 0,847 | 0,800 |
| MASSIVE | 0,809 | 0,890 | 0,890 | 0,860 | 0,838 | 0,859 | 0,832 |
| SST-5 | 0,526 | 0,544 | 0,510 | 0,483 | 0,493 | 0,495 | 0,525 |
| TweetEval emotion | 0,661 | 0,771 | 0,775 | 0,769 | 0,802 | 0,758 | 0,761 |
| TweetEval hate | 0,563 | 0,701 | 0,605 | 0,753 | 0,734 | 0,767 | 0,752 |
| Rotten Tomatoes | 0,927 | 0,952 | 0,948 | 0,930 | 0,908 | 0,944 | 0,936 |
| SMS Spam | 0,879 | 0,986 | 0,976 | 0,958 | 0,897 | 0,911 | 0,930 |
| Counterfactual | 0,796 | 0,818 | 0,821 | 0,821 | 0,847 | 0,736 | 0,721 |
| GoEmotions | 0,320 | 0,328 | 0,337 | 0,308 | 0,362 | 0,275 | 0,285 |
| ARC-Challenge† | 0,927 | 0,968 | 0,972 | 0,970 | 0,950 | 0,976 | 0,964 |
| MMLU† | 0,760 | 0,922 | 0,938 | 0,924 | 0,862 | 0,912 | 0,898 |
| StrategyQA | 0,726 | 0,923 | 0,883 | 0,868 | 0,800 | 0,851 | 0,829 |
| Moyenne | 0,721 | 0,806 | 0,793 | 0,790 | 0,778 | 0,778 | 0,769 |
| Réponses invalides | 0,0 % | 0,0 % | 0,0 % | 0,1 % | 0,7 % | 0,1 % | |
| Jetons de réponse, moyenne | 25 | 13 | 138 | – | 177 | 6 |
| Tâche | Le nôtre, entraîné | Claude Sonnet 5réflexion adaptative | GLM-5.3raisonnement faible | GPT-5raisonnement minimal | Qwen3-235B | DeepSeek V3.2 |
|---|---|---|---|---|---|---|
| Banking77 | 0,755 | 0,811 | 0,784 | 0,787 | 0,733 | 0,726 |
| MASSIVE | 0,809 | 0,855 | 0,809 | 0,832 | 0,826 | 0,833 |
| SST-5 | 0,526 | 0,517 | 0,484 | 0,511 | 0,515 | 0,397 |
| TweetEval emotion | 0,661 | 0,741 | 0,736 | 0,748 | 0,768 | 0,761 |
| TweetEval hate | 0,563 | 0,676 | 0,741 | 0,669 | 0,697 | 0,544 |
| Rotten Tomatoes | 0,927 | 0,946 | 0,940 | 0,940 | 0,936 | 0,928 |
| SMS Spam | 0,879 | 0,973 | 0,920 | 0,868 | 0,862 | 0,907 |
| Counterfactual | 0,796 | 0,564 | 0,718 | 0,801 | 0,737 | 0,689 |
| GoEmotions | 0,320 | 0,350 | 0,246 | 0,277 | 0,211 | 0,269 |
| ARC-Challenge† | 0,927 | 0,970 | 0,974 | 0,958 | 0,950 | 0,942 |
| MMLU† | 0,760 | 0,908 | 0,894 | 0,876 | 0,826 | 0,848 |
| StrategyQA | 0,726 | 0,854 | 0,868 | 0,757 | 0,782 | 0,674 |
| Moyenne | 0,721 | 0,764 | 0,759 | 0,752 | 0,737 | 0,710 |
| Réponses invalides | 0,1 % | 0,1 % | 0,1 % | 0,9 % | 0,1 % | |
| Jetons de réponse, moyenne | 13 | 13 | 21 | 4 | 4 |
5.6 Efficacité
La figure 6 et le tableau 27 (annexe C) comparent la passe empaquetée à la réplication du cache KV, à une séquence par option, au décodage glouton contraint de l’étiquette (un trie sur les jetons des options) et à la génération JSON d’une justification d’une phrase suivie de l’étiquette, sur le même modèle de base et avec la même exécution PyTorch en mode eager. Dans cette configuration, les temps absolus sont dominés par le surcoût de chaque passe avant (environ 40 ms à 1,7 milliard de paramètres); ce sont donc les rapports qui sont comparables. La notation empaquetée utilise la tête LM; la référence JSON ajoute une instruction demandant de générer une justification et l’étiquette. Chaque méthode est chronométrée une fois par entrée sur 20 requêtes de Banking77 et trois ensembles d’étiquettes aléatoires par nombre d’options, si bien que les plages de la figure 6 montrent la variation selon les entrées et les tirages d’étiquettes. La latence empaquetée est de 47–48 ms de 2 à 16 options, de 54 ms à 77 et de 91 ms à 255 (une invite de 926 jetons), avec un p90 à moins de 2 ms de la médiane. La réplication KV coûte environ 2× partout et 4,8× à 255 options, et à 4 milliards ne tient pas dans 40 Go à 255 options (annexe H). La génération a un coût par pas de décodage, le total dépendant du texte généré : le décodage contraint prend 164–217 ms en médiane sur le balayage, 2,4–4,3× la passe empaquetée, avec des p90 jusqu’à 200 ms au-dessus de sa médiane. Après le préremplissage, chaque jeton d’étiquette supplémentaire exige un pas de décodage (3,0 à 3,7 pas en moyenne sur trois ensembles d’étiquettes aléatoires par nombre d’options), si bien que le coût du décodage dépend directement de la longueur de l’étiquette choisie; le JSON avec justification prend 1,0–1,2 s en médiane, 13–22× la passe empaquetée, avec des p90 supérieurs de 0,2–0,4 s. Une séquence par option, le réglage par défaut de lm-evaluation-harness, est compétitive jusqu’à 8 options, puis croît avec le produit du nombre d’options par la longueur de l’invite. Aux prix d’un A100 à la demande (1,5–2 $ de l’heure), une décision entre 77 options coûte environ 0,03 $ les mille.
Coût de la conversion. Convertir un modèle préentraîné demande un seul entraînement LoRA : 2 000 pas de 8 exemples, soit 16 000 présentations d’exemples publics de classification de 154 jetons empaquetés chacun, 2,5 M de jetons d’entraînement au total, sans données synthétiques, sans étiquettes issues d’un plus grand modèle ni apprentissage par renforcement. À 6 × paramètres × jetons, cela fait 25 PFLOP à 1,7 milliard de paramètres et 120 à 8 milliards, 20 minutes sur un A100 à 1,7 milliard (38 pour l’exécution de 1 000 pas à 4 milliards), 2,1 et 3,3 heures sur un DGX Spark à 8 et 14 milliards, le temps étant dominé par le surcoût de lancement des noyaux. Le tableau 26 (annexe C) compare les données et le calcul d’adaptation des classifieurs spécialisés sans entraînement (section 5.8) et des modèles ajustés aux instructions. Le meilleur système BTZSC proche de notre taille, un encodeur croisé NLI, a été réglé finement sur environ 885 000 paires NLI pendant trois époques, soit une dizaine d’heures d’A100 pour un entraînement comparable; le meilleur système de 8 milliards, Qwen3-Reranker-8B, sur 19 millions de paires de recherche, dont douze millions synthétiques; le meilleur modèle de plongements sur 800 millions de paires extraites du web, puis 3 millions de paires annotées; le réglage par instructions de Flan-T5-XXL a coûté 3 000 fois notre entraînement; et le post-entraînement des modèles ajustés aux instructions et des modèles de pointe n’est pas divulgué. Notre conversion utilise trois ordres de grandeur d’exemples de moins que les systèmes entraînés pour la recherche, chaque exemple est public, et elle laisse intacts les poids du modèle de base.
5.7 La recette : modèles de base et moteurs du transfert
Modèles de base. Le tableau 8 applique la même procédure à Qwen3-Base en cinq tailles, à SmolLM2-1.7B (architecture Llama, de la taille de Qwen3-1.7B), à OLMo-2-1B (données d’entraînement ouvertes), à Qwen2.5-32B et à gpt-oss-20b. SmolLM2-1.7B part 19 points sous Qwen3-1.7B sans entraînement et finit à moins d’un point (exactitude de 0,68 contre 0,69 sur les tâches réservées); OLMo-2-1B, la base la plus faible, gagne 21 points; Qwen3-4B et 8B gagnent 6 points chacun et 14B un point, tous finissant avec une ECE entre 0,08 et 0,09 : le gain d’exactitude diminue à mesure que le modèle de base grandit, pas le gain de calibration. gpt-oss-20b [51] diffère des autres : c’est un mélange d’experts post-entraîné (21 milliards de paramètres, dont 3,6 milliards actifs) avec des couches à fenêtre glissante et des puits d’attention, exécuté par une seconde implémentation complète de la méthode qui construit ses masques couche par couche. Sans entraînement, il note mal les options (macro-F1 de 0,51), comme c’est courant pour les modèles conversationnels post-entraînés; la recette le porte à 0,70 avec la tête scalaire, avec une ECE passant de 0,21 à 0,10, le plus fort gain de tous les modèles au-delà de 1,7 milliard de paramètres.
| Modèle de base | Sans entraînement | Tête LM | Tête scalaire | ECE sans entr. | ECE tête LM | ECE scalaire |
|---|---|---|---|---|---|---|
| Qwen3-0.6B | 0,431 | 0,556 | 0,634 | 0,260 | 0,169 | 0,113 |
| OLMo-2-1B | 0,397 | 0,533 | 0,605 | 0,292 | 0,207 | 0,133 |
| SmolLM2-1.7B | 0,434 | 0,581 | 0,680 | 0,162 | 0,158 | 0,117 |
| Qwen3-1.7B | 0,626 | 0,667 | 0,692 | 0,114 | 0,121 | 0,098 |
| Qwen3-4B | 0,667 | 0,675 | 0,723 | 0,113 | 0,107 | 0,094 |
| Qwen3-8B | 0,692 | 0,741 | 0,747 | 0,122 | 0,110 | 0,087 |
| Qwen3-14B | 0,736 | 0,732 | 0,749 | 0,122 | 0,116 | 0,086 |
| gpt-oss-20b | 0,590 | 0,726 | 0,737 | 0,208 | 0,122 | 0,100 |
| Qwen2.5-32B | 0,734 | – | 0,768 | 0,105 | – | 0,080 |
Entraîner des modèles plus grands. Le taux d’apprentissage et le nombre de pas de la recette ont été choisis à 1,7 milliard de paramètres. À 14 milliards, la recette inchangée ajuste le mélange plus étroitement (perte d’entraînement finale de 0,35 contre 0,44 à 8 milliards) et ne gagne qu’un point : les régressions sur les textes courts compensent les progrès sur les tâches à nombreuses étiquettes. Le tableau 9 reprend l’entraînement avec un taux d’apprentissage plus faible, moins de pas, ou les deux : chaque exécution plus douce atteint de 0,729 à 0,731, au-dessus du modèle entraîné de 8 milliards, avec les tâches à textes courts à deux à quatre points du niveau sans entraînement, les gains sur les tâches à nombreuses étiquettes conservés et une ECE de 0,07 à 0,08. La quantité d’adaptation est décisive, qu’elle soit réglée par le nombre de pas ou par le taux d’apprentissage. Le réglage choisi à 1,7 milliard, où l’augmentation de l’un comme de l’autre continuait d’aider, suradapte un modèle de 14 milliards (la tête LM à 14 milliards tombe sous le niveau sans entraînement en moyenne, à 0,699). Appliquée à Qwen2.5-32B, réparti sur deux GPU, la même exécution plus douce porte la moyenne des tâches réservées de 0,704 à 0,737, la plus élevée de tous les modèles entraînés ici, en 1,7 heure. Les graphiques par taille des figures 5 et 3 montrent cette exécution de 1 000 pas à demi-taux d’apprentissage à 14 milliards comme leur point en contour seul; les tableaux conservent la recette inchangée.
| Entraînement | Moyenne des tâches réservées | Tâches à nombreuses étiquettes | Tâches à textes courts | ECE |
|---|---|---|---|---|
| sans entraînement | 0,708 | 0,558 | 0,692 | 0,122 |
| recette : taux 2×10⁻⁴, 2 000 pas | 0,714 | 0,635 | 0,613 | 0,086 |
| taux 2×10⁻⁴, 1 000 pas | 0,731 | 0,632 | 0,668 | 0,080 |
| taux 10⁻⁴, 2 000 pas | 0,729 | 0,632 | 0,657 | 0,074 |
| taux 10⁻⁴, 1 000 pas | 0,731 | 0,626 | 0,671 | 0,071 |
| taux 5×10⁻⁵, 2 000 pas | 0,730 | 0,634 | 0,654 | 0,081 |
| recette, tête LM | 0,699 | 0,601 | 0,598 | 0,116 |
Nombre d’ensembles d’étiquettes. À budget fixe de 16 000 présentations d’exemples et de 2 000 pas, nous entraînons la tête scalaire sur 4 à 18 des tâches d’entraînement, avec trois sous-ensembles aléatoires de tâches par nombre (figure 7; tableau 28 en annexe C). L’exactitude sur les tâches réservées augmente avec le nombre d’ensembles d’étiquettes d’entraînement à données fixes, surtout sur les tâches à nombreuses étiquettes. Chaque nombre reste au-dessus du niveau sans entraînement sur la moyenne des tâches réservées (0,638 avec 4 ensembles d’étiquettes contre 0,626), qui monte ensuite à 0,69 avec 18, avec une dispersion entre tirages à peu près aussi grande que la tendance. Les trois tâches à nombreuses étiquettes passent de 0,47 avec 4 ensembles à 0,61 avec 18, et l’ECE baisse de 0,15 à 0,10. Cela concorde avec un modèle entraîné sur peu d’ensembles d’étiquettes qui apprend ces ensembles, et un modèle entraîné sur de nombreux ensembles d’étiquettes qui apprend à interpréter les étiquettes listées.
Quantité de données. Le tableau 29 (annexe C) entraîne la tête scalaire pendant les mêmes 2 000 pas sur des réserves de 2 000 à 36 000 exemples. L’exactitude sature tôt, la calibration non : la réserve de 2 000 exemples, vue huit fois, donne déjà 0,595 contre 0,553 sans entraînement, et la réserve complète 0,641, tandis que l’ECE baisse de 0,31 à 0,10. Les exemples répétés cessent d’améliorer l’exactitude bien avant de cesser d’accroître la surconfiance; la réserve doit donc être aussi grande que les ensembles d’étiquettes le permettent.
Sensibilité aux noms d’étiquettes. Les noms d’étiquettes font partie de l’invite et influent sur les performances. Sur SMS Spam, « ham »/« spam » donne au modèle de base de 0,6 milliard une exactitude de 0,12 (il qualifie presque chaque message de spam) et « legitimate message »/« unsolicited junk » 0,75; à 1,7 milliard, l’ordre s’inverse (0,80 et 0,48), et la tête scalaire entraînée conserve la préférence du modèle de base (0,90 et 0,52).
Ensembles d’étiquettes voisins dans le mélange. Deux jeux d’entraînement ressemblent fortement à des jeux réservés (section 4) : Emotion partage trois des quatre étiquettes de TweetEval emotion, et TweetEval offensive est une version plus large de TweetEval hate. Le tableau 10 rapporte la même recette sans eux. Retirer ces jeux de données améliore leurs équivalents réservés : TweetEval emotion passe de 0,66 à 0,73 et TweetEval hate de 0,58 à 0,68 (son ECE de 0,18 à 0,06), soit trois à cinq fois la dispersion entre graines. La moyenne des tâches réservées est inchangée (de 0,641 à 0,634) : SMS Spam et Counterfactual, les deux tâches binaires déséquilibrées, perdent à peu près ce que gagnent les tâches de tweets, dans les limites de leur dispersion entre graines; TweetEval offensive était la seule tâche binaire déséquilibrée du mélange. À 4 milliards de paramètres, avec des exécutions de 1 000 pas, le même retrait ajoute 2 points sur emotion et 5 sur hate, qui revient à son niveau sans entraînement, et laisse là encore la moyenne inchangée (une graine chacune). Cela suggère que la forme des ensembles d’étiquettes détermine la valeur d’un jeu d’entraînement pour le mélange. Un jeu d’entraînement dont l’ensemble d’étiquettes duplique presque celui d’une tâche réservée abaisse le score de cette tâche, car le modèle apprend un a priori et des frontières de classes pour des étiquettes qui ont un autre sens au moment du test; un jeu d’entraînement de même forme aide quel que soit son domaine.
| Taille | Mélange | Pas | Graines | TweetEval emotion | TweetEval hate | GoEmotions | Moyenne réservée |
|---|---|---|---|---|---|---|---|
| 1,7 Md | les 18 tâches | 2 000 | 3 | 0,658 | 0,582 | 0,273 | 0,641 |
| 1,7 Md | sans Emotion ni TweetEval offensive | 2 000 | 2 | 0,726 | 0,676 | 0,233 | 0,634 |
| 4 Md | les 18 tâches | 1 000 | 1 | 0,732 | 0,566 | 0,291 | 0,693 |
| 4 Md | sans Emotion ni TweetEval offensive | 1 000 | 1 | 0,749 | 0,618 | 0,264 | 0,698 |
Ce qu’enseigne l’entraînement. Ces résultats suggèrent que l’entraînement enseigne la classification : interpréter l’ensemble d’étiquettes de l’invite, comparer les options et attribuer des probabilités. Six observations appuient cette interprétation. L’entraînement utilise 2,5 M de jetons d’étiquettes publiques contre des billions de jetons de préentraînement, et l’exactitude sature dès une réserve de 8 000 exemples, alors que le nombre d’ensembles d’étiquettes continue d’aider (tableaux 29 et 28). Les gains apparaissent là où la notation sans entraînement échoue sur la forme, l’a priori sur les étiquettes et la concurrence des formes de surface, et ils sont les plus faibles pour les modèles de base qui maîtrisent déjà les tâches (section 5.2). Avec des étiquettes paraphrasées, la tête scalaire surpasse encore la notation sans entraînement et la tête LM entraînée (section 5.3). La même procédure fonctionne sur tous les modèles de base testés, y compris un mélange d’experts post-entraîné. Retirer les deux jeux d’entraînement voisins de tâches réservées relève les scores de ces tâches voisines (tableau 10), ce qui concorde avec un mélange qui transfère la forme et un ensemble d’étiquettes quasi dupliqué qui transfère un a priori. Le plafond du modèle entraîné sur la tâche, au tableau 3, quantifie la valeur ajoutée de la connaissance de la tâche : de 10 à 25 points sur les tâches à nombreuses étiquettes, où le modèle général s’appuie sur la sémantique des étiquettes apprise au préentraînement. Cette hypothèse prédit qu’un entraînement sur des ensembles d’étiquettes d’un domaine sans rapport devrait se transférer presque aussi bien; la vérifier relève de travaux futurs.
5.8 Comparaison avec les classifieurs spécialisés sans entraînement
BTZSC [1] évalue des classifieurs sans entraînement sur 22 jeux de données à partir des textes et d’une description verbalisée de chaque étiquette (« This example news text is about business news »). Nous listons les descriptions dans l’invite et notons chacune comme une option. Cinq jeux de données de BTZSC (AG News, Yelp, IMDB, Emotion, Yahoo) font partie de notre mélange; nous entraînons donc aussi un modèle sur le mélange sans eux. La figure 8 situe notre modèle parmi les 35 systèmes du classement selon leur taille; le tableau 30 de l’annexe D donne le macro-F1 global et par groupe de tâches face au meilleur modèle de chaque famille de BTZSC et aux petits LLM de son classement, notés selon le protocole du premier jeton (0,43 au global pour un modèle ajusté aux instructions de 3 milliards de paramètres, 0,65 pour Qwen3-4B).
Sur les deux jeux de données d’intention communs avec notre ensemble réservé, le meilleur modèle global de chaque famille obtient 0,69 (reclasseur), 0,63 (plongements), 0,24 (NLI) et 0,35 (LLM de 12 milliards) sur Banking77, et 0,67, 0,57, 0,40 et 0,36 sur MASSIVE; notre modèle de 1,7 milliard atteint 0,66 et 0,74 avec ses propres noms d’étiquettes (tableau 3). Selon le protocole du banc d’essai, le modèle de base de 1,7 milliard non entraîné obtient 0,53 au global : au-dessus du LLM de 3 milliards au premier jeton (0,43), sous les LLM de 4 et 12 milliards (0,65 et 0,67) et sous toutes les familles spécialisées, le groupe intention (0,35) étant le plus pénalisé par les descriptions verbalisées.
Entraîné sur le mélange sans les cinq jeux de données de BTZSC, le même modèle de 1,7 milliard atteint 0,67 au global avec la tête LM et 0,70 avec la tête scalaire : au-dessus de tous les meilleurs modèles de famille sauf le reclasseur de 8 milliards (0,72), au-dessus du LLM de 12 milliards au premier jeton (0,67) pour un septième de sa taille, et 27 points au-dessus du LLM de 3 milliards. Par groupe de tâches, la tête scalaire est à moins de 3 points du reclasseur en sentiment (0,90 contre 0,92) et en émotion (0,48 contre 0,49), 4 points en dessous en intention (0,66 contre 0,70) et, en thème (0,65), juste sous le reclasseur (0,66) et le LLM de 12 milliards (0,69). La même recette aux autres tailles donne 0,67 à 0,6 milliard, 0,73 à 4 milliards, 0,74 à 8 milliards et 0,75 à 14 milliards (l’exécution plus douce de la section 5.7; deux graines à 1,7 milliard, 4 et 8 milliards) : dès 4 milliards, elle dépasse le meilleur système du classement, à la moitié de sa taille (0,727 contre 0,722), et à la taille même du reclasseur, c’est le meilleur système du classement (0,740; intention 0,73 contre 0,70, thème 0,69 contre 0,66, émotion 0,45 contre 0,49). Selon le protocole propre au banc d’essai, conçu pour des classifieurs qui lisent une description d’étiquette, le modèle entraîné sur d’autres ensembles d’étiquettes dépasse la frontière de chaque famille à chaque taille que nous avons entraînée, sur des sous-ensembles de 500 exemples de ses jeux de données (figure 8). La figure 3 compare des systèmes individuels sur les trois jeux de données communs avec notre ensemble réservé. BTZSC ne rapporte la vitesse d’inférence que sous forme d’un chiffre normalisé, sans valeurs par modèle et sur un autre matériel; nous n’avançons donc aucune affirmation de vitesse face à ces familles.
6 Limites
Deux limites découlent de la conception. L’invite par chaîne de pensée et le raisonnement entraîné par renforcement améliorent l’exactitude sur les tâches qui exigent des étapes intermédiaires [16, 73]; une décision en une passe n’en comporte aucune, si bien que ce gain est hors de portée de notre modèle, et StrategyQA, la seule tâche réservée qui demande une inférence en plusieurs étapes, fait partie des tâches où nos modèles accusent le plus de retard sur les modèles de pointe (0,65 à 1,7 milliard de paramètres et 0,76 à 14 milliards contre 0,92 pour le meilleur modèle hébergé). Pour de telles questions, les cas de faible confiance pourraient être acheminés vers un modèle de raisonnement. Le classifieur interprète le texte des options littéralement et exige donc des noms d’étiquettes descriptifs (section 5.7).
L’évaluation a aussi ses limites. Les jeux de données réservés sont exclus de notre mélange de réglage fin (deux ensembles d’étiquettes binaires reviennent, section 4), mais une exposition aux bancs d’essai pendant le préentraînement ne peut être exclue. Nos résultats n’établissent donc pas une généralisation à des tâches absentes du préentraînement. La calibration est mesurée sur les douze tâches réservées avec 500 exemples chacune (335 pour Amazon Counterfactual), et sur TweetEval hate le modèle entraîné échange de l’exactitude contre du macro-F1. Toutes les latences proviennent d’une seule implémentation PyTorch en mode eager; les rapports de vitesse peuvent différer avec un service optimisé. La recette a été testée avec LoRA, sur des modèles d’au plus 32 milliards de paramètres, en anglais, avec des hyperparamètres réglés à 1,7 milliard et seul le réglage plus doux testé au-delà de 14 milliards.
7 Conclusion
Choisir dans un ensemble connu d’options ne demande aucun décodage. Un pack-readout, une seule passe avant empaquetée, calcule les vraisemblances exactes des options pour le coût d’un préremplissage, et l’entropie croisée sur l’ensemble des options, avec des données publiques de classification, fait d’un petit modèle préentraîné un classifieur qui accepte un nouvel ensemble d’étiquettes au moment de l’inférence : sur 12 tâches réservées, le score principal moyen passe, à 1,7 milliard de paramètres, de 0,55 à 0,64 et, à 8 milliards, de 0,63 à 0,72, tandis que la calibration s’améliore (Brier de 0,51 à 0,42 à 1,7 milliard). Un seul jeu de poids sert tous les ensembles d’étiquettes testés : sur des tâches inédites, il se situe sur la frontière taille–exactitude des classifieurs spécialisés sans entraînement ou au-dessus, mène leur classement dès 4 milliards selon leur propre protocole, et est plus exact que l’interrogation du modèle ajusté aux instructions de sa taille, pour un préremplissage par décision. La méthode se compose d’un masque d’attention par blocs, d’une softmax sur l’ensemble des options et d’un entraînement LoRA; elle s’est appliquée telle quelle aux cinq modèles de base testés. L’implémentation du modèle, le code d’entraînement et les adaptateurs entraînés sont publiés.
Remerciements et disponibilité
Remerciements et déclarations. Claude Code et OpenAI Codex ont aidé au développement du code d’entraînement, aux révisions du manuscrit et au code de génération des figures. L’idée de recherche vient de l’auteur, qui assume l’entière responsabilité du travail. L’étude a été entièrement autofinancée, et l’auteur ne déclare aucun conflit d’intérêts.
Disponibilité des données. Les sources des bancs d’essai sont citées en annexe I; le fichier DATA.md du dépôt liste les identifiants des jeux de données et les liens d’accès. Les rapports d’évaluation (scores par exemple sur les tâches réservées, scores agrégés sur BTZSC, réponses des modèles hébergés), les mesures de latence et l’instantané du classement BTZSC sont publiés sous forme d’archive de résultats (github.com/maxz411/classifier-from-llm/releases/tag/v0.1.0).
Disponibilité du code. L’implémentation du modèle et le code d’entraînement et d’évaluation sont disponibles sous licence Apache-2.0 à l’adresse github.com/maxz411/classifier-from-llm, sous la forme du paquet Python packreadout. Les adaptateurs entraînés sont sur Hugging Face sous licence CC BY-NC 4.0 (huggingface.co/collections/maxz411/pack-readout-classifiers).
Références
- Ilias Aarab. BTZSC: A benchmark for zero-shot text classification across cross-encoders, embedding models, rerankers and LLMs. In ICLR, 2026.
- Loubna Ben Allal et al. SmolLM2: When smol goes big – data-centric training of a small language model. arXiv:2502.02737, 2025.
- Tiago A. Almeida, José María Gómez Hidalgo, and Akebo Yamakami. Contributions to the study of SMS spam filtering: New collection and results. In ACM Symposium on Document Engineering, 2011.
- Francesco Barbieri, Jose Camacho-Collados, Luis Espinosa Anke, and Leonardo Neves. TweetEval: Unified benchmark and comparative evaluation for tweet classification. In Findings of EMNLP, 2020.
- Stella Biderman et al. Lessons from the trenches on reproducible evaluation of language models. arXiv:2405.14782, 2024.
- Glenn W. Brier. Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78:1–3, 1950.
- Tom Brown et al. Language models are few-shot learners. In NeurIPS, 2020.
- Iñigo Casanueva, Tadas Temčinas, Daniela Gerz, Matthew Henderson, and Ivan Vulić. Efficient intent detection with dual sentence encoders. In Workshop on NLP for Conversational AI, 2020.
- Zehua Cheng, Wei Dai, and Jiahao Sun. this-that-model-1.0: A typed decision model that decides in 30 ms, for a millionth of a cent. arXiv:2609.23886, 2026.
- Hyung Won Chung et al. Scaling instruction-finetuned language models. JMLR, 2024.
- Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, and Kristina Toutanova. BoolQ: Exploring the surprising difficulty of natural yes/no questions. In NAACL, 2019.
- Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. Think you have solved question answering? Try ARC, the AI2 reasoning challenge. arXiv:1803.05457, 2018.
- Convai Innovations. Laya. Model card, https://huggingface.co/convaiinnovations/laya, 2026. Apache-2.0 weights released 2026-09-18; accessed 2026-09-21.
- Mehul Damani et al. Beyond binary rewards: Training LMs to reason about their uncertainty. arXiv:2507.16806, 2025.
- DeepSeek-AI. DeepSeek-V3 technical report. arXiv:2412.19437, 2024.
- DeepSeek-AI. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv:2501.12948, 2025.
- Dorottya Demszky, Dana Movshovitz-Attias, Jeongwoo Ko, Alan Cowen, Gaurav Nemade, and Sujith Ravi. GoEmotions: A dataset of fine-grained emotions. In ACL, 2020.
- Jack FitzGerald et al. MASSIVE: A 1M-example multilingual natural language understanding dataset with 51 typologically-diverse languages. arXiv:2204.08582, 2022.
- Mor Geva, Daniel Khashabi, Elad Segal, Tushar Khot, Dan Roth, and Jonathan Berant. Did Aristotle use a laptop? A question answering benchmark with implicit reasoning strategies. TACL, 2021.
- Tilmann Gneiting and Adrian E. Raftery. Strictly proper scoring rules, prediction, and estimation. Journal of the American Statistical Association, 2007.
- Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In ICML, 2017.
- Franz A. Heinsen. An algorithm for routing vectors in sequences. arXiv:2211.11754, 2022.
- Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. In ICLR, 2021.
- Ari Holtzman, Peter West, Vered Shwartz, Yejin Choi, and Luke Zettlemoyer. Surface form competition: Why the highest probability answer isn’t always right. In EMNLP, 2021.
- Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for NLP. In ICML, 2019.
- Edward J. Hu et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.
- Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham Neubig. How can we know when language models know? On the calibration of language models for question answering. TACL, 2021.
- Jordan Juravsky, Bradley Brown, Ryan Ehrlich, Daniel Y. Fu, Christopher Ré, and Azalia Mirhoseini. Hydragen: High-throughput LLM inference with shared prefixes. arXiv:2402.05099, 2024.
- Tushar Khot, Peter Clark, Michal Guerquin, Peter Jansen, and Ashish Sabharwal. QASC: A dataset for question answering via sentence composition. In AAAI, 2020.
- Kimi Team. Kimi K2: Open agentic intelligence. arXiv:2507.20534, 2025.
- Md Kowsher et al. Predicting through generation: Why generation is better for prediction. arXiv:2502.17817, 2025.
- Nathan Lambert et al. Tülu 3: Pushing frontiers in open language model post-training. arXiv:2411.15124, 2024.
- Stefan Larson et al. An evaluation dataset for intent classification and out-of-scope prediction. In EMNLP, 2019.
- Moritz Laurer, Wouter van Atteveldt, Andreu Casas, and Kasper Welbers. Building efficient universal classifiers with natural language inference. arXiv:2312.17543, 2023.
- Chankyu Lee, Rajarshi Roy, Mengyao Xu, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, and Wei Ping. NV-Embed: Improved techniques for training LLMs as generalist embedding models. In ICLR, 2025.
- Yibo Li et al. ConfTuner: Training large language models to express their confidence verbally. arXiv:2508.18847, 2025.
- Zehan Li, Xin Zhang, Yanzhao Zhang, Dingkun Long, Pengjun Xie, and Meishan Zhang. Towards general text embeddings with multi-stage contrastive learning. arXiv:2308.03281, 2023.
- Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, Jing Li, Fu-lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised LLaMA finetuning. arXiv:2310.01208, 2023.
- Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu. G-Eval: NLG evaluation using GPT-4 with better human alignment. In EMNLP, 2023.
- Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.
- Dongyang Ma, Yan Wang, and Tian Lan. Block-attention for efficient prefilling. In ICLR, 2025.
- Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In ACL, 2011.
- Meta. Introducing Muse Spark 1.3. https://research.meta.ai/blog/introducing-muse-spark-1-3, 2026.
- Meta AI. Llama 3.2 model card. https://github.com/meta-llama/llama-models/blob/main/models/llama3_2/MODEL_CARD.md, 2024.
- Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal. Can a suit of armor conduct electricity? A new dataset for open book question answering. In EMNLP, 2018.
- Sewon Min, Mike Lewis, Hannaneh Hajishirzi, and Luke Zettlemoyer. Noisy channel language model prompting for few-shot text classification. In ACL, 2022.
- Mistral AI. Mistral NeMo. https://mistral.ai/news/mistral-nemo, 2024.
- Minxue Niu and Emily Mower Provost. Contrastive distillation of emotion knowledge from LLMs for zero-shot emotion recognition. arXiv:2505.18040, 2025.
- OLMo Team. 2 OLMo 2 furious. arXiv:2501.00656, 2025.
- James O’Neill, Polina Rozenshtein, Ryuichi Kiryo, Motoko Kubota, and Danushka Bollegala. I wish I would have loved this one, but I didn’t – a multilingual dataset for counterfactual detection in product review. In EMNLP, 2021.
- OpenAI. gpt-oss-120b & gpt-oss-20b model card. arXiv:2508.10925, 2025.
- Mahdi Pakdaman Naeini, Gregory F. Cooper, and Milos Hauskrecht. Obtaining well calibrated probabilities using Bayesian binning. In AAAI, 2015.
- Bo Pang and Lillian Lee. Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales. In ACL, 2005.
- Qwen Team. Qwen2.5 technical report. arXiv:2412.15115, 2024.
- Qwen Team. Qwen3 technical report. arXiv:2505.09388, 2025.
- Nir Ratner et al. Parallel context windows for large language models. In ACL, 2023.
- Joshua Robinson, Christopher Rytting, and David Wingate. Leveraging large language models for multiple choice question answering. arXiv:2210.12353, 2022.
- Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. WinoGrande: An adversarial Winograd schema challenge at scale. In AAAI, 2020.
- Victor Sanh et al. Multitask prompted training enables zero-shot task generalization. In ICLR, 2022.
- Elvis Saravia, Hsien-Chi Toby Liu, Yen-Hao Huang, Junlin Wu, and Yi-Shin Chen. CARER: Contextualized affect representations for emotion recognition. In EMNLP, 2018.
- Ali Şenol, Garima Agrawal, and Huan Liu. Measuring reasoning quality in LLMs: A multi-dimensional behavioral framework. arXiv:2605.24661v4, 2026.
- Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In EMNLP, 2013.
- Bhavesh Sood and Jaromir Savelka. Punching above their weight: Classification-head fine-tuning of tiny language models (TLMs) for verifiable multiple-choice tasks. arXiv:2607.03801, 2026.
- Ihor Stepanov et al. GLiClass: Generalist lightweight model for sequence classification tasks. arXiv:2508.07662, 2025.
- Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In NAACL, 2019.
- Polina Tsvilodub, Hening Wang, Sharon Grosch, and Michael Franke. Predictions from language models for multiple-choice tasks are not robust under variation of scoring methods. arXiv:2403.00998, 2024.
- TypeSafe AI. Introduction – TypeSafe AI. Documentation of Jev, https://docs.typesafe.ai/introduction, 2026.
- TypeSafe AI. Introducing system one models & Jev. https://typesafe.ai/blog/introducing-system-one-models-and-jev, 2026.
- Franklin Wang and Sumanth Hegde. Accelerating direct preference optimization with prefix sharing. arXiv:2410.20305, 2024.
- Xinpeng Wang, Chengzhi Hu, Bolei Ma, Paul Röttger, and Barbara Plank. Look at the text: Instruction-tuned language models are more robust multiple choice selectors than you think. In COLM, 2024.
- Zhiqiang Wang, Yiran Pang, and Yanbin Lin. Large language models are zero-shot text classifiers. arXiv:2312.01044, 2023.
- Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V. Le. Finetuned language models are zero-shot learners. In ICLR, 2022.
- Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In NeurIPS, 2022.
- Johannes Welbl, Nelson F. Liu, and Matt Gardner. Crowdsourcing multiple choice science questions. In Workshop on Noisy User-generated Text, 2017.
- Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8:229–256, 1992.
- Haike Xu, Zongyu Lin, Jing Zhou, Yanan Zheng, and Zhilin Yang. A universal discriminator for zero-shot generalization. In ACL, pages 10559–10575, 2023.
- Z.ai. GLM-5.3. https://docs.z.ai/guides/llm/glm-5.3, 2026.
- Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. HellaSwag: Can a machine really finish your sentence? In ACL, 2019.
- Xiang Zhang, Junbo Zhao, and Yann LeCun. Character-level convolutional networks for text classification. In NeurIPS, 2015.
- Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, and Jingren Zhou. Qwen3 Embedding: Advancing text embedding and reranking through foundation models. arXiv:2506.05176, 2025.
- Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh. Calibrate before use: Improving few-shot performance of language models. In ICML, 2021.
- Chujie Zheng, Hao Zhou, Fandong Meng, Jie Zhou, and Minlie Huang. Large language models are not robust multiple choice selectors. In ICLR, 2024.
- Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, and Subhrajit Roy. Batch calibration: Rethinking calibration for in-context learning and prompt engineering. In ICLR, 2024.
A Invites
Chaque option est rendue par une espace initiale, le texte de l’option et un retour à la ligne, et le retour à la ligne est noté. Les options sont listées dans l’ordre du jeu de données.
Classification de texte (classify_prompt) :
<instruction>
Labels: <label 1>, <label 2>, ..., <label n>
Text: <text, cut at 1500 characters>
Label:Banking77, par exemple, utilise l’instruction « Classify the customer’s banking query into exactly one intent. » et les 77 noms d’intentions, dont les tirets bas sont remplacés par des espaces.
Choix multiple et oui/non (mcq_prompt) :
<context, if any>
Question: <question>
Options:
- <option 1>
- <option 2>
Answer:Les tâches oui/non utilisent les options « yes » et « no ».
Référence par symbole au premier jeton (symbol_prompt) : la ligne d’amorce est remplacée par des choix lettrés « A. <option 1> » … et les lettres sont notées.
Primitives de décision. choice : « <state> / Question: <question> / Options: <o1>, … / Answer: ». score : niveaux listés sous la forme « <i>: <level> » sous « Levels: », avec « Answer (level number): » à la fin; les options sont les indices des niveaux. true_false : « Answer (yes or no): » avec les options yes et no.
Étiquettes renommées (tableau 4) : SST-5 (very negative en strongly unfavorable, negative en unfavorable, neutral en mixed or indifferent, positive en favorable, very positive en strongly favorable); TweetEval emotion (anger en furious, joy en happiness, optimism en hopeful, sadness en sorrow); TweetEval hate (non-hate en not hateful, hate en hateful); Rotten Tomatoes (negative en thumbs down, positive en thumbs up); SMS Spam (ham en legitimate message, spam en unsolicited junk); Counterfactual (not-counterfactual en describes what actually happened, counterfactual en describes something that did not happen); StrategyQA (yes en true, no en false).
BTZSC. « Pick the label that describes the text. », suivi des descriptions verbalisées des étiquettes du banc d’essai, dans le gabarit de classification.
B Résultats supplémentaires
| Tâche | Taille du test | Sans entr., 500 | Sans entr., complet | Entraîné, 500 | Entraîné, complet |
|---|---|---|---|---|---|
| Banking77 | 3 076 | 0,401 | 0,399 | 0,680 | 0,660 |
| MASSIVE | 2 974 | 0,673 | 0,646 | 0,746 | 0,740 |
| SST-5 | 2 210 | 0,341 | 0,358 | 0,455 | 0,451 |
| TweetEval emotion | 1 421 | 0,698 | 0,697 | 0,658 | 0,694 |
| TweetEval hate | 2 970 | 0,501 | 0,484 | 0,582 | 0,560 |
| Rotten Tomatoes | 1 066 | 0,870 | 0,862 | 0,903 | 0,888 |
| SMS Spam | 5 574 | 0,645 | 0,676 | 0,678 | 0,703 |
| Counterfactual | 335 | 0,452 | 0,451 | 0,641 | 0,626 |
| GoEmotions | 4 590 | 0,194 | 0,206 | 0,273 | 0,295 |
| ARC-Challenge† | 1 172 | 0,734 | 0,745 | 0,825 | 0,838 |
| MMLU† | 14 042 | 0,584 | 0,552 | 0,631 | 0,592 |
| StrategyQA | 687 | 0,546 | 0,548 | 0,618 | 0,646 |
| Moyenne | 0,553 | 0,552 | 0,641 | 0,641 |
| Taille | Sans entr., 500 | Sans entr., complet | Entraîné, 500 | Entraîné, complet |
|---|---|---|---|---|
| 0,6 Md | 0,366 | 0,378 | 0,568 | 0,567 |
| 1,7 Md | 0,553 | 0,552 | 0,641 | 0,641 |
| 4 Md | 0,598 | 0,594 | 0,691 | 0,695 |
| 8 Md | 0,627 | 0,626 | 0,721 | 0,721 |
| 14 Md | 0,708 | 0,711 | 0,714 | – |
| Tâche | sans entr., brut | sans entr., octet | symbole | 5 exemples | SFT bonne réponse | Tête scalaire | les deux têtes | set-CE, tête LM |
|---|---|---|---|---|---|---|---|---|
| Banking77 | 0,401 | 0,153 | – | 0,560 | 0,603 | 0,680 | 0,681 | 0,663 |
| MASSIVE | 0,673 | 0,635 | – | 0,738 | 0,732 | 0,746 | 0,734 | 0,718 |
| SST-5 | 0,341 | 0,266 | 0,232 | 0,434 | 0,429 | 0,455 | 0,376 | 0,344 |
| TweetEval emotion | 0,698 | 0,579 | 0,646 | 0,735 | 0,679 | 0,658 | 0,686 | 0,680 |
| TweetEval hate | 0,501 | 0,370 | 0,657 | 0,391 | 0,506 | 0,582 | 0,539 | 0,548 |
| Rotten Tomatoes | 0,870 | 0,870 | 0,851 | 0,798 | 0,900 | 0,903 | 0,912 | 0,903 |
| SMS Spam | 0,645 | 0,547 | 0,236 | 0,749 | 0,627 | 0,678 | 0,607 | 0,659 |
| Counterfactual | 0,452 | 0,453 | 0,453 | 0,487 | 0,483 | 0,641 | 0,479 | 0,569 |
| GoEmotions | 0,194 | 0,114 | – | 0,192 | 0,257 | 0,273 | 0,296 | 0,283 |
| ARC-Challenge† | 0,734 | 0,730 | 0,716 | 0,750 | 0,786 | 0,825 | 0,814 | 0,822 |
| MMLU† | 0,584 | 0,556 | 0,548 | 0,590 | 0,612 | 0,631 | 0,632 | 0,650 |
| StrategyQA | 0,546 | 0,597 | 0,375 | 0,428 | 0,642 | 0,618 | 0,654 | 0,633 |
| Moyenne | 0,553 | 0,489 | 0,524 | 0,571 | 0,605 | 0,641 ± 0,012 | 0,617 | 0,623 ± 0,008 |
| Tâche | sans entr., brut | sans entr., octet | symbole | 5 exemples | SFT bonne réponse | Tête scalaire | les deux têtes | set-CE, tête LM |
|---|---|---|---|---|---|---|---|---|
| Banking77 | 0,432 | 0,198 | – | 0,594 | 0,634 | 0,707 | 0,708 | 0,692 |
| MASSIVE | 0,656 | 0,592 | – | 0,716 | 0,734 | 0,767 | 0,736 | 0,730 |
| SST-5 | 0,428 | 0,304 | 0,292 | 0,490 | 0,454 | 0,472 | 0,434 | 0,446 |
| TweetEval emotion | 0,758 | 0,678 | 0,734 | 0,790 | 0,756 | 0,729 | 0,762 | 0,755 |
| TweetEval hate | 0,612 | 0,588 | 0,676 | 0,460 | 0,526 | 0,582 | 0,544 | 0,554 |
| Rotten Tomatoes | 0,872 | 0,872 | 0,854 | 0,806 | 0,900 | 0,903 | 0,912 | 0,903 |
| SMS Spam | 0,796 | 0,634 | 0,236 | 0,844 | 0,862 | 0,889 | 0,720 | 0,819 |
| Counterfactual | 0,824 | 0,827 | 0,827 | 0,833 | 0,824 | 0,851 | 0,507 | 0,677 |
| GoEmotions | 0,232 | 0,162 | – | 0,212 | 0,236 | 0,327 | 0,302 | 0,324 |
| ARC-Challenge | 0,734 | 0,730 | 0,716 | 0,750 | 0,786 | 0,825 | 0,814 | 0,822 |
| MMLU | 0,584 | 0,556 | 0,548 | 0,590 | 0,612 | 0,631 | 0,632 | 0,650 |
| StrategyQA | 0,582 | 0,608 | 0,512 | 0,542 | 0,642 | 0,620 | 0,654 | 0,637 |
| Moyenne | 0,626 | 0,562 | 0,599 | 0,636 | 0,664 | 0,692 ± 0,004 | 0,644 | 0,667 ± 0,007 |
| Tâche | brut | par jeton | par octet | par caractère | PMI | +BC | symbole | ECE (brut) |
|---|---|---|---|---|---|---|---|---|
| Banking77 | 0,376 | 0,334 | 0,258 | 0,250 | 0,014 | 0,436 | – | 0,073 |
| MASSIVE | 0,402 | 0,410 | 0,396 | 0,400 | 0,060 | 0,494 | – | 0,143 |
| SST-5 | 0,332 | 0,268 | 0,268 | 0,242 | 0,124 | 0,354 | 0,288 | 0,368 |
| TweetEval emotion | 0,632 | 0,632 | 0,600 | 0,596 | 0,636 | 0,692 | 0,538 | 0,163 |
| TweetEval hate | 0,424 | 0,548 | 0,500 | 0,548 | 0,588 | 0,602 | 0,548 | 0,397 |
| Rotten Tomatoes | 0,602 | 0,602 | 0,602 | 0,602 | 0,554 | 0,876 | 0,604 | 0,246 |
| SMS Spam | 0,124 | 0,124 | 0,122 | 0,122 | 0,122 | 0,514 | 0,322 | 0,725 |
| Counterfactual | 0,675 | 0,827 | 0,827 | 0,827 | 0,827 | 0,451 | 0,663 | 0,085 |
| GoEmotions | 0,142 | 0,152 | 0,106 | 0,098 | 0,166 | 0,200 | – | 0,369 |
| ARC-Challenge† | 0,534 | 0,516 | 0,516 | 0,514 | 0,386 | – | 0,390 | 0,137 |
| MMLU† | 0,414 | 0,406 | 0,386 | 0,384 | 0,340 | – | 0,336 | 0,189 |
| StrategyQA | 0,512 | 0,512 | 0,494 | 0,496 | 0,502 | 0,512 | 0,498 | 0,227 |
| Moyenne | 0,431 | 0,444 | 0,423 | 0,423 | 0,360 | 0,513 | 0,465 | 0,260 |
| Tâche | Sans entraînement | Tête LM | Tête scalaire | Entraîné sur la tâche | Meilleur modèle de pointe interrogé | Meilleur publié sans entraînement (taille) | Meilleur supervisé (taille) |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,334 | 0,611 | 0,661 | – | 0,868 (Claude Fable 5.1) | 0,715 (8 Md) | – |
| MASSIVE | 0,411 | 0,686 | 0,685 | – | 0,890 (GPT-6 Astra) | 0,673 (8 Md) | – |
| SST-5 | 0,142 | 0,281 | 0,332 | – | 0,544 (Claude Fable 5.1) | – | – |
| TweetEval emotion | 0,568 | 0,652 | 0,672 | – | 0,802 (gpt-oss-120b) | 0,728 (n.c.) | 0,810 (0,12 Md) |
| TweetEval hate | 0,314 | 0,484 | 0,531 | – | 0,767 (Kimi K3) | 0,708 (20 Md) | 0,581 (0,12 Md) |
| Rotten Tomatoes | 0,522 | 0,873 | 0,884 | – | 0,952 (Claude Fable 5.1) | 0,903 (8 Md) | – |
| SMS Spam | 0,111 | 0,343 | 0,455 | – | 0,986 (Claude Fable 5.1) | – | – |
| Counterfactual | 0,515 | 0,421 | 0,579 | – | 0,847 (gpt-oss-120b) | – | – |
| GoEmotions | 0,112 | 0,264 | 0,257 | – | 0,362 (gpt-oss-120b) | – | – |
| ARC-Challenge† | 0,534 | 0,666 | 0,672 | – | 0,976 (Kimi K3) | 0,786 (3,2 Md) | – |
| MMLU† | 0,414 | 0,510 | 0,528 | – | 0,938 (GPT-6 Astra) | 0,626 (1,7 Md) | – |
| StrategyQA | 0,412 | 0,534 | 0,560 | – | 0,923 (Claude Fable 5.1) | – | – |
| Moyenne | 0,366 | 0,527 | 0,568 |
| Tâche | Sans entraînement | Tête LM | Tête scalaire | Entraîné sur la tâche | Meilleur modèle de pointe interrogé | Meilleur publié sans entraînement (taille) | Meilleur supervisé (taille) |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,578 | 0,722 | 0,756 | – | 0,868 (Claude Fable 5.1) | 0,715 (8 Md) | – |
| MASSIVE | 0,728 | 0,749 | 0,772 | – | 0,890 (GPT-6 Astra) | 0,673 (8 Md) | – |
| SST-5 | 0,393 | 0,446 | 0,508 | – | 0,544 (Claude Fable 5.1) | – | – |
| TweetEval emotion | 0,710 | 0,635 | 0,672 | – | 0,802 (gpt-oss-120b) | 0,728 (n.c.) | 0,810 (0,12 Md) |
| TweetEval hate | 0,624 | 0,453 | 0,566 | – | 0,767 (Kimi K3) | 0,708 (20 Md) | 0,581 (0,12 Md) |
| Rotten Tomatoes | 0,887 | 0,908 | 0,915 | – | 0,952 (Claude Fable 5.1) | 0,903 (8 Md) | – |
| SMS Spam | 0,510 | 0,592 | 0,766 | – | 0,986 (Claude Fable 5.1) | – | – |
| Counterfactual | 0,528 | 0,616 | 0,764 | – | 0,847 (gpt-oss-120b) | – | – |
| GoEmotions | 0,199 | 0,271 | 0,282 | – | 0,362 (gpt-oss-120b) | – | – |
| ARC-Challenge† | 0,836 | 0,906 | 0,885 | – | 0,976 (Kimi K3) | 0,786 (3,2 Md) | – |
| MMLU† | 0,658 | 0,700 | 0,702 | – | 0,938 (GPT-6 Astra) | 0,626 (1,7 Md) | – |
| StrategyQA | 0,523 | 0,708 | 0,710 | – | 0,923 (Claude Fable 5.1) | – | – |
| Moyenne | 0,598 | 0,642 | 0,691 |
| Tâche | Sans entraînement | Tête LM | Tête scalaire | Entraîné sur la tâche | Meilleur modèle de pointe interrogé | Meilleur publié sans entraînement (taille) | Meilleur supervisé (taille) |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,610 | 0,723 | 0,755 | – | 0,868 (Claude Fable 5.1) | 0,715 (8 Md) | – |
| MASSIVE | 0,802 | 0,807 | 0,809 | – | 0,890 (GPT-6 Astra) | 0,673 (8 Md) | – |
| SST-5 | 0,257 | 0,503 | 0,526 | – | 0,544 (Claude Fable 5.1) | – | – |
| TweetEval emotion | 0,734 | 0,684 | 0,661 | – | 0,802 (gpt-oss-120b) | 0,728 (n.c.) | 0,810 (0,12 Md) |
| TweetEval hate | 0,593 | 0,536 | 0,563 | – | 0,767 (Kimi K3) | 0,708 (20 Md) | 0,581 (0,12 Md) |
| Rotten Tomatoes | 0,891 | 0,930 | 0,927 | – | 0,952 (Claude Fable 5.1) | 0,903 (8 Md) | – |
| SMS Spam | 0,692 | 0,749 | 0,879 | – | 0,986 (Claude Fable 5.1) | – | – |
| Counterfactual | 0,470 | 0,805 | 0,796 | – | 0,847 (gpt-oss-120b) | – | – |
| GoEmotions | 0,225 | 0,299 | 0,320 | – | 0,362 (gpt-oss-120b) | – | – |
| ARC-Challenge† | 0,884 | 0,930 | 0,927 | – | 0,976 (Kimi K3) | 0,786 (3,2 Md) | – |
| MMLU† | 0,680 | 0,756 | 0,760 | – | 0,938 (GPT-6 Astra) | 0,626 (1,7 Md) | – |
| StrategyQA | 0,685 | 0,768 | 0,726 | – | 0,923 (Claude Fable 5.1) | – | – |
| Moyenne | 0,627 | 0,707 | 0,721 |
| Tâche | Sans entraînement | Tête LM | Tête scalaire | Entraîné sur la tâche | Meilleur modèle de pointe interrogé | Meilleur publié sans entraînement (taille) | Meilleur supervisé (taille) |
|---|---|---|---|---|---|---|---|
| Banking77 | 0,550 | 0,808 | 0,810 | – | 0,868 (Claude Fable 5.1) | 0,715 (8 Md) | – |
| MASSIVE | 0,581 | 0,764 | 0,811 | – | 0,890 (GPT-6 Astra) | 0,673 (8 Md) | – |
| SST-5 | 0,193 | 0,332 | 0,429 | – | 0,544 (Claude Fable 5.1) | – | – |
| TweetEval emotion | 0,462 | 0,650 | 0,720 | – | 0,802 (gpt-oss-120b) | 0,728 (n.c.) | 0,810 (0,12 Md) |
| TweetEval hate | 0,631 | 0,576 | 0,547 | – | 0,767 (Kimi K3) | 0,708 (20 Md) | 0,581 (0,12 Md) |
| Rotten Tomatoes | 0,636 | 0,902 | 0,908 | – | 0,952 (Claude Fable 5.1) | 0,903 (8 Md) | – |
| SMS Spam | 0,672 | 0,785 | 0,765 | – | 0,986 (Claude Fable 5.1) | – | – |
| Counterfactual | 0,500 | 0,784 | 0,792 | – | 0,847 (gpt-oss-120b) | – | – |
| GoEmotions | 0,092 | 0,265 | 0,314 | – | 0,362 (gpt-oss-120b) | – | – |
| ARC-Challenge† | 0,850 | 0,900 | 0,894 | – | 0,976 (Kimi K3) | 0,786 (3,2 Md) | – |
| MMLU† | 0,614 | 0,720 | 0,704 | – | 0,938 (GPT-6 Astra) | 0,626 (1,7 Md) | – |
| StrategyQA | 0,364 | 0,695 | 0,675 | – | 0,923 (Claude Fable 5.1) | – | – |
| Moyenne | 0,512 | 0,682 | 0,697 |
| Modèle | exact. | ECE | Brier | NLL | AUROC | exact. à 50 % couv. |
|---|---|---|---|---|---|---|
| sans entraînement, brut | 0,431 | 0,260 | 0,754 | 1,683 | 0,680 | 0,550 |
| sans entraînement, brut + TS | 0,431 | 0,096 | 0,612 | 1,339 | 0,670 | 0,551 |
| set-CE, tête LM | 0,556 | 0,169 | 0,572 | 1,213 | 0,668 | 0,657 |
| set-CE, tête LM + TS | 0,556 | 0,067 | 0,508 | 1,035 | 0,663 | 0,653 |
| SFT sur la seule bonne réponse | 0,579 | 0,153 | 0,563 | 1,419 | 0,693 | 0,707 |
| set-CE, tête scalaire | 0,634 | 0,113 | 0,496 | 1,017 | 0,676 | 0,736 |
C Tableaux complémentaires
Ces tableaux complètent le texte principal : travaux connexes, calcul par décision, prédiction ordinale, échecs de l’interrogation par invite, coût d’adaptation, latence, et balayages des ensembles d’étiquettes et des données.
| Méthode | Entraînement | Lecture | Une passe | Calibration | Étiquettes inédites | Ouvert |
|---|---|---|---|---|---|---|
| Notation par log-vraisemblance [7] | aucun | vraisemblance de l’option | non, une séq. par option | médiocre (tableau 2) | oui | oui |
| Symbole au premier jeton [82] | aucun | P(letter) | oui | biais de lettre | oui, ≤ 26 | oui |
| T0 / FLAN [59, 72] | mélange, une fois | vraisemblance de l’option | non, une séq. par option | non mesurée | oui | oui |
| Universal Discriminator [76] | mélange, une fois | tête scalaire d’encodeur | une séq. par option | non mesurée | oui | oui |
| Sood et al. [63] | par tâche | tête scalaire | non, une séq. par option | non mesurée | non | oui |
| GLiClass [64] | une fois | encodeur | oui | non indiquée | oui | oui |
| NLI / plongements / reclasseur | une fois (paires NLI ou de recherche) | score de paire | une passe par étiquette | non indiquée | oui | oui |
| Jev [67] | non divulgué | distribution | oui | revendiquée | oui | non |
| Laya [13] | par domaine (RLCD) | noteur d’encodeur au jeton masqué | oui | ECE après température | proche du hasard (rapporté) | oui |
| Le nôtre, tête LM | mélange, une fois | vraisemblance empaquetée | oui | scores propres, classement | oui, 12 tâches | oui |
| Le nôtre, tête scalaire | mélange, une fois | w⊤h empaqueté | oui | scores propres, ECE | oui, 12 tâches | oui |
| Système | Paramètres | Une décision | Banking77 (77 étiquettes) | SST-5 (5 étiquettes) |
|---|---|---|---|---|
| Le nôtre, Qwen3-1.7B-Base | 1,7 Md | notation empaquetée : invite + toutes les options, une passe | 2,4 | 0,2 |
| Qwen3-Embedding-8B | 8 Md | bi-encodeur : le texte, une passe; étiquettes en cache | 0,2 | 0,4 |
| Qwen3-Reranker-8B | 8 Md | encodeur croisé : texte + étiquette, une passe par étiquette | 20,3 | 1,9 |
| Flan-UL2 | 20 Md | génératif : l’invite, puis le décodage de l’étiquette | 14,7 | 2,1 |
| Llama-3.2-3B-Instruct | 3,2 Md | génératif : l’invite, puis le décodage de l’étiquette | 2,4 | 0,3 |
| ChatGPT / GPT-4 | n,d. | génératif : l’invite, puis le décodage de l’étiquette | – | – |
| Modèle | Exactitude | EAM (niveaux) | Écart ≥ 2 niveaux | Spearman ρ |
|---|---|---|---|---|
| 1,7 Md sans entraînement | 0,428 | 0,666 / 0,642 | 0,074 / 0,054 | 0,751 / 0,813 |
| 1,7 Md tête LM | 0,446 | 0,623 / 0,608 | 0,064 / 0,056 | 0,765 / 0,829 |
| 1,7 Md tête scalaire | 0,472 | 0,636 / 0,549 | 0,087 / 0,055 | 0,759 / 0,831 |
| 8 Md sans entraînement | 0,286 | 0,982 / 0,862 | 0,230 / 0,192 | 0,774 / 0,847 |
| 8 Md tête scalaire | 0,535 | 0,528 / 0,484 | 0,059 / 0,034 | 0,819 / 0,862 |
| Lecture | Moyenne principale | Exactitude | Brier | NLL | ECE |
|---|---|---|---|---|---|
| un seul jeton | 0,626 | 0,679 | 0,447 | 1,045 | 0,116 |
| pack-readout, tête scalaire | 0,652 | 0,696 | 0,414 | 0,875 | 0,097 |
| pack-readout, tête LM | 0,617 | 0,650 | 0,466 | 1,036 | 0,120 |
| Tâche | n | un seul jeton | pack-readout, tête scalaire | pack-readout, tête LM |
|---|---|---|---|---|
| Banking77 | 500 | 0,631 | 0,666 | 0,649 |
| MASSIVE | 500 | 0,691 | 0,732 | 0,728 |
| SST-5 | 500 | 0,453 | 0,488 | 0,388 |
| TweetEval emotion | 500 | 0,692 | 0,706 | 0,688 |
| TweetEval hate | 500 | 0,583 | 0,554 | 0,528 |
| Rotten Tomatoes | 500 | 0,902 | 0,912 | 0,898 |
| SMS Spam | 500 | 0,664 | 0,716 | 0,655 |
| Counterfactual | 335 | 0,594 | 0,650 | 0,497 |
| GoEmotions | 500 | 0,247 | 0,265 | 0,291 |
| ARC-Challenge† | 500 | 0,794 | 0,824 | 0,808 |
| MMLU† | 500 | 0,598 | 0,642 | 0,626 |
| StrategyQA | 500 | 0,660 | 0,668 | 0,654 |
| Tâche | Réponse | Bonne option |
|---|---|---|
| Banking77 | « reverted top up » | top up reverted |
| Banking77 | « freeze my account » | compromised card |
| MASSIVE | « lists addorcreate » | calendar set |
| MASSIVE | « recommendations movies » | recommendation movies |
| TweetEval emotion | « angry » | anger |
| TweetEval emotion | « sad » | sadness |
| Rotten Tomatoes | « neutral » | positive |
| Rotten Tomatoes | « more intellectually scary than dramatically involving » | negative |
| SMS Spam | « A » | spam |
| GoEmotions | « desperation » | neutral |
| GoEmotions | « redeem » | neutral |
| ARC-Challenge | « the color of the light bulb they use » | the color of light bulb they use |
| ARC-Challenge | « release of chlorofluorocarcs from aerosol cans » | release of chlorofluorocarbons from aero |
| MMLU | « 18x + 15 » | 18x+15 |
| MMLU | « recognized as breaking an important norm of behaviour » | seen a temporary aberration from an othe |
| Système | Données d’adaptation | Calcul | Données publiques |
|---|---|---|---|
| Le nôtre, depuis Qwen3-1.7B-Base | 16 000 exemples de 18 jeux de données publics, 2,5 M de jetons | 20 min, un A100 (25 PFLOP) | oui |
| Le nôtre, depuis Qwen3-8B-Base | idem | 2,1 h, un DGX Spark (120 PFLOP) | oui |
| gte-large-en-v1.5 [37] | MLM sur C4; 800 M de paires extraites du web; 3 M de paires annotées | n.c. (v1 : 50 000 pas de préentraînement, lots de 16 000, 8 A100-80GB) | sources seulement |
| Qwen3-Embedding-8B [80] | 150 M de paires synthétiques; 7 M de paires étiquetées + 12 M synthétiques | n.c. | sources seulement |
| Qwen3-Reranker-8B [80] | 7 M de paires étiquetées + 12 M synthétiques | n.c. | sources seulement |
| deberta-v3-large-nli-triplet [1] | 885 000 paires NLI, 3 époques [34] | n.c. (un entraînement semblable : 10 h, un A100) | oui |
| Flan-T5-XXL [10] | collection Flan 2022, 1 836 tâches | 7,6×10¹⁹ FLOP (76 000 PFLOP) | oui |
| Mistral-Nemo-Instruct [47] | n.c. | n.c. | non |
| Llama-3.2-3B-Instruct [44] | SFT, échantillonnage par rejet, DPO; volumes n.c. | 460 000 heures H100 avec le préentraînement | non |
| GPT-5, Claude | n.c. | n.c. | non |
| Options | Jetons d’invite | Empaqueté (le nôtre) | Réplication KV | Une séq. par option | Décodage contraint | Génération JSON |
|---|---|---|---|---|---|---|
| 2 | 37 | 47,5 | 91,4 | 47,3 | 203,3 | 1 042,8 |
| 4 | 44 | 47,3 | 89,9 | 48,2 | 163,6 | 1 030,7 |
| 8 | 57 | 47,3 | 90,4 | 49,2 | 203,2 | 1 014,1 |
| 16 | 83 | 48,2 | 92,3 | 50,8 | 164,8 | 1 033,8 |
| 77 | 295 | 54,4 | 106,9 | 578,0 | 167,9 | 1 042,8 |
| 255 | 921 | 90,8 | 432,8 | 5 606,1 | 217,2 | 1 184,6 |
| Ensembles d’étiquettes | Exactitude réservée | Exactitude, nombreuses étiquettes | ECE | AUROC |
|---|---|---|---|---|
| 4 | 0,638 ± 0,014 | 0,471 | 0,149 | 0,718 |
| 6 | 0,663 ± 0,020 | 0,562 | 0,142 | 0,724 |
| 8 | 0,655 ± 0,025 | 0,568 | 0,130 | 0,731 |
| 10 | 0,669 ± 0,025 | 0,574 | 0,109 | 0,733 |
| 12 | 0,667 ± 0,004 | 0,563 | 0,125 | 0,730 |
| 16 | 0,672 ± 0,011 | 0,589 | 0,120 | 0,738 |
| 18 | 0,693 ± 0,003 | 0,607 | 0,095 | 0,745 |
| Exemples dans le réservoir | Par tâche | Macro-F1 réservé | Exactitude, nombreuses étiquettes | ECE |
|---|---|---|---|---|
| 1 998 | 111 | 0,595 | 0,570 | 0,311 |
| 7 992 | 444 | 0,623 | 0,607 | 0,195 |
| 16 002 | 889 | 0,631 | 0,598 | 0,115 |
| 36 000 | 2 000 | 0,641 | 0,600 | 0,098 |
D Comparaison BTZSC par groupe de tâches
Le tableau 30 donne les chiffres de la figure 8 (section 5.8), au global et par groupe de tâches.
| Modèle | Global | Sentiment | Thème | Intention | Émotion |
|---|---|---|---|---|---|
| Qwen3-Reranker-8B (reclasseur, 8,0 Md) | 0,722 | 0,923 | 0,662 | 0,700 | 0,486 |
| Mistral-Nemo-Instruct-2407 (LLM, premier jeton, 12,2 Md) | 0,670 | 0,841 | 0,691 | 0,455 | 0,363 |
| Qwen3-4B (LLM, premier jeton, 4,0 Md) | 0,649 | 0,883 | 0,638 | 0,401 | 0,373 |
| gte-large-en-v1.5 (plongements, 0,4 Md) | 0,617 | 0,849 | 0,543 | 0,590 | 0,372 |
| deberta-v3-large-nli-triplet (NLI, 0,4 Md) | 0,596 | 0,899 | 0,503 | 0,447 | 0,419 |
| Llama-3.2-3B-Instruct (LLM, premier jeton, 3,2 Md) | 0,430 | 0,456 | 0,437 | 0,408 | 0,348 |
| Le nôtre, Qwen3-1.7B-Base, sans entraînement | 0,526 | 0,726 | 0,489 | 0,352 | 0,386 |
| Le nôtre, 1,7 Md entraîné, tête LM (mélange sans les données BTZSC) | 0,672 | 0,913 | 0,598 | 0,605 | 0,456 |
| Le nôtre, 1,7 Md entraîné, tête scalaire (idem) (2 graines) | 0,703 | 0,899 | 0,648 | 0,658 | 0,480 |
| Le nôtre, 0,6 Md entraîné, tête scalaire (idem) | 0,673 | 0,879 | 0,621 | 0,613 | 0,433 |
| Le nôtre, 4 Md entraîné, tête scalaire (idem) (2 graines) | 0,727 | 0,929 | 0,669 | 0,721 | 0,444 |
| Le nôtre, 8 Md entraîné, tête scalaire (idem) (2 graines) | 0,740 | 0,929 | 0,691 | 0,731 | 0,454 |
| Le nôtre, 14 Md entraîné, tête scalaire (idem; 1 000 pas, demi-taux d’apprentissage) | 0,745 | 0,932 | 0,689 | 0,760 | 0,473 |
E Chiffres publiés sur les tâches réservées
Meilleurs résultats publiés que nous avons pu vérifier (2026-09-19, corrigés le 2026-09-30) pour chaque tâche réservée, avec la taille du modèle et la métrique dans laquelle chacun est rapporté. « Sans entraînement » signifie aucun entraînement sur le jeu de données. Sources : résultats de BTZSC (Aarab [1], jeux de test complets); Zhang et al. 2023 (arXiv 2305.15005; 500 éléments de test échantillonnés); TimeLMs (arXiv 2202.03829); Casanueva et al. 2020 (arXiv 2003.04807); FitzGerald et al. 2022 (arXiv 2204.08582); Emo Pillars (arXiv 2504.16856); les rapports techniques de Llama 3.2 et de Qwen3; pour SMS Spam, Wang et al. [71] (150 messages de test échantillonnés) et Houlsby et al. [25] (réglage fin complet; leur partition de test de 558 messages); pour Counterfactual, Lee et al. [35] (une sonde logistique sur des plongements figés; le jeu de test anglais de MTEB); pour GoEmotions, Niu et Mower Provost [48]; pour SST-5, Heinsen [22]; pour StrategyQA, Şenol et al. [61] (version 4; 250 éléments échantillonnés de la partition de test que nous utilisons). Les résultats supervisés publiés sur StrategyQA utilisent d’autres partitions. Les chiffres de GoEmotions sont multi-étiquettes et ne sont pas comparables à notre sous-ensemble à étiquette unique.
| Tâche | Meilleur sans entraînement (modèle, mesure) | Meilleur supervisé (modèle, mesure) |
|---|---|---|
| Banking77 | 0,715 Qwen3-Embedding (8 Md) (macro-F1) | 0,937 BERT-large (0,3 Md) (exactitude) |
| MASSIVE | 0,673 Qwen3-Reranker (8 Md) (macro-F1) | 0,890 mT5-base (0,6 Md) (exactitude) |
| SST-5 | 0,570 Flan-UL2 (20 Md) (exactitude) | 0,598 tête de routage sur RoBERTa-large figé (0,4 Md) (exactitude) |
| TweetEval emotion | 0,728 ChatGPT (macro-F1) | 0,810 TimeLM (0,1 Md) (macro-F1) |
| TweetEval hate | 0,708 Flan-UL2 (20 Md) (macro-F1) | 0,581 TimeLM (0,1 Md) (macro-F1) |
| Rotten Tomatoes | 0,903 Qwen3-Reranker (8 Md) (macro-F1) | 0,900 T5-large (0,8 Md) (exactitude) |
| SMS Spam | 0,973 GPT-4 (exactitude) | 0,993 BERT-base (0,1 Md) (exactitude) |
| Counterfactual | aucun trouvé | 0,951 NV-Embed-v1 (8 Md), sonde sur 32 exemples par étiquette (exactitude) |
| GoEmotions | 0,319 GPT-4 (macro-F1, multi-étiquettes) | 0,550 RoBERTa-large (0,4 Md) (macro-F1, multi-étiquettes) |
| ARC-Challenge | 0,786 Llama-3.2-3B-Instruct (exactitude) | aucun trouvé |
| MMLU | 0,626 Qwen3-1.7B-Base, 5 exemples (exactitude) | aucun trouvé |
| StrategyQA | 0,524 Phi-2 (2,7 Md), réponse libre (exactitude) | aucun trouvé |
F Points de comparaison par invite : protocole
Chaque modèle interrogé reçoit l’invite du noteur sans sa ligne d’amorce, suivie de « Reply with one of the listed answers, exactly as written, and nothing else. », sous la forme d’un unique message utilisateur au format conversationnel du modèle; la réflexion est désactivée lorsque le gabarit le permet. Les modèles locaux échantillonnent les réponses libres avec les réglages recommandés par leurs auteurs pour le mode sans réflexion (température 0,7, top-p 0,8, top-k 20; graine 0) et décodent les réponses contraintes de façon gloutonne. Les requêtes hébergées fixent la température à 0; la passerelle n’indique pas si un fournisseur l’applique à un modèle de raisonnement. Une réponse est appariée à une option par correspondance exacte après normalisation (casse, guillemets et ponctuation en bordure, espaces), sinon par l’option la plus longue contenue dans la réponse en mots entiers, sinon par l’unique option dont la réponse fait partie; à défaut, elle est invalide et compte comme fausse. Chaque réponse est conservée avec les résultats. Les modèles locaux (Qwen3-1.7B, 4B, 8B, les versions post-entraînées) tournent sur un A100-40GB de Lambda, une décision à la fois; les réponses libres s’arrêtent au jeton de fin de tour ou à un plafond de 32 768 jetons, qu’ont atteint deux réponses MMLU du modèle de 1,7 milliard de paramètres. Les modèles hébergés passent par la Vercel AI Gateway. Muse Spark 1.3 et GLM-5.3 n’ont pas de plafond de jetons de sortie au niveau de la requête; les autres exécutions hébergées utilisaient un budget de 1 024 jetons, raisonnement caché compris. Les requêtes sont limitées aux fournisseurs listés au tableau 32. Les fournisseurs qui ont servi les requêtes sont consignés par tâche, et par réponse pour Muse Spark 1.3 et GLM-5.3. GPT-5, GPT-6 Astra et Muse Spark 1.3 tournent avec un effort de raisonnement minimal, GLM-5.3 avec un effort faible; les autres modèles utilisent leurs réglages par défaut, ce qui signifie la réflexion adaptative activée pour Claude Sonnet 5 et Claude Fable 5.1 et aucune réflexion pour Claude Sonnet 4.6 (les étiquettes du tableau 7 indiquent le réglage effectif). Le tableau 32 liste les identifiants des modèles, les fournisseurs qui ont servi les requêtes et les dates; l’annexe I liste les rapports techniques disponibles.
| Identifiant | Paramètres (Md) | Servi par | Réglages | Date |
|---|---|---|---|---|
alibaba/qwen-3-235b | 235 | deepinfra, novita | par défaut | 2026-09-19 |
anthropic/claude-fable-5.1 | n.c. | anthropic | par défaut | 2026-09-20 |
anthropic/claude-sonnet-4.6 | n.c. | anthropic | par défaut | 2026-09-19 |
anthropic/claude-sonnet-5 | n.c. | anthropic | par défaut | 2026-09-20 |
deepseek/deepseek-v3.2 | 671 | deepinfra | par défaut | 2026-09-19 |
meta/muse-spark-1.3 | n.c. | meta | reasoning_effort=minimal | 2026-09-20 |
moonshotai/kimi-k3 | 2 800 | alibaba, baseten | par défaut | 2026-09-20 |
openai/gpt-5 | n.c. | openai | reasoning_effort=minimal | 2026-09-19 |
openai/gpt-6-astra | n.c. | openai | reasoning_effort=minimal | 2026-09-20 |
openai/gpt-oss-120b | 117 | baseten | par défaut | 2026-09-19 |
zai/glm-5.3 | 753 | deepinfra | reasoning_effort=low | 2026-09-20 |
G Reproduction
Le dépôt publié contient l’implémentation du modèle, les chargeurs de données d’entraînement et les points d’entrée d’entraînement et d’évaluation. scripts/train.py entraîne l’adaptateur LoRA et la lecture; scripts/evaluate.py évalue un modèle de base ou un adaptateur enregistré sur les tâches indiquées; scripts/prompting_baseline.py, scripts/prompting_baseline_api.py, scripts/bench_latency.py et scripts/btzsc_eval.py exécutent les comparaisons d’interrogation par invite, de latence et sur BTZSC des sections 5.5, 5.6 et 5.8. La section 4 donne les réglages d’entraînement. L’archive de résultats (Disponibilité des données) contient les rapports d’évaluation derrière chaque chiffre rapporté. Les adaptateurs entraînés (poids LoRA et, pour la lecture scalaire, le vecteur de la tête) des exécutions principales à chaque taille, des autres modèles de base, de la lecture par tête LM, du mélange expurgé de BTZSC et des graines supplémentaires sont publiés sur Hugging Face, nommés d’après leur modèle de base, sous licence CC BY-NC 4.0, car le mélange d’entraînement comprend SciQ (CC BY-NC 3.0).
Un entraînement a divergé : l’exécution sur les jeux de test complets de la tête scalaire de 1,7 milliard de paramètres avec la graine 2, sur les A100 de Lambda (sa perte est passée d’environ 0,5 à 1,3 après le pas 500 et y est restée, et ses scores sur les tâches réservées étaient proches du hasard). Il a été relancé avec la même graine; seule la relance est rapportée. Une exécution concomitante avec la graine 3 a atteint une moyenne de 0,649 sur les tâches réservées et n’est pas utilisée. Aucune autre exécution n’a divergé. À 4 milliards, la graine 0 de la tête scalaire (4b-set-scalar-s0) était une première exécution de 1 000 pas et la graine 1 la recette de 2 000 pas; les deux concordent à 0,005 près sur la moyenne des tâches réservées, et le contrôle à 1 000 pas de la section 5.7 montre que le nombre de pas ne change pas le résultat à 4 milliards.
H Latence à d’autres tailles
Le balayage du tableau 27 à 0,6 et 4 milliards de paramètres, avec le même protocole et le même GPU (également dans la figure 6). À 4 milliards, la réplication KV ne tient pas dans 40 Go à 255 options.
| Options | Jetons d’invite | Empaqueté (le nôtre) | Réplication KV | Une séq. par option | Décodage contraint | Génération JSON |
|---|---|---|---|---|---|---|
| 2 | 37 | 44,7 | 85,4 | 45,7 | 193,9 | 798,3 |
| 4 | 44 | 45,3 | 87,3 | 46,3 | 161,7 | 778,8 |
| 8 | 57 | 45,2 | 87,2 | 46,5 | 195,6 | 860,4 |
| 16 | 83 | 46,1 | 87,7 | 48,4 | 158,1 | 850,6 |
| 77 | 295 | 52,9 | 99,5 | 340,8 | 162,9 | 931,9 |
| 255 | 921 | 72,6 | 406,6 | 3 291,1 | 173,0 | 969,7 |
| Options | Jetons d’invite | Empaqueté (le nôtre) | Réplication KV | Une séq. par option | Décodage contraint | Génération JSON |
|---|---|---|---|---|---|---|
| 2 | 37 | 59,8 | 116,6 | 61,7 | 260,7 | 1 351,5 |
| 4 | 44 | 59,9 | 114,8 | 61,2 | 212,1 | 1 355,3 |
| 8 | 57 | 61,2 | 116,4 | 62,6 | 209,3 | 1 364,6 |
| 16 | 83 | 62,4 | 119,6 | 89,7 | 210,9 | 1 385,4 |
| 77 | 295 | 69,2 | 163,9 | 1 237,8 | 219,4 | 1 373,7 |
| 255 | 921 | 159,0 | OOM | 12 349,9 | 234,5 | 1 433,0 |
I Sources des jeux de données et des modèles
Mélange d’entraînement : AG News, DBpedia-14, Yahoo Answers et Yelp-5 [79]; IMDB [42]; TweetEval sentiment, offensive et irony [4]; Emotion [60]; CLINC-150 [33]; SciQ [74]; OpenBookQA [45]; CommonsenseQA [65]; QASC [29]; ARC-Easy [12]; HellaSwag [78]; WinoGrande [58]; BoolQ [11]. Tâches réservées : Banking77 [8]; MASSIVE [18]; SST-5 [62]; Rotten Tomatoes [53]; TweetEval emotion et hate [4]; GoEmotions [17]; SMS Spam [3]; Amazon Counterfactual [50]; ARC-Challenge [12]; MMLU [23]; StrategyQA [19]. Modèles de base : Qwen3 [55], Qwen2.5 [54], OLMo 2 [49], SmolLM2 [2]. Modèles hébergés à poids ouverts avec un rapport publié : gpt-oss [51], DeepSeek-V3 [15], la lignée que prolonge V3.2, Kimi K2 [30], le prédécesseur de K3, et Qwen3-235B [55]. GLM-5.3 [77] et Muse Spark 1.3 [43] sont documentés par leurs développeurs; les modèles fermés sont identifiés par leur identifiant et leur date au tableau 32. Systèmes de référence BTZSC du tableau 30 : Qwen3-Reranker-8B [80], gte-large-en-v1.5 [37], Llama-3.2-3B-Instruct [44] et Mistral-Nemo-Instruct [47].