Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -216,7 +216,7 @@
"id": "1202dd97",
"metadata": {},
"source": [
"**Lecture chiffree — les reperes pour lire toutes les courbes.** `bruit de fond (politique uniforme sur le contenu) : 0.487` et `plafond glouton : <pA> -> a*8 + bonus = 3.20 | <pB> -> a*8 = 2.40`. Toute recompense de ce notebook se lit entre ces deux bornes : 0.487 = ce qu'une politique qui tire les lettres au hasard marque en moyenne (le bonus positionnel tombe rarement tout seul), 3.20 et 2.40 = le maximum atteignable en repondant systematiquement `a` a chaque position. Ecart preexistant a signaler (hors scope md-only) : la cellule d'introduction juste au-dessus ecrit qu'une politique uniforme \"marque ~0,44 en moyenne\" alors que la sortie committee imprime 0.487 — l'ordre de grandeur tient, le chiffre exact de la prose ne se retrouve pas dans la sortie. Les gains mesures plus bas (0.219 -> 0.815 par exemple) prennent leur sens contre le bruit de fond 0.487 : passer de 0.219 a 0.815, c'est traverser la ligne du hasard, pas toucher le plafond.\n"
"**Lecture chiffrée — les repères pour lire toutes les courbes.** `bruit de fond (politique uniforme sur le contenu) : 0.487` et `plafond glouton : <pA> -> a*8 + bonus = 3.20 | <pB> -> a*8 = 2.40`. Toute récompense de ce notebook se lit entre ces deux bornes : 0.487 = ce qu'une politique qui tire les lettres au hasard marque en moyenne (le bonus positionnel tombe rarement tout seul), 3.20 et 2.40 = le maximum atteignable en répondant systématiquement `a` à chaque position. Le 0.487 est une moyenne empirique sur 4 000 réponses tirées avec la graine 7, pas une espérance analytique : une nouvelle graine peut déplacer ce repère. Les deux plafonds correspondent à des prompts différents et ne sont donc pas deux scores concurrents pour une même réponse. Les gains mesurés plus bas (0.219 -> 0.815 par exemple) prennent leur sens contre le bruit de fond 0.487 : passer de 0.219 à 0.815, c'est traverser la ligne du hasard, pas toucher le plafond.\n"
]
},
{
Expand All @@ -234,9 +234,10 @@
},
"source": [
"Deux repères pour lire toutes les courbes de ce notebook : une politique uniforme sur\n",
"les lettres marque ~0,44 en moyenne (le bonus positionnel tombe rarement), et la\n",
"meilleure réponse possible vaut 3,2 (`<pA>`) / 2,4 (`<pB>`). Un policy à 0,8-0,9 a\n",
"donc déjà appris beaucoup — sans pour autant épuiser le monde."
"les lettres marque 0,487 en moyenne sur les 4 000 tirages de la cellule précédente\n",
"(le bonus positionnel tombe rarement), et la meilleure réponse possible vaut\n",
"3,2 (`<pA>`) / 2,4 (`<pB>`). Une politique à 0,8-0,9 dépasse donc le bruit\n",
"de fond — sans pour autant épuiser le monde."
]
},
{
Expand Down Expand Up @@ -1498,7 +1499,7 @@
"id": "169570d3",
"metadata": {},
"source": [
"**Lecture chiffree — les trois seeds cote a cote, et l'inversion du seed 7.** `seed 1: maison 0.212->0.688 (59s) | trl 0.212->0.742 (41s)` (GRPO devant), `seed 7: maison 0.227->0.897 (62s) | trl 0.227->0.491 (43s)` (GRPO rate son alignement : 0.491, a quatre centiemes du bruit de fond 0.487), `seed 42: maison 0.341->0.949 (56s) | trl 0.341->1.089 (41s)` (GRPO largement devant, la meilleure finale du notebook). Puis le resume : `gain maison : +0.588 ± 0.070 (temps moyen 61s)` et `écart trl-maison : -0.037 (2σ = 0.366) -> INCONCLUSIVE`. La lecture honnete : le seed 7 EST le resultat — un ecart moyen de -0.037 invisible, mais une dispersion qui fait que GRPO tantot depasse large le gain du bras maison (seed 42), tantot n'aligne pas (seed 7) ; le bras maison, lui, gagne dans les trois cas (0.688, 0.897, 0.949) avec une dispersion 2.6 fois plus petite (0.070 vs 0.183 au tableau final). Le 2σ = 0.366 englobe largement le -0.037 : aucune conclusion n'est permise, et c'est la conclusion.\n"
"**Lecture chiffree — les trois seeds cote a cote, et l'inversion du seed 7.** `seed 1: maison 0.212->0.688 (59s) | trl 0.212->0.742 (41s)` (GRPO devant), `seed 7: maison 0.227->0.897 (62s) | trl 0.227->0.491 (43s)` (GRPO rate son alignement : 0.491, a quatre milliemes du bruit de fond 0.487), `seed 42: maison 0.341->0.949 (56s) | trl 0.341->1.089 (41s)` (GRPO largement devant, la meilleure finale du notebook). Puis le resume : `gain maison : +0.588 ± 0.070 (temps moyen 61s)` et `écart trl-maison : -0.037 (2σ = 0.366) -> INCONCLUSIVE`. La lecture honnete : le seed 7 EST le resultat — un ecart moyen de -0.037 invisible, mais une dispersion qui fait que GRPO tantot depasse large le gain du bras maison (seed 42), tantot n'aligne pas (seed 7) ; le bras maison, lui, gagne dans les trois cas (0.688, 0.897, 0.949) avec une dispersion 2.6 fois plus petite (0.070 vs 0.183 au tableau final). Le 2σ = 0.366 englobe largement le -0.037 : aucune conclusion n'est permise, et c'est la conclusion.\n"
]
},
{
Expand Down
Loading