Skip to content

fix(notebook-python,#18053): ordre code/interpretation, tranche RL #18109

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
myia-ai-01 merged 1 commit into from
Sep 28, 2026
Merged

fix(notebook-python,#18053): ordre code/interpretation, tranche RL #18109

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
51 changes: 18 additions & 33 deletions MyIA.AI.Notebooks/RL/rl_16_dream_rsi.ipynb
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -657,38 +657,6 @@
"**Lecture chiffree — la trajectoire online en trois lignes.** `online 0 : FixedRefinement(eps=0.0, K=4) → 23.0409`, `online 1 : EpsilonGreedy(eps=0.0, K=8) → 24.0000`, `online 2 : EpsilonGreedy(eps=0.0, K=8) → 23.9515`. Le 24.0000 est la **saturation exacte** du scorer calculee en tete de notebook : 120 paires x 0.2, aucune penalite — le meilleur score possible. Et le 23.9515 qui suit est l'enseignement le plus honnete du jouet : le reve avait choisi la politique sur son score replay, l'execution online re-desobeit legerement (24.00 -> 23.95). La garantie d'incumbent protege le classement du reve, pas la performance future — la limite que le point 1 de la section 8 ecrira noir sur blanc.\n"
]
},
{
"cell_type": "markdown",
"id": "11c077ef",
"metadata": {
"papermill": {
"duration": 0.00497,
"end_time": "2026-09-16T14:37:30.062529+00:00",
"exception": false,
"start_time": "2026-09-16T14:37:30.057559+00:00",
"status": "completed"
},
"tags": []
},
"source": [
"### Lecture du résultat (les chiffres ci-dessus sont ceux de l'exécution)\n",
"\n",
"Deux enseignements, lisibles directement dans la sortie :\n",
"\n",
"1. **Itération 1** : le rêve garde l'élitisme (ε = 0) mais passe de la largeur 4 à la\n",
" largeur 8. Sur le pool enregistré, les lectures élitistes étroite et large **égalent\n",
" en qualité** (22.7717) — c'est le terme de parallélisme $\\beta_2$ de l'Eq. 1 qui\n",
" tranche. En ligne, le gain est réel : 23.04 → 24.00, soit la **saturation exacte**\n",
" du scorer (120 paires × 2R = 24.0). La boucle a découvert, sans toucher à l'agent,\n",
" que doubler la largeur à budget égal atteint l'optimum.\n",
"2. **Itération 2** : rien ne bat l'incumbent au replay — le rêve **le garde**, et la\n",
" session en ligne retombe pourtant légèrement (24.00 → 23.95). C'est la limite la\n",
" plus importante du mécanisme, et elle est structurelle : la garantie de\n",
" non-régression porte sur le **score replay** (historique figé), pas sur le tirage\n",
" aléatoire de la prochaine session en ligne. La section Limites (§8) ci-dessous y\n",
" revient — ici, le jouet la fait voir vivre."
]
},
{
"cell_type": "code",
"execution_count": 8,
Expand Down Expand Up @@ -745,7 +713,24 @@
"id": "b2a3cccf",
"metadata": {},
"source": [
"**Lecture chiffree — la non-regression, vue sur les ties.** Les deux lignes verifient la garantie pas a pas : `itération 1 : choisi EpsilonGreedy — replay 22.7717 vs incumbent 22.7717 → non-régression VRAIE`, puis iteration 2 a `23.9677 vs 23.9677`. Les scores replay sont EGAUX dans les deux cas — la non-regression est un >=, pas un >. Alors qui tranche ? A iteration 1, la qualite replay egale (22.7717) mais les largeurs different : K = 8 vaut +0.5 contre +0.25 pour K = 4 dans le terme de parallelisme — c'est bien ce terme de l'Eq. 1 qui designe la politique large, exactement la bascule que la lecture ci-dessus annoncait. A iteration 2, l'incumbent est lui-meme le meilleur du classement : le garde-fou ne fait que le confirmer.\n"
"### Lecture du résultat (les chiffres ci-dessus sont ceux de l'exécution)\n",
"\n",
"Deux enseignements, lisibles directement dans la sortie :\n",
"\n",
"1. **Itération 1** : le rêve garde l'élitisme (ε = 0) mais passe de la largeur 4 à la\n",
" largeur 8. Sur le pool enregistré, les lectures élitistes étroite et large **égalent\n",
" en qualité** (22.7717) — c'est le terme de parallélisme $\\beta_2$ de l'Eq. 1 qui\n",
" tranche. En ligne, le gain est réel : 23.04 → 24.00, soit la **saturation exacte**\n",
" du scorer (120 paires × 2R = 24.0). La boucle a découvert, sans toucher à l'agent,\n",
" que doubler la largeur à budget égal atteint l'optimum.\n",
"2. **Itération 2** : rien ne bat l'incumbent au replay — le rêve **le garde**, et la\n",
" session en ligne retombe pourtant légèrement (24.00 → 23.95). C'est la limite la\n",
" plus importante du mécanisme, et elle est structurelle : la garantie de\n",
" non-régression porte sur le **score replay** (historique figé), pas sur le tirage\n",
" aléatoire de la prochaine session en ligne. La section Limites (§8) ci-dessous y\n",
" revient — ici, le jouet la fait voir vivre.\n",
"\n",
"**Lecture chiffree — la non-regression, vue sur les ties.** Les deux lignes verifient la garantie pas a pas : `itération 1 : choisi EpsilonGreedy — replay 22.7717 vs incumbent 22.7717 → non-régression VRAIE`, puis iteration 2 a `23.9677 vs 23.9677`. Les scores replay sont EGAUX dans les deux cas — la non-regression est un >=, pas un >. Alors qui tranche ? A iteration 1, la qualite replay egale (22.7717) mais les largeurs different : K = 8 vaut +0.5 contre +0.25 pour K = 4 dans le terme de parallelisme — c'est bien ce terme de l'Eq. 1 qui designe la politique large, exactement la bascule qu'annoncait le point 1 ci-dessus. A iteration 2, l'incumbent est lui-meme le meilleur du classement : le garde-fou ne fait que le confirmer.\n"
]
},
{
Expand Down
Loading