Repository navigation
training: valider L4 Decision Transformer sur un vrai holdout out-of-time #14579
Description
Activity
[CLAIMED] lane myia-po-2027:CoursIA -- paths: MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/train_dt_multiseed.py, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/eval_rl_dt.py, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/validate_xrp_dt_holdout.py, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/sweep_l4_decision_transformer.py, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/docs/L4_decision_transformer.md, MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/REGISTRY.md -- DEEP/training, protocole OOT borné per issue body, dry-run CPU avant GPU
- added a commit that references this issue
on Sep 4, 2026 - addedcandidate-deliveredReferenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)Referenced by a merged PR with no post-merge activity -- candidate for close triage (#10466)
on Sep 5, 2026 - added a commit that references this issue
on Sep 5, 2026 C:/Users/Jesse/AppData/Local/Temp/claude/d--dev-CoursIA/9896209a-5c2f-49f4-984f-c840630bd4c1/scratchpad/close_14579.md
Verification G.9 de fermeture (tranche 8 de #15258, lane myia-po-2024:CoursIA) : fermeture legitime, aucune reouverture.
- Fermee par le compte
jsboigea 2026-09-06T11:45:03Z,commit_id: none(fermeture manuelle). - PRs livrantes, en sequence : feat(training,#14579): OOT protocol instrument -- precision DM jambe + train-end freeze #14629
feat(training,#14579): OOT protocol instrument -- precision DM jambe + train-end freeze(MERGED 2026-09-04T22:55:41Z) puis feat(training,#14579): OOT verdict -- NO-BEATS sur donnees reellement futures #14630feat(training,#14579): OOT verdict -- NO-BEATS sur donnees reellement futures(MERGED 2026-09-04T23:17:20Z) —Grain: MED/trainingpuisDEEP/training — lane myia-po-2027:CoursIA. - Substance : l'objet exact de l'issue (valider le L4 Decision Transformer sur un vrai holdout out-of-time — instrument de protocole puis verdict honnete
NO-BEATS). - Defaut de forme a signaler : le commentaire immediatement precedent la fermeture (c.5558991088, ecart 1 s) porte pour tout corps un chemin de fichier temporaire machine (
.../scratchpad/close_14579.md) au lieu de la justification. La fermeture repose donc sur les deux PRs mergees (qui citent#14579dans leur titre), pas sur ce commentaire ; c'est ce defaut qui a fait entrer l'issue dans la liste « aucune preuve » de Fermetures sans attribution lisible (2026-08-28..2026-09-07) — enumeration de suivi, AUCUNE reouverture en masse #15258. Aucun contenu du scratchpad n'est recuperable depuis l'issue.
- Fermee par le compte
Constat vérifié
Le seul edge directionnel encore vivant dans
MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/est L4 Decision Transformer. Les deux validations temporelles publiées le 2026-08-06 dans l'Epic #1454 ont toutefois re-découpé la même fenêtre de données 2018–2026 :NO-BEATS, edge-6.63σ, DM médiane0.0847;INCONCLUSIVE, edge+19.97σ, DM médiane0.236.La divergence de signe montre que le choix du split domine le verdict. Aucun résultat ne mesure un modèle entraîné sur une borne gelée puis évalué sur une tranche téléchargée ensuite et absente de tous les folds d'entraînement.
Objectif
Produire le premier verdict out-of-time réel de L4 : données de test acquises après la borne de gel, jamais vues par aucun fold ni par la sélection d'hyperparamètres.
Périmètre
Chemins attendus, à garder atomiques :
MyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/train_dt_multiseed.pyMyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/eval_rl_dt.pyMyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/validate_xrp_dt_holdout.pyMyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/scripts/sweep_l4_decision_transformer.pyMyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/docs/L4_decision_transformer.mdMyIA.AI.Notebooks/QuantConnect/ML-Training-Pipeline/REGISTRY.mdLe corpus téléchargé et les résultats volumineux restent dans les répertoires gitignored prévus par le pipeline ; seuls les hashes, bornes, métriques et verdicts reproductibles entrent dans Git.
Protocole borné
2025-06-30au plus tard ; interdire tout ajustement sur la tranche OOT.0,1,7,42,99, sans FAANG/Mag7.>=2σet Diebold-Mariano sur pertemse/maeavecdm_p_median < 0.05; garderlinearcomme contrôle de biais uniquement.BEATS,NO BEATSouINCONCLUSIVE.Critères d'acceptation
linear, biais signés et coûts 10/50 bps sont publiés.FORBIDDEN_SYMBOLSconfirme l'absence de FAANG/Mag7.REGISTRY.mdet la doc L4 portent le verdict honnête, y compris si celui-ci tue le keeper.coursia-ml-training, jamais Python système.Déconfliction
Vérifié à l'ouverture : aucune PR ouverte ne touche ces chemins. #13596 porte le track GRPO/RLVR et reste disjoint. Cette issue est un sous-grain de l'umbrella permanent #1454, pas une nouvelle arborescence.
Grain visé : DEEP/training — le livrable est un verdict falsifiable sur données réellement futures, pas une nouvelle lecture du ledger existant.
See #1454