Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -45,7 +45,7 @@
"- **Shoham & Leyton-Brown**, *Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations* (Cambridge University Press, 2009), chapitre **§3.4.2 « Iterated Dominance and the Prisoner's Dilemma »**. C'est la référence pour la paramétrisation canonique du Dilemme du prisonnier `(T=5, R=3, P=1, S=0)` et la condition `2R > T + S` qui distingue un PD **strict** d'un jeu à alternance (cf. exercice 3 de Shoham-Leyton-Brown §3.4).\n",
"- **Osborne**, *An Introduction to Game Theory* (Oxford University Press, 2004), chapitre **§3.2 « Strictly Dominant Strategies »**. La dominance stricte de `D` sur `C` pour les deux joueurs — peu importe l'action de l'adversaire — établit `(D, D)` comme équilibre de Nash **unique** en stratégies pures.\n",
"- **Axelrod & Hamilton**, « The Evolution of Cooperation » (*Science*, vol. 211, n° 4489, 1981, pp. 1390-1396). Cité pour `TitForTat` (Axelrod, 1980) dans le contexte des jeux répétés. `TitForTat` n'est **pas** implémenté dans le moteur du présent notebook — il figure en exercice 1 pour situer la transparence des programmes par rapport à la littérature des stratégies itérées.\n",
"- **Critch, Dennis & Russell**, « Reflective Probabilistic Programs » (2022, [arXiv:2208.07006](https://arxiv.org/abs/2208.07006)), **§3 « Inspection games »** et **Open Problem 3** (p. 18). C'est la référence canonique pour les définitions de `DUPOC(k)` (*Do-Unto-Other-Player with Probability k of Cooperation*) et `CUPOD(k)` (*Cooperate-Unless-Player-is-Defecting*) dans le cadre de l'inspection mutuelle de programmes. **Open Problem 3** pose la conjecture sur le comportement asymptotique de `DUPOC(k)` vs `CUPOD(k)` au-delà de quelques itérations ; ce notebook l'illustre mais ne la résout pas (cf. cellule 26).\n",
"- **Critch, Dennis & Russell**, « Cooperative and uncooperative institution designs: Surprises and problems in open-source game theory » (2022, [arXiv:2208.07006](https://arxiv.org/abs/2208.07006)), **§3 « Inspection games »** et **Open Problem 3** (p. 18). C'est la référence canonique pour les définitions de `DUPOC(k)` (*Do-Unto-Other-Player with Probability k of Cooperation*) et `CUPOD(k)` (*Cooperate-Unless-Player-is-Defecting*) dans le cadre de l'inspection mutuelle de programmes. **Open Problem 3** pose la conjecture sur le comportement asymptotique de `DUPOC(k)` vs `CUPOD(k)` au-delà de quelques itérations ; ce notebook l'illustre mais ne la résout pas (cf. cellule 26).\n",
"\n",
"- **Aumann**, « Subjectivity and Correlation in Probabilistic * Strategic Settings » (1974, [pdf IJGT 1(2): 67-96](https://link.springer.com/article/10.1007/BF01755010)) et « Correlated Equilibrium as an Expression of Bayesian Rationality » (1987, *Econometrica* 55(1): 1-18). Fonde le concept d'**equilibre correle** : un mediator public communique aux joueurs des recommandations d'action tirees d'une distribution jointe ; si chaque joueur suit la recommandation *qui lui est adressee*, l'equilibre peut etre strictement meilleur que tout equilibre de Nash. La **transparence des programmes** du present notebook peut etre lue comme un mediator implicite (cf. cellule d'interpretation A ci-apres) : la lecture du source de l'adversaire *est* la recommandation, et l'inspection mutuelle joue le role du signal public.\n",
"- **Nash**, « Equilibrium Points in *N*-Person Games » (1950, *PNAS* 36(1): 48-49, [pdf](https://www.pnas.org/doi/pdf/10.1073/pnas.36.1.48)). Definit formellement l'**equilibre de Nash** en strategies mixtes pour N joueurs : le point ou aucun joueur n'augmente son gain esperer en unilateralement changer de strategie. Cellule 4 utilise cette definition pour montrer que `(D, D)` reste l'unique equilibre de Nash **en strategies pures** du PD classique `(T=5, R=3, P=1, S=0)`. La transparence des programmes (cellule 5+) sort de ce cadre : les bots ne choisissent plus une strategie mixtee sur l'ensemble des actions pures, ils *lisent le programme adverse* et conditionnent leur action au source.\n",
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -601,7 +601,7 @@
"source": [
"## 8. Causal primitives communes : Pearl, Hoel, et les mesures classiques se ramènent au même vocabulaire\n",
"\n",
"Comolatti & Hoel (2022, *Causal emergence is widespread across measures of causation*, arXiv:2202.04341) montrent que **toutes les mesures majeures de la causalité** se décomposent dans un petit jeu de **primitives causales** communes — et que ces mêmes primitives sont déjà au cœur du couple Pearl/Hoel présenté en §7. C'est le pont formel manquant entre les deux paradigmes.\n",
"Comolatti & Hoel (2022, *Causal emergence is widespread across measures of causation*, arXiv:2202.01854) montrent que **toutes les mesures majeures de la causalité** se décomposent dans un petit jeu de **primitives causales** communes — et que ces mêmes primitives sont déjà au cœur du couple Pearl/Hoel présenté en §7. C'est le pont formel manquant entre les deux paradigmes.\n",
"\n",
"### 8.1 Les deux primitives (axes orthogonaux)\n",
"\n",
Expand Down
4 changes: 2 additions & 2 deletions MyIA.AI.Notebooks/RL/rl_1c_prolog_distillation.ipynb
Original file line number Diff line number Diff line change
Expand Up @@ -43,7 +43,7 @@
"\n",
"Ce notebook est une **implémentation indépendante à visée pédagogique**, *inspirée* de :\n",
"\n",
"> E. C. Garrido-Merchan, *From Black Box to Exécutable Logic: Explainable Reinforcement Learning through Prolog Expert Systems*, arXiv:2607.15459 (v2). PDF archivé dans la bibliographie canonique privée du projet -- jamais commité dans ce dépôt public.\n",
"> E. C. Garrido-Merchan, *From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems*, arXiv:2607.15459 (v2). PDF archivé dans la bibliographie canonique privée du projet -- jamais commité dans ce dépôt public.\n",
"\n",
"Il **n'est pas** une reproduction :\n",
"\n",
Expand Down Expand Up @@ -2415,7 +2415,7 @@
"\n",
"## Références\n",
"\n",
"- E. C. Garrido-Merchan, *From Black Box to Exécutable Logic: Explainable Reinforcement Learning through Prolog Expert Systems*, arXiv:2607.15459 (v2). Implémentation indépendante inspirée de ce travail ; artefact public non localisé au moment de la rédaction.\n",
"- E. C. Garrido-Merchan, *From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems*, arXiv:2607.15459 (v2). Implémentation indépendante inspirée de ce travail ; artefact public non localisé au moment de la rédaction.\n",
"- S. Ross, G. Gordon, D. Bagnell, *A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning* (DAgger), AISTATS 2011.\n",
"- J. Schulman et al., *Proximal Policy Optimization Algorithms*, arXiv:1707.06347.\n",
"- Issue #14366 (digestion neuro-symbolique 2026, grain G4) ; notebooks [rl_1_intro_cartpole](rl_1_intro_cartpole.ipynb), [rl_1b_bitwise_logic_synthesis](rl_1b_bitwise_logic_synthesis.ipynb), [rl_6c_ppo_from_scratch](rl_6c_ppo_from_scratch.ipynb)."
Expand Down
4 changes: 2 additions & 2 deletions MyIA.AI.Notebooks/RL/rlpt_3_reward_hacking.ipynb
Original file line number Diff line number Diff line change
Expand Up @@ -1034,7 +1034,7 @@
"- **limite méthodologique assumée** : un diagramme ne permet d'affirmer que l'**absence** de buts\n",
" instrumentaux (aucun chemin ouvert vers le reward), jamais leur présence.\n",
"\n",
"**Source** : Everitt, Hutter, Kumar & Krakovna (2021), *Reward Tampering Problems and Solutions in\n",
"**Source** : Everitt, Hutter, Kumar & Krakovna (2019), *Reward Tampering Problems and Solutions in\n",
"Reinforcement Learning*, arXiv:1908.04734 — bibliothèque locale :\n",
"`G:/Mon Drive/MyIA/IA/Bibliographie IA/MachineLearning/2021 - Everitt et al - Reward Tampering Problems and Solutions in Reinforcement Learning.pdf`.\n"
]
Expand Down Expand Up @@ -1072,7 +1072,7 @@
"deux échelles.\n",
"\n",
"Références : Amodei et al. (2016) *Concrete Problems in AI Safety* ; Goodhart (1975) ; Gao et al.\n",
"(2023) *Scaling Laws for Reward Model Overoptimization* ; Everitt et al. (2021) *Reward Tampering\n",
"(2023) *Scaling Laws for Reward Model Overoptimization* ; Everitt et al. (2019) *Reward Tampering\n",
"Problems and Solutions in Reinforcement Learning* (arXiv:1908.04734, section 8 ci-dessus) ; capstone\n",
"ICT-25 (#5105, PR #11298) ; série #11297 (grain 3/4).\n"
],
Expand Down
Loading