Continue rapport

bib.yaml

···
     - Radford, Alec
     - Klimov, Oleg
   date: 2017
-  url: https://arxiv.org/abs/1707.06347
+  url: 
+    value: https://arxiv.org/abs/1707.06347
+    date: 2025-10-10
   serial-number:
     arxiv: '1707.06347'
 
···
   serial-number:
     doi: 10.1007/978-981-19-7784-8
 
+maxq:
+  type: article
+  title: Hierarchical Reinforcement Learning with the {MAXQ} Value Function Decomposition
+  author: Dietterich, Thomas G.
+  date: 1999
+  url:
+    value: https://arxiv.org/abs/cs/9905014
+    date: 2002
+  parent:
+    type: periodical
+    title: CoRR
+maxq-discount:
+  type: article
+  title: 'How to Discount Deep Reinforcement Learning: Towards New Dynamic Strategies'
+  author:
+    - François-Lavet, Vincent
+    - Fonteneau, Raphaël
+    - Ernst, Damien
+  date: 2015
+  url:
+    value: http://arxiv.org/abs/1512.02011
+    date: '2025-10-13'
+  serial-number:
+    arxiv: '1512.02011'
+  parent:
+    type: periodical
+    title: CoRR
+
+qlearning-etymology:
+  type: article
+  title: Demystifying deep reinforcement learning
+  author: Tambet Matiisen
+  publisher: Computational Neuroscience Research Group at University of Tartu
+  date: 2015-12-19
+  url:
+    value: https://web.archive.org/web/20180407053740/http://neuro.cs.ut.ee/demystifying-deep-reinforcement-learning/
+    date: 2025-10-13

cite-bibtex.fish

···
 
 	echo Adding $id
 
+	set now (date --iso-8601)
+
 	echo "$contents" \
 		| hayagriva --format bibtex /dev/stdin \
-		| yq -Y "with_entries(.key = \"$id\")" \
+		| yq -y "with_entries(.key = \"$id\")" \
+		| yq -y ".[\"$id\"].url = { value: .[\"$id\"].url, date: \"$now\" }" \
 		>> bib.yaml
 
 

rapport/context.typ

···
 
 ==== _Q-learning_
 
-La récompense associée à un état et une action, appelée $Q$ ici pour "quality" #refneeded, est mise à jour ainsi:
+La récompense associée à un état $S_t$ et une action $A_t$, appelée $Q(S_t, A_t)$ ici pour "quality" @qlearning-etymology, est mise à jour ainsi @maxq:
 
 $
-Q(S_t, A_t) <- (1 - alpha) underbrace(Q(S_t, A_t), "valeur actuelle") + alpha ( underbrace(R_(t+1), "récompense") + gamma underbrace(max_a Q(S_(t+1), a), "récompense de la meilleure\naction pour l'état suivant") )
+Q(S_t, A_t) <- (1 - alpha) underbrace(Q(S_t, A_t), "valeur actuelle") + alpha ( underbrace(R_(t+1), "récompense\npour cette action") + gamma underbrace(max_a Q(S_(t+1), a), "récompense de la meilleure\naction pour l'état suivant") )
 $
+
+L'expression comporte deux hyperparamètres:
+
+/ Learning rate $alpha$: contrôle à quel point l'on favorise l'évolution de $Q$ ou pas. // Il est commun de progressivement baisser $alpha$, ce qui donne lieu à des phases plus "exploratives" ($alpha$ élevé, exploration de nouvelles actions) ou "exploitative" ($alpha$ faible, exploitation des récompenses connues) #refneeded
+/ Discount factor $gamma$: contrôle l'importance que l'on donne aux récompenses futures. Il est utile de commencer avec une valeur faible puis l'augmenter avec le temps @maxq-discount.
+
+
 
 ==== _Trust Region Policy Optimization_