今日はいろいろやることがあるのでやろうと思っていたけど、いざ外出して機械の前に立ってみると先に申請しておかないといけないことがあるとのことで一つしか手順が進まなかった。あと4手順とかあるのか？ まぁ少しずつかね。
急に時間ができたので強化学習の勉強をしていた。適格度トレースの等価性、なんか調べても全然出てくる感じがしないのはなんでだろう。Sutton&Barto本でもあまりよくわからなかった。LLMに助けられながらなんとか導出できたけど、合っている自信なし。教師あり学習と組み合わせてどうなるかとか、Adamとかを使いたくなったらどうなるかとか、そういうのもわからん。
実装も進んで、少しずつオンライン強化学習ができるかもしれない雰囲気が出てきた。これで良いものができるようになるまではまた遠いのだろうけど。
休暇中でもSlackは高頻度で見ているのであまり休まっている気がしない。退職した人のブログで、完全にSlackからログアウトしたときの解放感が語られているものが最近あった。それはまぁあるかもねぇ。
