休日。
はてなブログに投稿しました #はてなブログ
— t (@tokumini_ss) 2021年11月27日
『Which are you?』 その２ Transformerの採用 - 水たまりhttps://t.co/iA6piXeYYI
これなかなか上手く学習できているようだったので良かった。Transformerによる時系列データの処理について、過去データをそのまま入力に入れる必要があるという点がやや引っかかってはいるんだけど、Compressive TransformerとかPerceiverとか、そういう方法でTransformer自体がメモリを持つのが真っ当な手法なのかなと納得しつつある。LSTMは流石にお役御免なのかな。
コンテスト前に考え直していたら上の実装はPositional Encodingが足りていなかった。それでもなんとかなるのか。まぁ系列長短そうだしな……。
午後はやや暇で、散歩とかしていたけど究極的には手持ち無沙汰だった。なんか少しポケモンBDSPやりたくなってきた感じもある。バトルタワーとかが結構難易度高いらしいので、上手くやれば楽しめるのかも？ バグが多いという話は印象悪いけど。
穏やかな日。
