リモートワーク。地道な作業を進めていく。本当はもっとアルゴリズムとか数理最適化やっていきたい気持ちはあるが、自分で実装したものが結局質が悪くてRevertされそうなこととかも考えるとなかなか難しい。実装面えでゃちょっと良いアイデアが思い浮かんだかもしれなくて、コードが上手く整理できるか。複雑な知識を使って、自分にだけわかりやすくなっても仕方ないとは思いつつ。
久しぶりに昼に散歩した。若干目が痒くなる感じはあったけど、花粉よりももう暑さだな。快適に過ごせる日は少ないねぇ。
現実世界で動くロボットではIn-Context Learningみたいな要素はあった方がいろいろ楽になると思うし、そのコンテキスト長はすごく長いものになるのではないかと思っている。だからTransformerではなくて、RNNなり状態空間モデルベースのものが必要になる。これはもちろん強い根拠があるわけじゃなく、Tranformerの高速化とか改良で十分な系列長まで見れるようになるのかもしれない。でも自分が賭けるならSSMかな。
もうちょっとMambaは追いかけて良い、と思っていたが今日は業務後はダラダラしていた。
人生のしょうもなさがようやくハッキリとわかってきて日々驚きに溢れている。
