リモートワーク。ずっと調子が悪い。モチベーションが上がらない。やっていることがつまらないという面も大きいとは思うけど、それにしたってだ。
業務外の時間もしょうもないインターネットで時間を浪費している。それ以外できない日々。
このスライドを見てから深層学習またやりたいなーという気分になってきた。NeRFとか小さいモデルじゃなくて、学習に一週間とかかかるようなモデルを回してLossの上がり下がりに一喜一憂したい。ギャンブルみたいで面白いと思う。
やる候補として、コンピュータ将棋はもうないので、巨大言語モデルを無目的に学習させるか、なにかゲームの一つを選んで強化学習回すか、みたいな感じだとは思う。巨大言語モデルの7Bモデルとかって、ギガバイトで考えると意外とそこまで大きくはないのか。いや、これをGPUメモリに乗せると考えるとすごい大きさではあるんだけど。
結局ここ1年で一番すごいって思えたものはChatGPTだしなぁ。言語モデル触ってみたいとは思うんだけど、思うだけになっている。データを外部に頼ることになってしまうのがどこまでいっても好きになれない。データを集めるということではなくて、生存していること自体がデータ収集なわけで、それで生き延びていくというものの方が素敵だ。まぁ強化学習も最近はオフラインとかオフライン気味のものが強いし、そういう理想的なものには程遠いけれど。
記憶を持ってほしいなー。本当に。Autowareについて詳しいモデルができてほしいし、僕自身についても過去の出来事をよく知っているモデルができてほしい。それはやっぱり自分で作るしかない。Open InterpreterもDockerで普通に動かせるらしいしやってみたいな。
身体が動かなくてもちょっとは前向きにやりたいことの話をしましょうという日。
