家から一歩も出ないいつも通りの休日。食料とかが減っている傾向にあるので多少外出する必要はありそうだけど。
ようやく新シーズンのApexに手を付けて、やっぱりプラウラーがとても強いと感じる。というわけでスナイパー&サブマシンガン構成を基本にやって、スナイパーの楽しさをちょっと思い出すなど。しかし長時間ゲームをやるとフラフラしてくるな。
マラソンマッチは問題がさっぱりわからず解けなかった。まぁ考えたのが数十分くらいなので、結局モチベーションの低さの方が問題なわけだけど。
Vision TransformerとかGAP使ってないんだっけって思ったけど、あれはパッチの先頭に特殊なトークンを入れて、最後はそこに対応する部分をMLPに突っ込んでいるんだったか。
— t (@tokumini_ss) 2021年8月7日
つまりViTも、入力と共に内部状態を変換しているようなものの一種っぽいな。
最近、あるいは今後のニューラルネットワークの流行はまたRNN的というか、入力そのものではなく内部状態を変化させていくというものになるという謎の確信があるわけだけど、ViTもこの一部として解釈できるというのが個人的には発見だった。この先になら、もしかしたら汎用人工知能があるかもしれないとは思うことができる。
まぁいずれにしても巨大データ、巨大モデルで学習させることが正義ではあるんだろうな。そうなると個人レベルのものでは難しいわけだが……。
