午前中はずっと寝ていた。4連休最後でそれってなんなんだ。まぁ昨日夜更ししてしまったということなんだけど。
日記に書けないことが多くなってきている。ダメだな。もう一度人目を気にしないようにするところから始めなければ。
今やろうとしていることについて正直に書く。今はまた結局競技プログラミングAIに注力するのが良いのではないかと考えている。
- 抽象的な思考
- 自然言語要素
- 指標(正解率)の測りやすさ
あたりが良いと思える点となっている。
しかし良い題材とは思いつつ、いざやろうとするとなかなかモチベーションが上がらない。原因の一つは、今の自然言語処理の主流である「単語をトークン化して言語モデルを作る」という仕組み自体に納得できていないことかもしれない。未知単語に対する弱さというのがとても気になる。それは言語の持つ本質的な可塑性を捉えられていないのではないかと思ってしまう。そんな状態の上に競技プログラミング的思考を構築しようとしても、限度があるのではないか。
画像で言語モデルをやる(文章が書かれた画像を入力として続きを埋めた画像を補完する)研究なんか見覚えがある気がするんだけど見つけられないな。画像と言語だと画像に対してキャプションを付けるとか、GPTと同じことを自然画像に対してやってみたとか、そういうのばかり引っかかってしまう
— t (@tokumini_ss) 2021年11月23日
これも解決策として良さそうかどうかはわからないけど……。
結局やれることが上手く現実に結びついてこない。仕方がないのでちょっとサーベイ寄りに力を入れることにして、今日は論文探しを中心にやっていた。とりあえず今週中には一本記事を出したい。
その他
うぉー、刊行ペース良いぞ。というかタイトルもそれっぽいので、とうとうメインの話に進展が来るのだろうか。期待です。リンク貼るためにamazonのページ開いたけどできるだけあらすじとかも目に入れないように気をつけていたので予約日はわからず。まぁいつも通り紀伊国屋の方で買うので、最速かはわからないけど12/15配信開始予定ということで。水曜日か。上手く時間を調節したい。