My lab is building neural nets that emulate human “thinking” processes. They increase their intelligence after training by increasing their compute budget. By doing so, a net trained only on “easy” chess puzzles can solve “hard” chess puzzles without having ever seen one… pic.twitter.com/Wh197CzXkC
— Tom Goldstein (@tomgoldsteincs) 2021年7月9日
僕はこういうことをやりたかったはずなんだというのを、論文として提示されてようやく理解するという感じのものだった。うーん、修士論文はこうしてみると悔やまれるな。これくらいスマートにやりたいことへ手法を擦り寄せるべきだった。
深層学習がもう一歩先に行くために、僕は再帰性が重要だと思っており、ResNetはそれを特殊な方法で実現しているに過ぎないという立場ではある。Transformer系も結局はスキップ接続を多様しているわけだし、そのあたり実は再帰性で十分だった、という話が見つかってもおかしくはない。
でもこの再帰性ではまだ局面を超えた評価の伝播が全部できているというわけではない。よく将棋ソフトは局面を点で考えるなどということが言われていて、それはメリットでもデメリットでもあるとは思うが、できる上であえてしないのと機構的に根本的にできないのでは話が違う。
そんな方に興味が向かってしまったので、コンテストはD問題まで解いて、E,F問題を眺めてあー解けなさそうと思って調べごとに移る感じに。E問題、後退解析ってそんな計算量でできるんだ。知らなかった。
自分が強くなることに対してもうあまり興味が持てない。自分が強くなったところでたかが知れているし、もし人類で一番強くなれたところで、人類レベルでしかないという気持ちもある。汎用的なアルゴリズム能力としては、もう払う労力に対して伸びが小さそうだしなぁ。
研究的な開発がやっぱり面白いとは思うけど、自分はやっぱり最終的な発表を論文としてモチベーションをあ高めていくことはできなさそう。実際のチェスなり将棋のソフトとして組み込んでどうなの？ というところに疑問は残ってしまうし、やはりそこをやっていくしか……。
