午前中は趣味プログラミング。LSTM系に可能性を感じてはいるが、しかし重かったりメモリ使用量が多かったりという欠点は厳しいな。
しかし以下の結果は面白かった。
前からちょっと試してみたかったことなんだけど、LSTMの各forward前にセルと隠れ状態のリセットをしなくてもシンボル記憶タスクでは大して差はなかった。データセット内で系列長が全て同じだからかな pic.twitter.com/kJ2UhpfBUH
— t (@tokumini_ss) 2021年7月31日
リセットを入れていないということは、つまり一応学習開始から全ての学習がモデルに影響していると見なせるわけで、これの超巨大モデルだと通時的に一貫性のあるモデルとして個人的には納得できる。
(モデルの容量とかはともかく)理論上は過去の体験全てに繋がっているモデルには、(いくらかの)意識があると見なす立場があってもおかしくはない。その場合、学習を終了してモデルを破棄することになんらかの倫理的な問題が指摘され得るということくらいまでは考えている。遠い将来において、僕が過去の倫理的悪行で摘発されるとしたら、一つにはこういうところで引っかかるのではないかという恐れがある。
一から十まで気休めでしかないとしても、ただの現実逃避でしかないとしても、希望を感じられる技術に触っていないと精神が押しつぶされてしまう。落ち着いて、落ち着いて生きたい。
