「神経回路網の数理」を読み進めた。入力された信号のパターンが具体的にどうなるのか、の話題が出てきた。まさに気になっていたところなので面白かった。

01の列で表される入力パターンをランダム神経回路網に入力したとする。当然の話なのだが、似たパターンを入力すれば出力は似るし、似てないパターンを入力すればあまり似てない出力が出る。で、問題はここから。

2つの入力パターン$x_1, x_2$があって、その内信号の異なる箇所の数を距離$d(x_1, x_2)$とする。要するにn次元のマンハッタン距離として定義しておく。これがランダム回路網を通すとどう変化するかというと、(ランダムなので期待値としてという話だが)なんと距離がフワッと離れる。何重も通せば、最終的にどんな入力でも大体均等な距離になる。この作用によって「信号パターンの分離度が高まる」のだという。

シンプルな数理モデルからまあまあそれっぽい結論が出てくるので面白い。しかし、入出力ともに次元が同じなら、ある信号パターンがある信号パターンから離れるということは別の信号パターンに近づいてしまいそうな気がするのだが、それはいいのだろうか。実際に入力される信号パターンの数は入力しうる全ての信号パターンのパターン数に比べれば小さいからOKみたいな論理だろうか？

---

修理に出していたPCが戻ってきた。やったー。