Learn or Die 死ぬ気で学べ プリファードネットワークスの挑戦

  • それまでの私は、どちらかというと、うまく取り繕って、そつなくやるのが良いと思っていた。だが、それでは面白くない。もっとパッションに忠実になりたかった。
  • 自分が「面白い」と思えることに、もっと敏感になるべきだと考えた。人生は有限だ。「面白い」と思えることにフォーカスしないと、最大の成果は出せない。考え方がガラッと変わったような気がする。それまでは組織が安定して、皆が互いにいがみ合うことなく、そこそこ楽しければいいよねと思っていた。今考えると保守的だった。
  • あるとき、ソニーからPFIに参加してくれた長谷川から「西川さんって全然怒らないよね。優しいよね」と言われた。それは良いことなのだろうか。要は「つまんない」ということなのかもしれない。そう思った。

 

  • 自分たちはエキサイティングな仕事ができているだろうか。多分、できていない。一見、それなりに働きやすい環境だったのかもしれない。だけど明らかにモチベーションが低くなっている人もいた。「何となく楽しくない」、そんな感じ
    の部分が、どんどんどんどん増えてしまったんだろうなと思った。
  • それよりも、もっと中長期的に成し遂げたいことをちゃんと作ろう。それを発信していかないと面白くない。結果的に誰もついてこなくなる。そう思い始めた。
  • 同時に、自分自身も変えないといけない、と考えた。そもそも自分が会社を作ったときには、コンピュータで何をやりたかったのか。マイクロソフトみたいな会社を作りたかったはずだったんじゃないか? そうすると、今のままでいいのか……。様々な思いが蓄積していた。

 

  • 岡野原とは、一度だけ、深層学習にシフトするのかどうするのかというところで揉めた。岡野原はニューラルネットワークではない機械学習技術の専門家でもある。だから彼としては、今までの蓄積を捨てて深層学習に行くのはリスクが大きいからやめたほうがいいのではないか、と考えたわけだ。
  • 私は「それもわかるが、つまらないから嫌だ」と言った。「面白いことをやらないなら生きている意味がない」とまで言って、無理やり説得した。最終的には「そこまでの覚悟があるんだったら」ということで、それまでの蓄積はいったん全部捨てて、深層学習に完全シフトすることになった。
  • 結果的には、判断は正しかった。今では、深層学習以前の機械学習でできたことは、だいたいカバーできるようになっているし、従来の機械学習が抱えていた多くの課題を解決できるようになっているからだ。だが、当時は正しいかどうか、全くわからなかった。確証はなかった。だが、岡野原だったら、私が「やりたい」と言ったら最後は絶対に「うん」と言ってくれるだろうな、という思いはあった。

 

  • モチベーションを持つことで、様々な創意工夫が可能だし、顧客が考える以上の成果も出せるはずだ。そもそも創意工夫自体がとても楽しい。熱中して夢中になれるのであれば仕事していても楽しいし、学びも多い。会社はそういう高いモチベーションを持てる環境を作ることを目指している。
  • 仕事の難易度を難しすぎず簡単すぎない程度にすることも重要だ。簡単すぎる「コンフォートゾーン」と、難しすぎる「パニックゾーン」の間に、薄い「ラーニングゾーン」がある。「ラーニングゾーン」は、今よりもちょっと背伸びすればできるタスクだ。ここが一番楽しい。簡単すぎると飽きてしまうし、つまらない。逆に難しすぎて、どう工夫してもなんともならない場合も、それはそれでモチベーションがなくなってしまう。だから難易度としては適度に難しい領域が必要になる。
  • 世の中の問題は、問題設定の仕方次第で難易度が変えられる。研究においても、今の技術だと天才がどう頑張っても100年早いという場合もある。一方、あとちょっと頑張れば3年や5年程度で解けるレベルの問題もある。その見極めが非常に重要だ。

 

  • 「分業しない」ことについては徹底している。多くの研究論文はその結論で「この技術は○○の分野に有用だろう」と結んでいる。だが著者自身、この技術が必要な分野の人に読まれて実用化されることをどれだけ真剣に考えているだろうか。イノベーションは、技術のタネが実際にニーズを持っている人に何らかのかたちで伝わることで初めて実現する。

 

  • ニューラルネットワークにおける学習とは、ネットワークの中のパラメータを調整して、ニューラルネットワーク全体の働き方、つまり、ある入力を与えたら何を出力するのかを微調整することだ。
  • この調整で使われる「確率的勾配降下法」は、完璧にうまく調整するのではなく、ちょっとした間違いが発生して、間違い(ノイズ) を含んだ上でアップデートを行う。わざとノイズを加えてアップデートするのは、もともとは工学的な制約に過ぎず、問題を解くのにはむしろ悪影響があるとされていた。だが、実はその「適当なノイズ」が、汎化を達成するために重要な役割を果たしていることがわかってきたのだ。
  • つまり、工学的に理詰めで作っていったのではない。たまたまうまくいくということが実験的・発見的にわかり、後から説明を探しているのだ。説明が見つかるまでは「たまたまうまくいったのだろう」と思われていたことが、後々になって理論的な裏付けが可能になるということが続いている。深層学習には、そういう事例が多い。