よくわかる人工知能

間引きなんて、畳込みニューラルネットワークを使って認識さえできれば、十分に実現できるはずなのに、間引きを自動化しようって言うことはこれまでほとんど考えられてこなかった。

そもそもネット企業はすでに機械学習を活用しており、広告の最適かも含めて色々やってるんですよね。そこにディープラーニングで劇的に効率化できるところは実は結構少ない。

ディープラーニングだと、やっぱりある程度、背景となる数学が分かる必要があって、理系を出て、線形代数がわかるぐらいの学力は必要です。プログラムが出来て、GPUを触るぐらいの技量が必要なので、誰でも彼でもという話にはなかなかならないんですよ。

研究者は多くの場合、やり続けることが競争力なので、トレンドを読むのは得意でない場合も多い。

画像認識のコンテストでは1300万枚のデータを学習する必要・・・グーグルの発表したコンテストのトップ５正解率96.54%のInception-V3は、1300万枚の画像を学習するのにNVIDIA社のTITAN Xを使って４９日間かかったそうです。

中身はブラックボックスでいいって人は多いですね。一見するとユーザーフレンドリーなのはTensorFlowなのは確か。

ディープラーニングの処理はどのような処理でも精度を落として計算可能だという誤解をしている方もいて、そういった誤解が生まれるのは嫌だなと思ってはいます。問題によって、単精度で計算スべきものもあれば、半精度で十分なものもあるんです。扱う問題によって変わってきます。

コンピュータ・グラフィックスの基礎理論は、光が平面に当たったときにどのくらいのエネルギーを受け取るか、ということで表されます。光がある平面に当たったときにその平面がどれくらいのエネルギーを受け取るかということについて、平面から高原に伸びるベクトルLと、平面と垂直なベクトル（法線）Nの内積によって求めます。・・・驚くべきことに、この計算の根拠は特にありません。なんとなく見た目がOKならOK、というアバウトなところが、まさしくこのコンピュータ・グラフィックスという、核もいい加減な世界なのです。

こうすれば計算を省略できる、こうすれば真面目に計算したときの1/1000の労力ですんで、なおかつ見た見た目にはほとんどバレない、これがCGという学問の真髄です。

CGが人間の認知を誤魔化そうと一生懸命研究されてきたのに対し、AIは人間の認知そのものを解明しようとする試みです。・・・この２つの学問分野は急激に接近・・・計算が非常に似ている・・・どちらも認知というものを最大限追求する学問

もともと何らか機械学習を使っていた部分に対して、単純に精度が上がるのでディープラーニングに置き換えていくところです。で、たぶん次に来るのは、対話であったり画像と言語の融合であったり、よりAIっぽい、世の中で言う人工知能のイメージに近いと思います。

特に海外勢は、ディープラーニングの研究成果を、惜しげも無く、どんどんGithubとかに公開する風潮じゃないですか。・・・おっぽうで国内だと、まだそういうことをやってる会社は非常に少なくて、特に大きい会社は、ほぼ皆無という状況なんです。・・・

諸々の権利をクリアして、堂々と出せる部類のものが、まだあんまりないというだけだと思います。

下手すると、追っかけているだけで、なんにも自分は作れないまま、インプットだけで終わっちゃうっていう怖さはありますね。

AlphaGoっていうのは、便宜上の名前であって、実際、あれは学校みたいなものなんですよ。要するにAlphaGoの中に、たくさん別々の教育を受けた人工知能があって、それがみんなで対戦して、その中で勝ったやつだけが出てきているんですよ。それが多数決で決まっていて、更に、多数決のほうが、それぞれ１個ずつが計算するよりも正しいっていうことも分かってます。

いつも面白いなと思うのは、結局、Aiって乱数から始まって、乱数で最適化していくんです。これ、もう完全に神様に任せてるのと一緒ですよ。・・・学習結果に常に従うと、そいつは、どこかで局所解に陥って、グルグル回るだけで（実質的に）死ぬんです。・・・２０％なんですけど・・・ランダムな行動を取るようにすると、局所解に行かなくなります。

心ってすべては電気信号なんですよ。・・・腹側被蓋野（ふくそくひがいや）ってところがあるんですけど、そこに刺激を与えると、目の前の人が好きになることが知られています。・・・すごく悲しいときに、そういう電気信号なんだって思えば、全然なんともないじゃないですか。

僕に信号を送っているのがホルモンなんですよね。・・・化学物質です。・・・ホルモンは視床下部で作られているんですけど、その視床下部で、なぜできるのかっていうのがまだわからない。

AI研究者ってだんだんいらなくなってるでしょ・・・膨大なハイパーパラメータ探索みたいなところの重要性が高まってきている・・・原理はよくわかんないけど、作ったら、だんだん出来てきちゃったみたいな、そういう可能性も結構あるんです。もちろん、可能性の高い研究の方向性をディレクションするためには、深い知識や理論が必要であることも忘れてはなりませんし、大量のリソースも必要です。

AIの開発はもはや誰に求めることの出来ない世界的なブーム・・・仮にある国でAIの開発が規制されたとしても、研究者が他の国に移ってしまうだけです。

齊藤元章 - Wikipedia

基本的には複雑な系の中で、人間が見いだせるパターンなんて１体１の相関関係しか無いとも言えるぐらい、単純なものがほとんどです。１対NとかN対１とかN対Nの関係性に関しては、これはもう複雑すぎて、人間では特徴量が抽出できないし、仮説が立てられません。こういった人間では立案することが不可能な仮説を、高速な人工知能エンジンがあると作り出していける。

我々の頭の中には、１０００億個もの神経細胞と、１００兆個ものシナプス結合があるんですが、最も単純なコネクトームをもつ、一番単純な地球上の生物が線虫です。たった３５０個の神経細胞と７０００個のシナプス結合なんです。でもこの線虫って・・・超早期の段階にあるガンを、わずか一滴の尿から95.8%もの精度、感度で見つけることが分かってきました。人間がこれまでに考えだしたどんな診断装置よりも、高い診断の感度と精度を持っていて、・・・我々のコネクトームには、決定的な物理的制約・・・頭蓋骨・・・1.3リットルの体積・・・この制約を取っ払ってしまって、さらに拡張できたとしたらどうなりますかね？

物質材料科学というのが、いかに人間が勘に頼って、運に頼って新物質などを見つけようとしてきたか、ってことにもつながります。こういう、人工知能エンジンを使った仮説・検証サイクルの回し方ができるようになったら、一瞬にして解決するんじゃないかなって。

wired.jp

「まず最初に、エネルギーに関する問題が解決されるでしょう。スーパーコンピューターの圧倒的な計算能力によって熱核融合や人工光合成が実現し、世界は新しいエネルギーに満ち溢れます」
より高度な遺伝子組み換え技術と人類すべての食料を補って余りある生産技術が確立し、食料問題が解決します。労働は超高効率のロボットで代替され、最終的には衣食住のすべてがフリーになります。それによって現在のような消費のシステムもなくなり、人は生きるために働く必要のない『不労』の社会を手に入れます。やがて人体のメカニズムが革新的に解明されることで、人類は『不老』をも手にすることになるでしょう。これが未来学者、レイ・カーツワイルの提唱した『特異点（シンギュラリティ）』の前に起こる、『前特異点（プレ・シンギュラリティ）』によって生じる世界です。人類はあと5〜10年もしないうちに、このプレ・シンギュラリティを迎えることになるでしょう
『科学には、基本的には人間の中のことか外のことかの2つしかない』と子どものころから父親に言われ続けてきました」。齊藤は幼少時代をそう振り返る。「『人間の外のことを研究するのに免許はいらないけれど、人間の中の探究には医師免許というパスポートが必要だ。だから医師免許を取っておいて損はない。将来医者をやるかやらないかはお前の自由だが、免許をもっておけば選択に困らないよ』と。ずっとそう言われ続けて生きてきたのです
心臓の3次元CT画像に、時間軸の変化を加えた4次元のリアルタイム画像を世界で初めて作成することに成功。1993年には、シカゴで行われた北米放射線学会でこの画像処理システムを発表し、医学界で大きな反響を呼ぶ
「君のような変わったやつは、すぐにアメリカに来て起業すべきだ」。この超高速CT装置を開発したイマトロン社の社長ダグラス・P・ボイドは、齊藤の学会発表を見るとすぐにそう声をかけた。
彼は震災を機に日本へ帰ることを決め、プロセッサー技術を開発するヴェンチャー企業PEZY Computingを立ち上げる。「PEZY」という名は、単位接頭語である「Peta（1015）」「Exa（1018）」「Zetta（1021）」「Yotta（1024）」の頭文字をとったものだ。