人工知能は人間を超えるかディープラーニングの先にあるもの

2002年当時、・・・ネットの広告技術の研究なんて、未だ誰もやっていなかったので、私は自分の提案に自信を持っていた。・・・面接の会場で・・・先生方から言われた言葉・・・「広告なんてくだらないものをやるな」「言葉のネットワークが簡単にできますなどと言うな」「あなた達人工知能研究者は、いつもそうやってウソを付くんだ」案の定、その提案は落選した。今考えてみても、検索エンジンと広告モデルが当たり前になった今の時代を先取りする研究であり、悪い提案ではなかったはずだが、当時はひどい目にあった。

人工知能には・・・１９５６年から１９６０年代が第一次ブーム。１９８０年代が第２次ブーム。・・・世間が技術の可能性と限界を理解せず、ただ闇雲に賞賛することはとても怖い。

うまくいけば、人工知能は急速に進展する。なぜなら「ディープラーニング」、あるいは「特徴表現学習」という領域が開拓されたからだ。・・・基本的には、決められた処理を決められたように行うことしか出来ず、「学習」と呼ばれる技術も、決められた範囲内で適切な値を見つけ出すだけだ。例外に弱く、汎用性や柔軟性がない。・・・上限値と期待値とを分けて理解して欲しいのである。・・・人工知能は、急速に発展するかもしれないが、そうならないかもしれない。少なくとも、今の人工知能は実力より期待感のほうがはるかに大きくなっている。

セルゲイ・ブリン「Googleにふさわしいプロジェクトには、大小の差はあれども、社会をより良く変えようという志がある。例えば、最近もっとも注目を集めた完全自動運転カーは、自動運転カーの開発を超えて、車は所有するものという常識を覆そうとしている。移動が必要な時にマイカーを使うのではなく、完全自動運転カーを呼んで目的地に乗っていく。サービスとして車を使う。そんな社会に変えることで、市街地の渋滞が緩和され、今は駐車場が30%-50%を占める市街地のスペースを有効に使用できるようになる。」

機械学習 - Wikipedia

高頻度取引 - Wikipedia

UBICは、訴訟時のドキュメントレビュー（証拠閲覧）支援に人工知能を用いている。

ビル・ゲイツが「人工知能の未来を予言しうる最高の人物」と評したレイ・カーツワイル（67歳）。彼は2012年にグーグルにヘッドハントされる形で雇われた。カーツワイルは、英ガーディアン紙のインタビューでこう語っている。「グーグルとの雇用契約には私の役割はたったの1行しか書かれていません。『グーグルが自然言語を理解するのを助ける』
13年3月。グーグルはディープラーニングを研究開発するカナダ・トロント大学のジェフリー・ヒントン教授が立ち上げたDNNリサーチ社を買収。さらに14年には、人工知能の会社を立て続けに買収し、より一層の注目を集めた。まず1月に人工知能研究の最先端を走るデミス・ハサビス（38歳）が創業した英ディープマインド社を、フェイスブックに競り勝ち推定4億ポンド（730億円）で買収。
同年10月には、グーグルは、オックスフォード大学の研究者たちが創業したダーク・ブルー・ラブス社と、ビジョンファクトリー社を買収。ダーク・ブルー・ラブス社は自然言語理解の分野で、ビジョンファクトリー社は視覚認識の分野で、共に最先端を行く。両社合わせて7名の著名な研究者を抱えるが、このうち3名はオックスフォード大学の現職の教授であり、グーグルに買収された後もオックスフォード大学で教え続けるという。
グーグルのラリー・ペイジCEOは、デミス・ハサビスと会って「君はグーグルに加わることで、グーグルの持つ豊富な経営資源（リソース）を利用できる。それは何も資金だけでない。すでにグーグルにいる人材や彼らの研究も含まれる」と説得

フェイスブックも、「深層学習（Deep Learning）」というAIの新分野をヒントン氏とともに開拓したヤン・ルカンを迎え入れ、人工知能研究ラボを創設。

同社の基礎研究所Google Xで最先端のAI（人工知能）技術「ディープラーニング」を開発してきたスタンフォード大学准教授のアンドリュー・エン（Andrew Ng）氏がグーグルと袂を分かった。「中国のグーグル」とも呼ばれる「百度（Baidu）」がシリコンバレーに新設した、AI研究所の初代所長に就任するためだ。
7月には、同じくGoogle Xで「Google Glass」等を開発してきたババク・パービズ（Babak Parviz）氏がアマゾンに移籍した。さらに9月に入ると、Google Xの副社長ミーガン・スミス（Megan Smith）氏がグーグルを退社して、オバマ政権の最高技術責任者に就任した。
9月、Google Xで自動運転車の開発プロジェクトを指揮してきたセバスチャン・スラン（Sebastian Thrun）氏もグーグルを離れ、自ら創立したMOOC（オンライン大学）「Udacity」の経営に専念することになった。
10月、グーグルで次世代ロボットの開発プロジェクトを指揮してきたアンディ・ルービン（Andy Rubin）氏が退社。今後は、ロボットなど先進ハードウェアを開発する新興企業のインキュベーターを設立する見通しだ。

AI研究者の層の厚みと、地理的な集約密度の高さ、若い人材の参加などで、日本のAIを盛り上げていきたい。ドワンゴの人工知能研究所がそのための起爆剤になればと考えています。

映画

トランセンデンス [Blu-ray]

出版社/メーカー: ポニーキャニオン
発売日: 2014/12/02
メディア: Blu-ray
この商品を含むブログ (6件) を見る

her/世界でひとつの彼女ブルーレイ&DVDセット(初回限定生産/2枚組) [Blu-ray]

イミテーション・ゲーム／エニグマと天才数学者の秘密コレクターズ・エディション[初回限定生産]アウタースリーブ付 [Blu-ray]

出版社/メーカー: ギャガ
発売日: 2015/10/02
メディア: Blu-ray
この商品を含むブログ (16件) を見る

人工知能が自分より賢い人工知能を作り始めた瞬間こそ、すべてが変わる「特異点（シンギュラリティ：技術的特異点）」なのである。実業家のレイ・カーツワイル氏は、その技術的特異点が、なんと２０４５年という近未来であると主張している。

「完全な人工知能を開発できたら、それは人類の終焉を意味するかもしれない」スティーブン・ホーキング
「人工知能にはかなり慎重に取り組む必要がある。結果的に悪魔を呼び出していることになるからだ」イーロン・マスク
「私も人工知能に懸念を抱く側にいる一人だ」ビル・ゲイツ

人工知能研究者の多くは、知能を「構成論的」に解明するために研究をしている。構成論的というとちょっと難しいが、「作ることに寄って理解する」という意味である。それに対応する言葉は、「分析的」である。人工知能研究社が、知能を構成論的に理解したいと望んでいるのに対し、脳を研究する脳科学者は、分析的なアプローチで知能を解明しようとしている。・・・要するに、構成論的アプローチとは、「つくってなんぼ」というアプローチなのだ。

人工知能研究者は、長い間、知能を実現するという夢を持って研究しながら、それがずっと実現できない人達なのだ。悲しい現実をずっと背負ってきたせいか、人工知能研究者は、明るく、楽観的で、権威や形式を嫌い、知的な刺激を愛する。人工知能学会という学者のコミュニティは、日本一リベラルな学会ではないかと思うほどである。人工知能学会の元会長で北陸先端科学技術大学院大学の溝口理一郎氏は「永遠の青年学会」とよんだが、それほどフロンティア性の高い領域なのである。

「音声認識」「文字認識」「自然言語処理」「ゲーム（将棋や囲碁）」「検索エンジン」などは、すでに現実社会に大きなインパクト・・・これらはかつて人工知能と呼ばれていたが、実用化され、一つの分野を構成すると、人工知能と呼ばれなくなる。これは「AI効果」と呼ばれる興味深い現象だ。多くの人は、その原理がわかってしまうと、「これは知能ではない」と思うのである。

世の中で人工知能と呼ばれるものを整理すると、次のようなレベル１からレベル４の４段階に分けることが出来そうである。

マーケティング的に「人工知能」「AI」と名乗っているのもであり、ごく単純な制御プログラムを搭載しているだけの家電製品に「人工知能搭載」などと謳っているケースが該当する。・・・こういった技術は、「制御工学」や「システム工学」という名前ですでに長い歴史のある分野であり、これらを人工知能渡渉するのは、その分野の研究者や技術者にも若干失礼
将棋のプログラムや掃除ロボット、あるいは質問に答える人工知能・・・古典的人工知能であり、入力と出力を関係づける方法が洗練されており、入力と出力の組み合わせの数が極端に多いもの・・・推論・探索を行っていたり、知識ベースを入れていたりすることによる。
入力と出力を関係づける方法が、データをもとに学習されている・・・典型的には機械学習のアルゴリズムが利用される・・・パターン認識という古くからの研究をベースに１９９０年代から進展し、２０００年代に入り、ビッグデータの時代を迎えてさらに進化している。
機械学習をする際のデータを表すために使われる変数（特徴量）自体を学習するもの・・・ディープラーニングがこれに当たり、本書では「特徴表現学習」・・・米国では、ディープラーニング関連分野の投資合戦・技術開発合戦。人材獲得合戦が熾烈を極めている。今、最もホットな領域である。

言われたことだけをこなすアルバイト（レベル１）、たくさんのルールを理解し判断する一般社員（レベル２）、決められたチェック項目に従って業務を良くしていく課長（レベル３）、チェック項目を自分で発見するマネジャー（レベル４）

第１次AIブームは推論・探索の時代（１９５０後半～１９６０年代）、第２次ブームは知識の時代（１９８０年代）、第３次AIブームは機械学習と特徴表現学習の時代である（現在）

「推論」や「探索」の研究である。推論は人間の思考過程を記号で表現し実行するものであるが、処理としては探索と近いので、ここでは探索・・・探索木とは要するに場合分けである。・・どんどん場合分けをしていけば、いつか目的とする条件が出現する、ということだ。・・・同じ場合分けでも、やり方によって効率が良い悪いというのがある。・・・１つは、とにかく行けるところまで掘り下げてみて、ダメなら次の枝葉に移る「深さ優先探索」。もう１つは、同じ階層をしらみつぶしにあたってから次の階層に進む幅優先探索だ。幅優先探索なら、ゴールまで最短距離で辿り着く解が必ず見つかるが、途中のノードを全部記憶しておかなければいけないので、メモリがたくさん必要になる。・・・深さ優先探索は、必ずしも最短の解を最初に見つけるわけではないが、ダメなら一歩戻って次の枝に進めばいいので、メモリはそれほど必要ない。・・・一長一短である。

探索の研究・・・オセロやチェス、将棋、囲碁などのゲームへの挑戦・・・組み合わせの数がとても多く、すぐに天文学的な数字になってしまうので、なかなか最後まで探索しきれない。・・・オセロはおよそ１０の６０乗通り、チェスはおよそ１０の１２０乗通り、将棋はおよそ１０の２２０乗通り、以後はおよそ１０の３６０乗通りである。・・・組み合わせの数が膨大・・・盤面を評価するスコアを作り、そのスコアが良くなるように、次の指し手を探索することになる。それが現在まで続くゲーム攻略のための人工知能の基本的な設計となっている。・・・ゲームは、自分は自分の点数を最大化（Max）する手を指し、相手はコチラの点数を最小化（Min）する手を指すことで成り立つと仮定すると、５手先、１０手先の最善手が決まる。これがミニマックス法・・・中盤になり、コマの位置が定まってくるに連れて、有効打の数は限られてくる。だから、コンピュータは後になればなるほど本領を発揮する。特に詰めに至る最終局面ではまずミスしないので、中盤をいかに戦うが、将棋ソフトとの対戦では重要になるのだ。・・・ほかにもいくつか強くなった秘訣

より良い特徴量が発見された。
モンテカルロ法で評価の仕組みを変える。

特徴量というのはデータの中のどこに注目するかということ・・・それに寄って、プログラムの挙動が変化する。・・・以前は、機械学習で使う特徴量は、あくまで２つの駒の関係が中心・・・研究が進むにつれて、徐々に３つの駒の関係を使ったほうが有効だということがわかってきた。

それぞれの駒の数や位置関係に点数をつけて盤面を評価していたのだが、その点数の付け方が妙味であって、・・・ある局面をどういう風に評価するかによって、ソフトの強さが決まっていた。点数の付け方は、あくまでも人間が決めていたのだ。・・・モンテカルロ法では・・・交互に、完全にランダムに手を指し続け、とにかく終局させる（プレイアウト）・・・ある局面からランダムに挿してどちらが勝つかをシミュレーションすることなど、実にたやすい。そうやっていちいち手の意味を考えず、ひたすらランダムに指し続け、その勝率で盤面を評価したほうが、人間がスコアの付け方を考え、重み付けをして盤面を評価するよりも、最終的に強くなることが分かってきた。・・・人間の思考方法と違って、ブルートフォース（力任せ）ともいわれる。

1964年に開発されたELIZA（イライザ）という対話システム・・・どうやら人間は、単純なルールで記述された言葉でも、そこに知性があると感じてしまうらしい。掃除ロボットのルンバが迷子になっただけで、そこに愛着を感じてしまうのが人間である。ツイッターでは、botと呼ばれるアカウントがたくさんあるが、中には、ある特定のアルゴリズムに則ってツイートし続けるものもあり、「人工無能」と呼ばれている。

第２次AIブームにおける「知識」を使った人工知能の大本命は「エキスパートシステム」である。ある専門分野の知識を散りこみ、推論を行うことで、その分野のエキスパート（専門家）のように振る舞うプログラムで、１９７０年代始めにスタンフォード大学で開発されたMYCIN（マイシン）が有名である。

エキスパートシステム - Wikipedia

人工知能を中心としたソフトウェアを載せたコンピューターを第5世代コンピューターと呼ぼうと言ったのが1982年。
トータルで1000億円と言われている。
推論はいいものができたが、もう一方の車輪である知識がなくては意味がない。まったく社会には影響を与えられなかった。
当時、世界的には「エキスパートシステム」という、現場のいろんな経験値を「If Then」の形で表現してやろうというものがあった。「観測されるデータがこうだったらこう判断しよう」というもの。
私が助手の時代、1GBのハードディスクを積んだコンピューターが700万円した時代。いまは1GBのハードディスクなんて5円とかそんなものでしょ。そんな時代に実験してたから全然ダメ。

知識を記述するのが難しいことがわかってくると、知識を記述すること自体に対する研究が行われるようになってきた。それがオントロジー（ontology）研究につながった。オントロジーとは、哲学用語で「存在論」のことであり、人工知能の用語としては、「概念化の明示的な仕様」と定義される。・・・溝口理一郎氏は、オントロジー研究の第一人者である。・・・「is-a」関係の場合は推移律が成り立つが正解である。たとえば、「人間 is a 哺乳類」「哺乳類 is a 動物」なら「人間 is a 動物」と言える。では、「part-of」関係に推移率は成立するだろうか。・・・親指ー山田太郎ー取締役会では推移律は成立しないのである。

「人間がきちんと考えて知識を記述していくためにどうしたらよいか」を考えるのが「ヘビーウェイト・オントロジー」派と呼ばれる立場であり、「コンピュータにデータを読み込ませて自動で概念間の関係性を見つけよう」というのが「ライトウェイト・オントロジー」派である。ライトウェイト・オントロジー派は、効率性を重視し、完全に正しいものでなくても使えるものであれば良いという、ややいい加減ではあったが、現実的な思想であった。

オントロジー (情報科学) - Wikipedia

ライトウェイト・オントロジーのひとつの究極の形とも言えるのが、IBMが開発した人工知能「ワトソン」である。・・・質問応答システムは長く研究されている分野で、機械学習が取り入れられて進化しているものの、基本的な技術は従来とあまり変わらない。

一般常識をコンピュータが扱うためには、人間が持っている書ききれないくらい膨大な知識を扱う必要があり、極めて困難である。コンピュータが知識を獲得することの難しさを、人工知能の分野では「知識獲得のボトルネック」という。

フレーム問題は、あるタスクを実行するのに「関係ある知識だけを取り出してそれを使う」という、人間ならごく当たり前にやっている作業がいかに難しいかを表している。

人工知能の話題: フレーム問題

フレーム問題 - Wikipedia

シンボルグランディング問題・・・「身体性」に着目した研究

シンボルグラウンディング問題(記号接地問題) | Brainvalley 人工知能と脳科学のアーカイブサイト。

全脳アーキテクチャ勉強会第１回（松尾） from Yutaka Matsuo

１９８０年台の後半、・・・日本では通商産業省（現経済産業省）が主導した巨大プロジェクト、「第５世代コンピュータ」が立ち上がった。・・・当時は「データ」がなかった。オープンに利用可能なデータが爆発的に増えたのは、インターネットの登場後である。ウェブが普及するのは１９９０年代後半からで、グーグルの創業は１９９８年である。・・・結果については賛否両論あるが、「第５世代コンピュータ」プロジェクトはあの時代、確実に、「勝つためにふる価値のあるサイコロ」だった。

グーグルは、まさにこの統計的自然言語処理の権化のような企業であり、創業から１０年ほどで急成長を遂げた。

自然言語処理 - Wikipedia

機械学習は、コンピュータが大量のデータを処理しながらこの「分け方」を自動的に習得する。・・・機械学習は、大きく「教師あり学習」と「教師なし学習」に分けられる。教師あり学習は、入力と正しい出力がセットになった訓練データをあらかじめ用意して、ある入力が与えられた時に、正しい出力ができるようにコンピュータに学習させる。通常は、人間が教師役として正しい分け方を与える。・・・ロイター通信のデータセットというのが有名・・・教師なし学習は、入力用のデータのみを与え、データに内在する構造をつかむために用いられる。データの中にある一定のパターンやルールを抽出することが目的である。・・・全体のデータを、ある共通項を持つクラスタに分けたり（クラスタリング）、頻出パターンを見つけたりすることが代表的な処理である。・・・線の引き方にはいろいろな方法

最近傍法（Nearest neighbor）：一番近い隣を使うということだ。「政治」の文書が最も近いので、テストデータも「政治」だろうと判断する。
ナイーブベイズ法（Naive Bayes）
単純ベイズ分類器 - Wikipedia
決定木：ある属性がある値に入っているかどうかで線引き
サポートベクターマシン：マージン（余白）を最大にするように分ける。
ニューラルネットワーク：人間のニューロンが学習によってシナプスの結合強度を変化させるように、学習する過程で重み付けを変化させ、最適な値を出力するように調整することで、精度を高めていく。

機械学習にも弱点がある。それがフィーチャーエンジニアリングである。つまり、特徴量（あるいは素性）の設計であり、ここでは「特徴量設計」と呼ぼう。特徴量というのは、機械学習の入力に使う変数のことで、その値が対象の特徴を定量的に表す。この特徴量に何を選ぶかで、予測精度が大きく変化する。・・・自然言語処理で有名な黒橋禎夫氏・・・黒橋先生は「ま、手法は色々あるんですが、結局、いい特徴量を作るのが実は一番大変で、人間がやるしかないんですけどね」・・・特徴量をどう作るかが機械学習における本質的な問題であるということを、自分以外の人の口から初めて聞いた。・・・コンピュータが与えられたデータから注目すべき特徴を見つけ、その特徴の程度を表す「特徴量」を得ることができれば、機械学習における「特徴量設計」の問題はクリアできる。

ディープラーニング

ディープラーニングの圧倒的な精度を示す2つの出来事が2012年に起こった。1つは画像認識コンテスト「ILSVRC（ImageNet Large Scale Visual Recognition Challenge）」で、ヒントン教授らのグループがニューラルネットを用いたSupervisionという手法で、1年前の優勝記録の誤り率25.7%から15.3%へと4割も削減し圧勝した。
米グーグルが構築したニューラルネットがYouTubeの動画を学習して、猫を自動的に認識したことである。これらはディープラーニングの威力を強く印象づけ、現在も続くブームを引き起こした。

画像認識の研究者の中には、「もう研究者としてやっていけないのではないか」と危機感を覚えた人も少なくないと聞いている。・・・ディープラーニングに代表される特徴表現学習は、黎明期の革新的な発明・発見に匹敵するような大発明だ。特徴表現をコンピュータが自ら作り出すことは、それくらい大きな飛躍なのである。

ディープラーニングは、多階層のニューラルネットワークである。・・・層を重ねれば重ねるほど・・・精度が上がらないのだ・・・深い層だと誤差逆伝搬が、下の方まで届かないからだ。

誤差逆伝搬：答え合わせをして間違える度に重み付けの調整を繰り返して、認識の精度を上げていく学習法の代表的なもの

ディープラーニングは、どの多層のニューラルネットワークを実現した。・・・大きく２つの異なる点

１層ずつ階層ごとに学習していく点
自己符号化器（オートエンコーダー）という「情報圧縮機」を用いること

オートエンコーダ - Wikipedia

自己符号化器は、本来なら教師が与える正解に当たる部分に元のデータを入れることによって、入力したデータ自信を予測する。そして、様々な特徴量を生成する。それが、教師あり学習で教師なし学習をやっているということである。・・・教師あり学習的な方法による教師なし学習で特徴量を作り、最後に何か分類させたいときは教師あり学習になるのである。

深層学習入門 from Danushka Bollegala

特徴量や概念を取り出すということは、非常に長時間の精錬の課程を必要とする。何度もんっしては叩き上げ、強くするようなプロセスが必要である。それが、得られる特徴量や概念の頑健性につながる。そのためにどういうことをやるかというと、一見すると逆説的だが、入力信号にノイズを加えるのだ。ノイズを加えても加えても出てくる概念はちょっとやそっとのことではぐらつかない。

頑健な特徴量や概念を見つける方法は、ノイズを加えてちょっと違った過去を作り出すやり方だけではない。例えば、ドロップアウトと言って、ニューラルネットワークのニューロンを一部停止させる。隠れ層の５０％のニューロンをランダムに欠落させるのだ。