深層学習の歴史（パーセプトロンからTuring賞まで）

いま流行の深層学習(deep learning)はニューラルネットから生まれ，そのニューラルネットはパーセプトロンから生まれた．起源であるパーセプトロンまで遡ろう．

1958年に，コーネル大学の心理学者であったF. Rosenblattがパーセプトロンの概念を提案した．これは1層からなるニューラルネットであり，極めて単純な構成をもつが，当時は部屋いっぱいのパンチカード式の計算機が必要であった．

隠れ層のない2層のニューラルネットでの出力誤差からの確率的勾配降下法は1960年にB. Widrow と M.E. Hoff, Jr. らが Widrow-Hoff 法（デルタルール）という名称で発表した．隠れ層のある3層以上のニューラルネットは、1967年に甘利俊一が発表した．

1969年に，MITのM. Minsky（人工知能の巨人として知られる）が，ニューラルネットの限界についての論文を発表した．彼の名声による影響のためか，その後ニューラルネットの研究は徐々に下火になっていく．

2006年に，トロント大学のG. Hinton（ニューラルネットの父として知られる）は，多階層のニューラルネットでも効率よく学習できるような方法に関する論文を発表する．この手法はオートエンコーダーと呼ばれ，その後の深層学習の爆発的な研究のもとになったものである．

2011年にマイクロソフト社は，言語認識のためにニューラルネットを使うようになる．その後も言語認識や機械翻訳は，画像認識ととともに，深層学習の応用分野として定着している．

2012年の7月にGoogle社は猫を認識するためのニューラルネットであるGoogle Brainを開始し，8月には言語認識に用いるようになる．同年の10月には，Hintonの2人の学生が，ImageNetコンテストで断トツの成績で1位になる．これをきっかけに，深層学習が様々な応用に使われるようになる．2015年の12月には，マイクロソフト社のチームが，ImageNetコンテストで人間を超える結果を出し，2016年3月には，AlphaGoが碁の世界チャンピオンでL. Sedolを打ち負かす．

深層学習のフレームワークは，2002年のTorch，2007年のTheanoなど研究者向けのものが古くからあるが，2015年以降は比較的簡単に使えるものがたくさん出てきた．2015年にGoogleが公開したTensorFlowが火付け役であるが，その前にも国産のフレームワークであるChainer，TorchやThenaoを簡単に使えるようにしたKerasが，同年に公開されていた．Kerasはその後TensorFlowのラッパとなり，2019年のTensorFlow 2からは完全に統合された．2016年にはPyTorch，2017年にはcoffe2が公開され，現在でも開発ラッシュが続いている．

2018年のTuring賞（計算機科学のノーベル賞）に，深層学習の成果をあげた Y. Bengio, G. Hinton,Y. LeCun の3名が選ばれた．Hintonは，1986年に発表した誤差逆伝播の論文“Learning Internal Representations by Error Propagation”，1983年に発表したBoltzman機械，ならびに上述した2012年のImageNetコンテストの業績で受賞した．Benjioは，1990年代に行った（隠れMarkov連鎖などの）確率的系列モデルとニューラルネットの融合の一連の研究，2000年に発表した言語埋め込みに関する画期的な論文“A Neural Probabilistic Language Model”，ならびに2010年頃からI. Goodfellowとともに行っている敵対的生成ネットワーク (Generative Adversarial Networks: GAN) の研究が評価された．LeCunは，1908年代に行った畳み込みニューラルネットの研究，誤差逆伝播の改良，ならびに（ニューラルネットの層が特徴表現を徐々に学習していくなどの）ニューラルネットを理解するための様々な洞察を与えたことで受賞した．