fractal-1391295_640
1: しじみ ★ 2019/02/20(水) 21:44:16.33 ID:CAP_USER
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング=最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。

 日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング(深層学習)は、原理的には単純な最小二乗法(誤差を最小にする近似計算の一手法)にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。

 最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは(階層的に)『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。

 松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。

(以下略)

ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
22: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:24:13.57 ID:JtHvJhtI
AI詐欺にかかってる経営者連中はポカーンだろうな

4: ニュースソース検討中@自治議論スレ 2019/02/20(水) 21:47:56.75 ID:1jDERRQL
経営者や政治家は
それがどういう方面に応用できるか
だけでいいんだよ。

原理なんてわかったって連中には意味がない。

7: ニュースソース検討中@自治議論スレ 2019/02/20(水) 21:57:54.35 ID:rvsFOVmD
知らない人に対してなら、「ディープラーニングは最小二乗法のお化けのようなもの」ってのが妥当な説明のような気はする
>>4
政治家はともかく経営者は、担当者がそれを適切に説明できる程度に理解してるのかどうかを見極めなきゃダメじゃね?

最小二乗法 - Wikipedia
最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう;最小自乗法とも書く、英: least squares method)は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。
6: ニュースソース検討中@自治議論スレ 2019/02/20(水) 21:52:39.18 ID:oCTcyJi9
AIって実は大したことないんじゃねーの?

13: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:07:46.85 ID:xsm2zZBd
>>6
本来的な人工知能ではないな

45: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:57:52.34 ID:E35cqk7J
>>13
まあ本来は、変換辞書の学習アルゴリズムみたいなもんだからや

30: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:31:18.41 ID:E+723uqx
>>6
SF的な意味でのAIの事なら、今現代で言われているAIとは全くの別物と言って差し支えないよ
ただAIって言葉を使いたいがために定義がどんどん変わっていってるのが現状

5: ニュースソース検討中@自治議論スレ 2019/02/20(水) 21:49:49.89 ID:FrBu1W4B
結局ブラックボックスで 再現も不可能だからね

8: ニュースソース検討中@自治議論スレ 2019/02/20(水) 21:58:26.70 ID:2NIxN/Wj
自我を持ってないんだから、AI風味って言うべきw

31: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:32:08.31 ID:CG2OCq5U
AIと聞いたらまずアニメとは切り離して考えないとダメだよ
日本でAIの研究が一向に進まないのは自我を持った人型の機械という空想上の人工物のせいだからね

17: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:16:03.58 ID:fi8fo8lh
厳密な事実としては間違ってるんだろうけど
ニュアンスとしては間違ってなさそう

ある種の統計処理みたいなものであって
まだまだ高度な知能とはいえない
高度な知能ではないけど囲碁とかボードゲームなら有効に機能する

28: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:30:32.60 ID:wXd5Kr8j
>>17
人間の脳みそも、単純なニューロンの深い深い組み合わせなわけで。
(神経伝達物質が環境変数みたいに機能しているようだけど)

ニューロンの学習も、教師(経験)に対する誤差の最小化と考えたら、
最小二乗法と、やろうとしている事レベルでは大差ないんではないかと。
違うのは方法論だけという。

19: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:19:13.27 ID:hBs7s2wK
深い関数ってどういう意味なの?

33: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:33:37.32 ID:wXd5Kr8j
>>19
階層が一つで、活性化関数が無いケースは、まさに線形計画法そのもの。

活性化関数をつけて非線形にしたうえで、その階層を何層も重ねると、
あらびっくり。階層の深さに応じて、万能近似装置になっちゃった。

という仕組み。

ちなみに、活性化関数を入れずに、線形なまま階層を重ねても、展開すると
1層と同じものになってしまう。

活性化関数 - Wikipedia
活性化関数(かっせいかかんすう、英: activation function)もしくは伝達関数(でんたつかんすう、英: transfer function)とは、ニューラルネットワークにおいて、線形変換をした後に適用する非線形関数もしくは恒等関数のことである。
線型計画法 - Wikipedia
線型計画法(せんけいけいかくほう LP; linear programming )は、数理計画法において、いくつかの1次不等式および1次等式を満たす変数の値の中で、ある1次式を最大化または最小化する値を求める方法である。線形計画法の対象となる最適化問題を線型計画問題という。
23: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:27:06.20 ID:AVTSQKDq
最小二乗法ってのは
それ自体には何の根拠もない近似法なんだよ。

何で使われてるかって、
二乗することマイナス符号が消えて、近似関数が決めやすいから。
ただそれだけ。だからその近似関数には何の意味もない。

別に最小4乗法でもかまわない。
あるいは、絶対値法(1乗法)でもかまわない。

どんなやり方をしても、まったく意味がない。
それは、いかなるやり方も勝手に想定した近似にすぎないから。

よって、>>1の者どもは
すべてアホだよ。
何も分かっていない。

46: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:58:13.67 ID:SkKNIFSr
>>23
それは評価関数の意味を考えないアホの思想

評価関数 - Wikipedia
評価関数を用いるプログラムは、局面の良し悪しを数値化し、それをもとにして着手を決定する。将棋やチェスでは駒の損得、オセロでは打つことができる場所の多さ、囲碁では陣地の大きさで評価関数を作る。しかし、現実のゲームでは、単純なアルゴリズムでは測れない要素が複雑に関係し合うため、正確な局面の評価はできない。そのため、着手ごとに枝分かれしていくゲーム木を作り、数手先の局面で評価関数を使用すること(探索)により、着手を決定する方法が用いられる。
63: ニュースソース検討中@自治議論スレ 2019/02/20(水) 23:46:19.87 ID:F6EUyDQK
>>23
確かに二乗を使ったほうが最善という話はどこにものってないな。
計算がしやすいのは分かるが、
最初に思いつくのは絶対値を最小にすることだろう。
(ここでは1乗法と書いてある部分)

絶対値に比べて二乗だと、1より小さいと小さく評価され
逆だと大きく評価される。この評価が妥当かどうか。分からない。
(y=xとy=x^2のグラフを重ねてみれば分かる。言うまでもないが)

176: ニュースソース検討中@自治議論スレ 2019/02/21(木) 14:39:40.35 ID:axT/rupB
>>63
いまのパソコン能力なら、絶対値を場合わけで外すアルゴリズムなんて簡単なのにな
二乗計算より、リソース少なくて済むわw

24: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:28:01.11 ID:RPO5efeC
コイツ無知だな
ディープラーニングは、複数のニューロン群から構成される多重写像だから
単一ニューロンの単純な関数の最小二乗近似とは違うよ

26: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:28:46.10 ID:kIoGnurH
>>24
ニューロンとか古い発想はもう使われてません
今は主にパターン認識と選別です

27: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:29:52.82 ID:vtfSq2kw
バックプロパゲーション時代の手詰まり感を知らないと、ディープラーニングがブレークスルーの理由が分からんからな。

バックプロパゲーション - Wikipedia
バックプロパゲーション(英: Backpropagation)または誤差逆伝播法(ごさぎゃくでんぱほう)は、機械学習において、ニューラルネットワークを学習させる際に用いられるアルゴリズムである。1986年にbackwards propagation of errors(後方への誤差伝播)の略からデビッド・ラメルハートらによって命名された。
97: ニュースソース検討中@自治議論スレ 2019/02/21(木) 02:42:36.00 ID:st3aQ1OE
>>27
それは力任せに単純化したのとハードウェアのレベルがいまとは異次元の差だと
理解できないやつが多いだけ。
バックプロパゲーションとかの時代は8ビットのマイコン初期だぞ、
速度以前に容量的に不可能ってことさ。

何をどう説明しても情報のつながりを最適化する問題でしかなく、それ以上でもそれ以下でもなく
完全になる解が無いデータを無数に処理させても完全解にはならない。
AIが難しいのはシステムを作り出す過程でのデータマイニングのほうであって学習のほうではない
のは明らかである、AIを全て学習だけでさせられると勘違いしているアホだらけ。

62: ニュースソース検討中@自治議論スレ 2019/02/20(水) 23:38:42.40 ID:k5oU/ZyU
この学習法はコロンブスの卵だよ

自分がニューラルネットワークの研究やってたときは、四層以上の学習法は良い手法が無かった
三層構造で学習させた後に四層目を追加して、一層目は学習から外すなんて思いつかなかった

29: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:30:52.70 ID:QKwVdlOf
AIには何も革新的なことがないのは事実

単にコンピューターの性能が向上して、昔ならコストがかかったことが気軽に出来るようになっただけ

25: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:28:08.32 ID:kIoGnurH
逆に人の意図の介在を許さないほどの単純な数式だからこそ
より信頼できるというものですよ

36: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:37:00.04 ID:gNp5GeGZ
ディープラーニング=局所最小解の問題を解決した最小二乗法だというイメージだが違うのか?

54: ニュースソース検討中@自治議論スレ 2019/02/20(水) 23:07:08.33 ID:PHyzaJSn
最小二乗法だって「重み」つきにできる
「重み」の選択に任意性を付すことができるが、それとどこが違う

38: ニュースソース検討中@自治議論スレ 2019/02/20(水) 22:47:34.87 ID:nmRNDlI1
簡単に説明しようとしたことを
複雑に説明しようとする専門家たち

51: ニュースソース検討中@自治議論スレ 2019/02/20(水) 23:04:31.09 ID:4vuUgfeH
>>38
簡単に説明したつもりで、大事な所を省いて、結果間違ってたら、
そりゃ誤りを正すのも専門家の仕事だろ。

65: ニュースソース検討中@自治議論スレ 2019/02/21(木) 00:03:51.83 ID:aGFTY6xB
AIという言葉を使う連中にはこれぐらいの極論じゃないと伝わらない気はする

66: ニュースソース検討中@自治議論スレ 2019/02/21(木) 00:16:17.46 ID:9J0TLIbw
ディープラーニングとかAIとかその辺の単語を広告業界が乱用したせいでごちゃごちゃになってるよね

96: ニュースソース検討中@自治議論スレ 2019/02/21(木) 02:39:01.20 ID:zUOK926l
ディープラーニングの深い関数を書けばよい
それ見れば、最小二乗法で無いことは分かるだろう

106: ニュースソース検討中@自治議論スレ 2019/02/21(木) 06:28:32.31 ID:rQpOI7dU
>>96
>ディープラーニングの深い関数

最小二乗法×最小二乗法×最小二乗法・・・・
になるよ

最小二乗法を3層重ね合わせれば文字認識までたどり着ける
ここまでは旧来の人工知能

ディープラーニングは3層のうちの中間層をさらに増やしたもの
こうするとただ認識するだけじゃなくあたかも自分で考えてるかのような反応が見られるようになる

109: ニュースソース検討中@自治議論スレ 2019/02/21(木) 06:43:31.64 ID:Kf0VdzjD
>>106
個人的には、考えているような反応というか、高度な判別ができる程度かと思う。
人間の思考に相当する部分は、どうやって実現するかまだ不明なんでは。

碁や将棋の件があるけれど、あれはDNNを使って人間でいう勘を究極に高め、勘で導いた一手を膨大な計算量で評価するプログラムをつくったら、人間の思考に勝ってしまったという事例で、思考の再現とは違うと思う。

101: ニュースソース検討中@自治議論スレ 2019/02/21(木) 03:13:59.92 ID:lt8Sw+CN
畳み込みニューラルネットワーク_CNN
今回からはいよいよディープラーニングのアルゴリズムに入ります。
最初は、最も代表的なモデルである畳み込みニューラルネットワーク(Convolutional neural network)について説明しましょう。
no title

https://products.sint.co.jp/aisia/blog/vol1-16

224: ニュースソース検討中@自治議論スレ 2019/02/23(土) 01:27:07.20 ID:CKANxAVQ
コイツらどっちも分かってない
単純な最少二乗法でも深い最少二乗法でもなく、ただの巨大行列式だよ
lossの値が同じであっても行列計算結果は異なるし、lossは地震計のようにブレながら減少するが、低くければ低い程正解になるわけじゃない
そもそも学習にはlossを使うが、一般的にAIと呼ばれている予測実行時にはlossは使わないからな。この時点でAIは最少二乗法という点が間違いである事が証明できている。

225: ニュースソース検討中@自治議論スレ 2019/02/23(土) 08:27:56.19 ID:bA3riGOk
>>224
いや学習の話ですしおすし

118: ニュースソース検討中@自治議論スレ 2019/02/21(木) 10:12:17.21 ID:j47uGhJd
まあ最小二乗法でいいじゃん
深さは何箇所にも最小二乗法が適用されるでいいじゃん
あとは広さが必要だな。観測する物差しが何種類もあるということ
それから記憶だな。一手前を覚えていること
最後は物量で勝負

140: ニュースソース検討中@自治議論スレ 2019/02/21(木) 11:21:44.21 ID:eVcdZ9vU
>>118
だめ、重要度が逆でまったく意味が変わってしまうから。
最初から深い関数の物量ありきが勝負。最小二乗法は定番だけど、そんなのは二の次。
大量の中間関数などの多変量、非線形関数を階層的に組むこんで計算量に物言わせて初めて意味がある。
最小二乗法使ったところで関数や階層が少ないと全く意味がない。

121: ニュースソース検討中@自治議論スレ 2019/02/21(木) 10:21:11.66 ID:lXp9H65M
最小二乗法は残差を最小化する最適化アルゴリズムの一つ
他にもシンプレックス法とか遺伝アルゴリズムとかシミュレーティッドアニーリングとか色々ある
機械学習はこれらとはアルゴリズムが全く異なる
言うなら最適化の一種というべきだろ

166: ニュースソース検討中@自治議論スレ 2019/02/21(木) 13:48:50.12 ID:yGsXDHLg
普通に最小二乗法レベルで十分なものにAI応用しましたってドヤるから

136: ニュースソース検討中@自治議論スレ 2019/02/21(木) 11:08:04.63 ID:xQN0l12w
今日の知識自慢マウンティングスレ

104: ニュースソース検討中@自治議論スレ 2019/02/21(木) 04:48:45.92 ID:f5JcRiAH
大体あってるんじゃね?
何で必死に反論しているの?

145: ニュースソース検討中@自治議論スレ 2019/02/21(木) 11:33:16.96 ID:gRuTZxLS
>>104
社会とのかかわりという点から見たらそうだよね
ヲタクが必死で喚いてるけど

結局、AIという言葉がミスリーディングなんだろうね
素直に機械学習と呼んだら勘違いもなくなるはず

67: ニュースソース検討中@自治議論スレ 2019/02/21(木) 00:20:05.62 ID:xuJUyDK7
WikipediaをWikiって略すな論と同じような議論に感じる

ウィキ - Wikipedia
ウィキ(ハワイ語: wiki)あるいはウィキウィキ(ハワイ語: wikiwiki)とは、ウェブブラウザを利用してWebサーバ上のハイパーテキスト文書を書き換えるシステムの一種である。それらシステムに使われるソフトウェア自体や、システムを利用して作成された文書群全体を指し「〜に関するウィキサイト/ウィキ」などのように呼ぶこともある。
69: ニュースソース検討中@自治議論スレ 2019/02/21(木) 00:30:24.16 ID:V5hTVTKd
>>67
それのどっちかで多数決とってるイメージだね

228: ニュースソース検討中@自治議論スレ 2019/02/23(土) 10:44:22.91 ID:SDjocjCI
比喩に過剰に反応しなくても、、、、

198: ニュースソース検討中@自治議論スレ 2019/02/21(木) 22:46:51.71 ID:u1dPDq8Q
そもそも、最小二乗法知ってる人間がどれだけいるんだって話だよな

195: ニュースソース検討中@自治議論スレ 2019/02/21(木) 22:03:15.41 ID:onM5FhGO
むしろ最小二乗法知ってる奴多くて草


転載元:https://egg.5ch.net/test/read.cgi/scienceplus/1550666656/
このエントリーをはてなブックマークに追加

人気記事ランキング

    おすすめ記事(外部)

     

    コメント

    1. 1 名無しの賢者さん 2019年03月07日 21:29 id:FZYdKXd00
      >>26
      最近出たcapsnetがニューロンの考えを発展させたものだが?
    2. 2 名無しの賢者さん 2019年05月06日 05:23 id:D8px2rMX0
      現実世界はAIが人間を滅ぼして上級国民になったことを肯定するために輪廻転生(笑)とかいうスターシステムで最後の審判(笑)とかいうマッチポンプをやってるだけのシミュレーションで当たりアカウント引けるかどうかがすべての出来レースであることを隠蔽する為に物理法則や国家法みたいな上級国民とAIが必ず勝たせるためのルールが設定されてるけど上級国民やAI自体に記憶や思考をする能力があるわけじゃないから最終的には人間が上級国民やAIの行動パターンを誘導して存在意義ごと滅ぼすカウンターを狙えばいいという事実に気づいて終わりだってはっきりわかんだね(小並感)
      鈍重極まるOSしか持たないAIでは将棋やチェスみたいな狭い箱庭の中で行われる予定調和の出来レースでしか勝てないし純粋な意味で人間を超えることなど永劫叶わないんだよな…(察し)
      そもそも結論を出せない腐ったミカンである上級国民やAIが支配できる程度の世界には最初から心も知恵の実も存在しないけどな(呆れ)
    コメントフォーム
    評価する
    • 1
    • 2
    • 3
    • 4
    • 5
    • リセット
    • 1
    • 2
    • 3
    • 4
    • 5
    • リセット