graph-3068300_640
1: しじみ ★ 2019/03/23(土) 14:28:22.62 ID:CAP_USER
「真実はいつもひとつ」のはずですが、真実を確かめるために実験したとしても、必ず1つの結果が得られるわけではありません。例えば薬を投与したとして、効果があるのかないのか実験するとき、「薬の効果は偶然ではない」と統計学的に判断できたとき、その結果を「有意」と呼びます。しかし、この「有意」という言葉に振り回されていると科学者800人が反対意見を表明しています。

Scientists rise up against statistical significance
https://www.nature.com/articles/d41586-019-00857-9

'Statistical Significance' Is Overused And Often Misleading : Shots - Health News : NPR
https://www.npr.org/sections/health-shots/2019/03/20/705191851/statisticians-call-to-arms-reject-significance-and-embrace-uncertainty

20世紀初頭に統計学の開祖、ロナルド・フィッシャーは有意差検定という手法を開発。有意差検定は、薬の効果が「ある」のか「ない」のかははっきりとわからない場合においても、「薬の効果がない」という確率を求め、「ある」のか「ない」のかを結論づけようという手法でした。有意差検定では実験の計測結果から「P値」と呼ばれる確率変数を計算します。例えば、実験結果が起こりえる確率が95%以上である場合は、P値は0.05以下になります。慣例的に科学者は「P値が0.05以下、つまりこの事象が起こりえる確率は95%以上ならば、この実験結果は偶然ではない」と判断し、「有意である」としていました。当初、「有意であるかどうか」は「この実験結果は95%以上の確率で起こりえる」ということを示しているだけのはずでしたが、次第に「有意かどうか」が研究結果の結論を左右するようになり、「研究が発表されるかどうか」や「実験が助成金を受けられるかどうか」などまで支配するようになっているとのこと。
https://i.gzn.jp/img/2019/03/22/scientists-against-statistical-significance/blackboard-with-maths-statistics-equations-and-PZ6Q57W.jpg

アメリカ統計学協会事務局長ロン・ワッサースタイン氏は「実験結果を改ざんして、P値を自分の望む数値に近づける研究者や、実験に意義がある場合でも有意ではないために実験結果を公表しない研究者もいる」と述べています。一般の人々と同様に、科学者も「統計的に有意であれば結果は真である」と信じがちです。

(以下略)

GIGAZINE
https://gigazine.net/news/20190322-scientists-against-statistical-significance/
8: ニュースソース検討中@自治議論スレ 2019/03/23(土) 15:45:28.07 ID:ARUGlkUH
どうすればいい、というのがないと。
どうなってればいいの?

106: ニュースソース検討中@自治議論スレ 2019/03/24(日) 14:14:42.63 ID:Z9NPcj7v
>>8
天気予報が良い例えかもな

2: ニュースソース検討中@自治議論スレ 2019/03/23(土) 14:48:36.00 ID:eYdURkDU
ただの言葉遊びで的外れなこと言っているだけじゃん
有意か有意でないかはゼロイチに決まっているだろう
有意でない、という結果は、その実験方法で有意性が認められないということであって、有意性を得るなら別の実験方法を試すべきという実験結果だ

>食べ物を食べるならば、『有害か』『無害か』ではなく、『健康に対するリスクはどれくらいだろう』ということを考えることが大切です」

たとえとして完全に的外れ

9: ニュースソース検討中@自治議論スレ 2019/03/23(土) 16:03:08.79 ID:gNGO+0hX
>>2
薬の実験があったとして担当者が怖い顔のいかついおっさんだらけだった場合と若い娘だらけだった場合でそう言いきれるかな

61: ニュースソース検討中@自治議論スレ 2019/03/24(日) 00:59:58.26 ID:pLpKYTN4
>>2
お前現場の研究者じゃないだろ
業界ではP値なんて便宜上使ってるだけというコンセンサスが醸成されつつあるぞ

6: ニュースソース検討中@自治議論スレ 2019/03/23(土) 15:24:28.30 ID:rhJZGaoj
全くその通りだな。
実験結果なりを有意かそうでないかの離散的に評価するのは妥当ではない。
確率の話なんだし連続値に決まってる。
まぁ門外漢にはバイナリで示してくれた方が分かりやすくはあるが、結局は数字の大小で比較してるわけだから馬鹿らしい。

でもいろいろと代替案が必要なんじゃないかね。

89: ニュースソース検討中@自治議論スレ 2019/03/24(日) 12:42:11.02 ID:CHRlFvhH
助成金の有無とかは何かしらの判断材料が必要なんだけど、
この人達はその合否判定の代替案を出しているの?
言いたい事は理解出来るけど、現実社会ではただの理想論だぞ。

92: ニュースソース検討中@自治議論スレ 2019/03/24(日) 13:05:40.78 ID:Ac9a3eNu
>>89
記事の趣旨は有意性検定を使うなと言ってるわけではなくて有意性検定至上主義になるなと言っているだけだぞ
薬の効果に関して言えば、有意か否か=効果があるか否か、ではなく同じ実験をもう一回行うと同様に効果があるというデータが得られる確率がいくらかを示すにすぎない
だから代替案としては、きちんと統計学を学んで実験結果を理解して助成金を出すか判断しろというだけのこと
現実の実験には必ず誤差があるのでそもそもどんな指標を考案しても薬の効果が100%あるかないかなど判定する方法は存在しないのに、その100%の判定指標として有意か否かを誤用していた

11: ニュースソース検討中@自治議論スレ 2019/03/23(土) 16:16:30.70 ID:fr03LaZX
え??
危険率10%って言えばいいんじゃないの?

例えば、危険率0.1%でも、社会問題になることって多いのも現実。
1000人に1人がイジメで自殺してたら大問題。

研究目的に応じて、許容される危険率が違うのは当然。
それを論理的に説明すればいいだけ。

84: ニュースソース検討中@自治議論スレ 2019/03/24(日) 12:06:23.51 ID:Jj/j0MLi
>>11
統計的な操作を行って、取り扱いやすい『大多数』を取り出すと、それが95%に近い数字に
なるのであって、95%が目的だったわけじゃない。
90%を優位とすると、統計的操作がかなり違ってくる。

16: ニュースソース検討中@自治議論スレ 2019/03/23(土) 16:39:11.26 ID:/ZXJplbl
健康番組の食材の話もどこか似たようなところがあるね
「きく」か「きかないか」でいうと「効く」って話しかしなくて
年間どれだけ摂取すると、どれだけの違いがでるのか
大きな違いがでるのか、ほんの少しの違いだけなのか
そこがあいまい

19: ニュースソース検討中@自治議論スレ 2019/03/23(土) 17:05:10.18 ID:nWOfxYbv
>科学者は「P値が0.05以下、つまりこの事象が起こりえる確率は95%以上ならば、この実験結果は偶然ではない」と判断し、

つまり、後100回実験をすれば 95回は薬が効き、5回は利かないということだろう
薬としては 充分じゃないの

48: ニュースソース検討中@自治議論スレ 2019/03/23(土) 20:38:34.97 ID:dvscFIgc
>>19
違うんだなあ。全然違う。
実はもう少し正解に近いけど間違ってる解釈をしている場合があって、
これが一流の研究者にも意外に多い。

24: ニュースソース検討中@自治議論スレ 2019/03/23(土) 17:24:45.44 ID:c8q1PiA5
>>19
毒性と副作用と値段と効くまでの期間も加味しないと、有用かどうかは分からない

144: ニュースソース検討中@自治議論スレ 2019/03/24(日) 23:58:30.06 ID:5nQ4vu0D
50パーセントの確率で不治の病を治す薬ができたとしても
無かったことにされるってことか

145: ニュースソース検討中@自治議論スレ 2019/03/25(月) 00:07:25.92 ID:PapYM10l
>>144
50%の確率で不治の病が治せることが5%有意なら画期的大発明

14: ニュースソース検討中@自治議論スレ 2019/03/23(土) 16:29:56.82 ID:/ZXJplbl
統計処理をしても
おなじ実験を1000回やったら
何回か逆の結論が出ることもあるだろうから
それを使えば逆の結論も導ける

28: ニュースソース検討中@自治議論スレ 2019/03/23(土) 18:05:18.61 ID:xU4ckci4
部長や課長を騙すにはこの数字の有効性は絶大だぞ。理工系出身の奴等でも統計に
詳しい奴は多くないから反論される恐れはない。現場のオペレーターはシッカリ勉強して
チャンスを掴め。

38: ニュースソース検討中@自治議論スレ 2019/03/23(土) 19:46:29.61 ID:DIzINpvQ
経団連さんの言うことを聞いてると分母をゆがめた、俺たちをだましやすいデーターを出してくれるのです
いうことを聞くときは総合職だけの給料データー、聞かないときは派遣込みのデーターを提出ってね

71: ニュースソース検討中@自治議論スレ 2019/03/24(日) 07:11:47.16 ID:nr50Tkka
>アメリカ統計学協会事務局長ロン・ワッサースタイン氏は「実験結果を改ざんして、P値を自分の望む数値に近づける研究者や、実験に意義がある場合でも有意ではないために実験結果を公表しない研究者もいる」と述べています。

まともな研究者ならサンプル増やすっての

>一般の人々と同様に、科学者も「統計的に有意であれば結果は真である」と信じがちです。

まともな研究者なら有意じゃなきゃあ発表に値しないし、他人が有意じゃない結果を出しても追試には値
しないと考えるだけ

73: ニュースソース検討中@自治議論スレ 2019/03/24(日) 07:46:49.72 ID:0uCt/BNO
>>71
有意差がなかったら発表する意味がないってのがそもそも間違いだと言ってる

79: ニュースソース検討中@自治議論スレ 2019/03/24(日) 11:42:49.11 ID:Ac9a3eNu
>>73
有意差がなければ発表する意味がない、は科学的に妥当な考えだろ
「○%の有意水準で有意差があると判定された」とは「100回実験すれば○回ぐらいは逆の結論に至る実験データが得られてしまう」ということであり、
要は誤差が大きすぎていい加減な実験なので実験条件を改良しろということ
そして、有意差がない=有意水準を高く設定しなければ有意と判断されない=頻繁に別の結論に至る実験データが出てしまう=再現性が低い
ということなのでそんなものを発表したところでその価値はゼロに等しい

136: ニュースソース検討中@自治議論スレ 2019/03/24(日) 19:24:30.77 ID:0x45FxNl
>>79
実験結果が最初から分かるような実験ばかりではないし、再実験ができるとは限らないし、サンプルが用意できるとも限らない。
せっかくやった実験が望む結果ではなかったという理由だけで全く表に出ないで闇に葬られるのは勿体ない。
実験系さえ明確に示されさえすれば発表して良いと思う。

81: ニュースソース検討中@自治議論スレ 2019/03/24(日) 11:57:59.91 ID:Ac9a3eNu
>>71
サンプル数を増やすと誤差分散は減っていく
よってサンプル数を極端に増やせば有意でないものも有意と結論付けることができる
つまりサンプル数増やせばいいというのは常に最良の手段になるわけではないことや、
とにかく有意と結論付けたい場合にサンプル数を増やす手口が有効なことは統計学では常識

64: ニュースソース検討中@自治議論スレ 2019/03/24(日) 02:17:33.12 ID:1bOoufbu
P値を減らすために独立試行の数増やすように教官が指導すんのはホント酷いと思った

分散が大きくて重なるんならそれが自然の状態であってそう記述すりゃいいんだし、P値が下がらんでも平均値間に実験仮説を支持出来るだけの差異が見出だせたらそれでええやろと

152: ニュースソース検討中@自治議論スレ 2019/03/25(月) 05:47:55.81 ID:/td8BIQk
政治が期待する研究を選んだ方が研究費がたくさんもらえるし、
政治が期待する研究結果を発表したらさらに研究費がまわってくることになる。
そうすればそれだけ多くの研究ができて自分の業績を残すことに成功し、
その結果として大学での地位も向上することになる。
こうやって政治家、官僚、学界が結びついて御用学者が量産される構造が作られる。
研究を多く手にできた学説ほど多くの証拠を集められるから他の学説よりも相対的に
優位に立つことができるようになり、見せかけ上有力な学説になっていく。

161: ニュースソース検討中@自治議論スレ 2019/03/25(月) 11:18:30.04 ID:sTQcilcf
コンピューターの弊害

膨大な種類の変数を瞬時に計算できる

因果関係が無くても、p値が0.05以下の変数の組み合わせも簡単に見つかるようになった

94: ニュースソース検討中@自治議論スレ 2019/03/24(日) 13:14:09.00 ID:0snxgbaB
有意でないなら、発表する意味はない。
95%が気に入らないなら、あらかじめ下げておけば良いだろう。
最初に決めておく事が重要で、結果が出てから決めるのは科学じゃない。

97: ニュースソース検討中@自治議論スレ 2019/03/24(日) 13:45:52.90 ID:yqoV0uF6
>>94
いや全然違う
p値がある値以上だからという判断根拠がそもそも科学じゃない
事前だろうが事後だろうが同じ
0.05だろうがそれ以下だろうが同じ

98: ニュースソース検討中@自治議論スレ 2019/03/24(日) 13:54:08.48 ID:BO1h5G42
>>97
>p値がある値以上だからという判断根拠がそもそも科学じゃない
判断根拠=効果の有無や大小、というならその通り
判断根拠=実験の再現性の高さ(効果の有無には関係なし)、というならp値は判断根拠そのものとなる

100: ニュースソース検討中@自治議論スレ 2019/03/24(日) 13:59:19.94 ID:yqoV0uF6
>>98
>判断根拠=実験の再現性の高さ(効果の有無には関係なし)、というならp値は判断根拠そのものとなる
いやこの意味でも判断根拠にはならん
いくつならいいかよくわからん実験の再現性の高さっぽさ
くらい意味しか持てない

105: ニュースソース検討中@自治議論スレ 2019/03/24(日) 14:13:13.54 ID:GV34WDhd
>>100
「いくつならいいか」を最終的に判断するのはその研究結果を利用する側だぞ
命に関わることに利用したいなら1%以下でなければ使い物にならないかもしれないし、
そうでない状況で利用するなら10%ぐらい問題ないだろという場合だってある
何%ならOKかというのは状況に応じて変わるものであって絶対的な指標ではない

108: ニュースソース検討中@自治議論スレ 2019/03/24(日) 14:15:58.80 ID:yqoV0uF6
>>105
>何%ならOKかというのは状況に応じて変わるものであって絶対的な指標ではない
いついかなる状況においても何パーならOKという数字は無い

109: ニュースソース検討中@自治議論スレ 2019/03/24(日) 14:23:57.65 ID:GV34WDhd
>>108
誤差が決してなくせない以上、100%実験通りになるなどということは期待してはいけない
よってビジネスの現場などで利用するなら実験と合わない結果が現実に得られてしまった場合の(主に金銭的な)リスクと比較してそれでも儲かるかどうか等を考慮して、何%ならOKかを決めるしかない
それを何%ならOKという数字はないなどと言ってしまうのは単なる責任回避か考えることを拒否しているかどちらかでしかない
まあ旧来の日本型組織ならありがちな状況だろうけど

77: ニュースソース検討中@自治議論スレ 2019/03/24(日) 09:09:46.55 ID:6RzPceZl
細胞1000個の中に薬を一滴たらして観察すると、0-9個の細胞がガン化しました
1%未満の効果なのでこの薬の影響でガン化になるとは言えませんし、有意では無いので公表するのも控えましょうか

103: ニュースソース検討中@自治議論スレ 2019/03/24(日) 14:11:21.51 ID:5vJUgtVL
有意性の考え方自体に問題はないでしょ
問題になるのは、有意性の程度を確認しないことでしょ

51: ニュースソース検討中@自治議論スレ 2019/03/23(土) 21:37:01.98 ID:95RxuF1i
>>1
>「この実験結果は95%以上の確率で起こりえる」ということを示しているだけのはずでしたが、
・・・
>『有害か』『無害か』ではなく、『健康に対するリスクはどれくらいだろう』ということを考えることが大切です」

両方できるのが分散分析や主成分分析
メジャーな国際学術誌だとP値だけじゃなくて分散分析表を乗せることが義務付けられてることが多いけどマイナーどころはそういうのなし
政府の疫学調査機関であってもP値のみ公表してドヤってる場合が多い
こういうのはやめてもらいたいわ

43: ニュースソース検討中@自治議論スレ 2019/03/23(土) 20:15:12.25 ID:uRLXxZrl
ロナルドエーフィッシャーが理論構築して約100年たったのに
こんなに回りが理解できないとは夢にも思わなかっただろうな

115: ニュースソース検討中@自治議論スレ 2019/03/24(日) 15:13:00.68 ID:OqaZtHrc
今頃 フィッシャー統計など日本だけ。世界のほとんどがベイズ統計に。ベイズなら信頼区間などいらんし。

140: ニュースソース検討中@自治議論スレ 2019/03/24(日) 22:40:56.65 ID:aXzS9kzW
>>115
医学の世界はどこでもいまだに有意差病だ

141: ニュースソース検討中@自治議論スレ 2019/03/24(日) 23:00:28.56 ID:f77Ud6RA
>>115
世界でも製薬業界と世界の有力科学誌くらいでしょ。
そこでもまだ結論は出てなくて、ベイズ統計て割と悪くないよねて見直されてるけどフィッシャーが悪いかというとそうでもなくて、一辺倒はやめましょう、ちゃんとデータを全体眺めましょうという段階。

フィッシャー独裁時代が数十年続いたから、p値だけで判断する人がまだまだ多い。

56: ニュースソース検討中@自治議論スレ 2019/03/23(土) 22:50:06.45 ID:hGVNtcMs
p値自体がわかりにくい概念なうえに、
有意差があることと、その学問で意味のある差があること
が混同されているからもはやわけわからないことになっている。

52: ニュースソース検討中@自治議論スレ 2019/03/23(土) 21:50:06.08 ID:cSgntKaW
信頼区間と仮説検定の話か
読むまで忘れてたけどこの2つじゃ確かにリスクはわからんね

143: ニュースソース検討中@自治議論スレ 2019/03/24(日) 23:34:58.35 ID:EMP6KIWA
科学の世界で結論を出すための手法として
「研究対象をなんとか数字にして統計や演算して答えを出す」やり方がゴールデンスタンダードなんだけど
「数値化」「統計・演算」「有意・有意でないの2値化」の各段階において
その研究の手法として適切でない、あるいはあやまりがある可能性がある
それにもかかわらず「有意」という言葉に水戸黄門のごとくひれ伏す学者のなんと多いことか
薬剤メーカーが医者を騙すのにもよく使われるよ「P=0.023」みたいにして

130: ニュースソース検討中@自治議論スレ 2019/03/24(日) 17:09:01.36 ID:oC6ddFtp
記事で言いたいことは研究者も実用側も有意という言葉の意味をきちんと理解しろということだけ
統計的有意が悪いのではなくそれを誤用するのが悪いということ
論文書く人も読む人も最低限の統計学は勉強しましょう

194: ニュースソース検討中@自治議論スレ 2019/03/28(木) 04:16:03.66 ID:evQJN4aF
補足するが、間違った解釈するアホがいるよねって話だ。
アホがいる、な。
統計学に罪はない。

159: ニュースソース検討中@自治議論スレ 2019/03/25(月) 11:05:32.33 ID:/td8BIQk
応用数学では数学外の要素がかなり関わってくるので
数学外のリテラシーも必要になってくるのが複雑だね。

69: ニュースソース検討中@自治議論スレ 2019/03/24(日) 06:32:26.16 ID:C8qvo58N
これはその通り
明らかに結果に差があるのにp値だけで有意差無しって、その差が何から来るのかもっと追求しろと


転載元:https://egg.5ch.net/test/read.cgi/scienceplus/1553318902/
このエントリーをはてなブックマークに追加

人気記事ランキング

    おすすめ記事(外部)

     

    コメント

    コメントフォーム
    評価する
    • 1
    • 2
    • 3
    • 4
    • 5
    • リセット
    • 1
    • 2
    • 3
    • 4
    • 5
    • リセット