Bio Technical フォーラム

  • バイオ関連の実験をする上での、試薬、機器、プロトコールなどの情報交換の場です。
  • 新しいテーマで話を始める場合、質問をする場合は「新しいトピックを作る」から書き込みをしてください。
  • 質問に対して解答できる方は是非、書き込んで下さい。
  • このフォーラムにふさわしくないと管理人が判断した投稿は予告なく削除します。

新しいトピックを作る | トピック一覧 | 研究留学ネットに戻る

ひとつ前のフォーラム(readのみ)

このスレッドをはてなブックマークに追加このスレッドをはてなブックマークに追加

再現性の見極め トピック削除
No.9292-TOPIC - 2020/11/10 (火) 12:15:20 - 東京大学ではない東大研究員
論文や研究室の過去研究で実施された実験データが再現できない時は、
どの辺りまでこだわった上で、成否を判断されてますしょうか?


次コメントに貼った報告もある一方で(初回コメントにリンクが貼れない)、
自身が未熟だから再現できないのではないかという危惧もあります。

・全く同じ条件による実施での回数?
・本筋は変えないで、少し工夫した条件による実験での結果?
・条件をやや変えた実験での結果? (使用株や温度等を変えてみる)
etc.
 
- このトピックにメッセージを投稿する -



15件 ( 1 〜 15 )  前 | 次  1/ 1. /1


(無題) 削除/引用
No.9292-15 - 2020/12/01 (火) 10:18:47 - asan
>ちなみに、私自身は民間企業を経ており、Mさんご指摘の通り結果判定
に対して、慎重な面は多かったのを経験しました (アカデミックが悪い
という指摘ではございませんので、ご容赦下さい)。
特に製薬業界においては、開発ステージにも依存しますが、シビアかと
思います (それでも100%不正防止できませんし)。


企業の場合は、最終的な目的とするところと扱うテーマの可能性や計画の前提が違うあたりが求める再現性の有無に関する基準の違いにも繋がると思います。あとは、現実問題こだわるための金銭的マンパワー的な部分もあるのでね。

創薬審査に通す場合はそもそも論として細胞のパッセージ数などから含めて厳密なルールが決まってるので後からダメ出しを食らわないために合理化してきちんとやってるという側面もあるかと思います。

ちなみに反論があるかもしれませんが、それをいうなら特許のデータのほうがよっぽど怪しげなものがおおいって気もします。STAPとかも普通に通ってるし、辻褄があってればとりあえず実行可能性などは2の次って感じでしょうか。

捏造やグレーなデータの信頼性、再現性に対する誠意に関しての議論は単なる研究者のモラルの話だけではなくて、正直論文に通るか通らないか、グラントで成果を求めるかどうかという観点からも難しい問題であり、総じて1研究者の人生を大きく左右させる部分が大きいのに対して研究環境の格差などの不公平差を乗り越えてでも個人として競争し成果を出すことが一義に求められるなどのアカデミックに携わる人々に対する社会構造的な部分も絡む、少し難しい問題だと思います。別に日本に限ったことではないですし。

(無題) 削除/引用
No.9292-14 - 2020/11/30 (月) 14:03:43 - 東京大学ではない東大研究員
先週も、下記の2件が取り上げられてましたが、ここで話題にさせて頂いた
再現性そのものも、人により感覚は異なるので、色々と難しい問題です。

https://news.yahoo.co.jp/articles/8f50da018eeb4bc026bb8f024a9db84fbf44d763

https://news.yahoo.co.jp/articles/c02426e2606fb0ab00de25000ff379fbe056b0f5

誤りを防ぐに越した事はないですが、誤りに気付いた際に、真摯に対応する
風潮となれば良いのかもしれません。

ちなみに、私自身は民間企業を経ており、Mさんご指摘の通り結果判定
に対して、慎重な面は多かったのを経験しました (アカデミックが悪い
という指摘ではございませんので、ご容赦下さい)。
特に製薬業界においては、開発ステージにも依存しますが、シビアかと
思います (それでも100%不正防止できませんし)。

(無題) 削除/引用
No.9292-13 - 2020/11/16 (月) 01:17:41 - M
よそのラボの仕事の再現性か、自分の所属するラボ内かで考え方は違うでしょう。大きな意味での研究成果の再現性か、一つ一つの実験系の再現性かによっても違うでしょう。よそのラボの仕事は気にしても仕方ないですが、自分のラボの仕事については、特に大きな結論の再現性の場合は、徹底的に追求すべきだと思います。これは、特にPIの方々に認識して頂きたいです。過去の仕事が再現しないと報告すると、ボスとの人間関係が拗れてしまうようだと、そのラボから出る仕事は信頼できないでしょうね。それをスルーしたりフェードアウトしたりするなら、ますます信頼できないです。実際に生命科学系の再現性問題の原因として、このような体質があるような気がします。

大きな結論は複数の実験系でサポートされているのが通常で、ひとつの実験系で再現しない場合は、他の方法での再現性を見るのが第一かと思います。例えば、3つの実験系でサポートされた結論の再現性を見る場合、すべての実験系で再現されなければ何らかの問題があると考えるべきで、私ならPIと相談します。3つのうちの一つで再現性が取れない場合は、条件を少し振って試すと思いますが、都合の良い条件を見つけ出してこじつける形にならないよう注意は必要と思います。

以前、製薬企業の研究者の方々と一緒に仕事をした事があります。前任者が基礎データを取るのに使用した 細胞の、ベースラインでの死細胞率が3%だったのですが、彼が来て実験したら6%に上がっていたため、原因究明を徹底的にやってました。テストしていた薬剤による効果には変化が見られなかったのですが、この結果に基づいて薬剤開発を進める以上、ベースラインの死細胞率が2倍になった事は看過できないと言われました 。アカデミアもこれくらいやった方が良いと思います。いい加減にやると、最終的には自分に返ってくると思います。

(無題) 削除/引用
No.9292-12 - 2020/11/15 (日) 17:06:17 - asan

再現性は確かに重要な話だとは思うけど、それを言い出したらきりがないし、自分たちはあくまで第三者として他者の発表をどう解釈するか次第のことなのだからぶっちゃけそこにこだわって真偽を判断する調査員や、他者の結果の上げ足取りをすることが目的になっては本末転倒。

CNSクラスに乗るような超重要テーマに関しての反証結果を示したいならば、たまにmatter arisingなどとして雑誌に掲載されることはあると思うから、その分野の専門家ならばそういう位置づけとして狙ってもいいのかもしれないけどね。

再現をとる、ということは、何かしらのあなたの目的や意図があってのことでしょうから、それを”グレーな結結果”とみなすか、”実験系が不十分だ”とみなすか”再現するためには特殊な能力はノウハウが必要”だとみなすかはあなたの考え方次第。ただし、何かの技術論文や作製論文といったものであればそれを使って自分たちの実験に生かしたいという場合に、上手くいかないからもしかしてコツがあるのかも?という意味で筆者に問い合わせてアドバイスを求めるということはまああると思うけどね。

自分ところの前任者の結果が再現できないって話は、まあなきにしもあらずなラボも案外多いと思うけど、そういうのは全否定するとボスやその前任者の信頼度によっては自分の立場が色々めんどくさいことになる可能性もある。そういう場合は、なんだかんだ上手くそのテーマを引き継がなくていいようにフェードアウトするとか、素直に冷静なデータを示してボスや周りを味方につけてボスに納得してもらうしかない。大抵の場合、捏造だ、とか再現全然とれねーとか、自分のことを棚上げしてまくしたてるとあまりいい気分で見てもらえないからしれっとフェードアウトするような流れに持ってくのがうまいやり方。余計なことに、ネチネチとこだわる必要はない。

(無題) 削除/引用
No.9292-11 - 2020/11/15 (日) 07:58:16 - RRR
ここ十年位での話ですけど、自分のところで再現できなかかった実験について著者に問い合わせたことが4回ありました。雑誌はどれも世にいう「JBCクラス」です。

まともな返事をくれたのは一人だけ(しかしその助言に従っても再現せず。更に聞いたら、実際に実験をした人がもうここにいないので、その人に聞いてみるとの返事の後にフェードアウト)で、二人には単純に完全に無視されて、一人からは「うちではとにかくそういう結果が出たんだ。あなたからの質問は迷惑だ」という返事でした。

質問文に「再現しないけれど、嘘じゃないの?」というニュアンスが出てはまともな人でも口をきいてくれなくなるかもと心配して、文章はボスにも見てもらい、かなり気を付けて書きました。ポスドクレベルからのメールだから無視なのか?ということでボスからメールを出してもらったこともありますが、結果は上の通り。「xxxのハーバード」レベルの大学で、弱小研究所からのメールだから無視された、ということもないと思います。

cvgbhんjkさんが連絡された先の方のように真摯に対応してくれる人ばかりではないと思います。後学のためにお聞きしたいのですが、そうやって得た知見はどうやってその論文にフィードバックさせるんでしょうか?あるいは別論文の形にされるのでしょうか?

(無題) 削除/引用
No.9292-10 - 2020/11/13 (金) 19:45:18 - cvgbhんjk
だいぶ昔だけど、ある誰でも知ってるような雑誌にその頃自分たちがやってることに非常に関わりの深い興味ある結果が発表されて、とりあえず、そのとうりやってみようと取り組んだけどどうにもそんな風には全然ならなくて、で、先生がその論文を出したラボに詳しいことを聞いた。先方も真摯に対応してくれて、いろんな可能性をあげてくれたり、materialの提供や交換も申し出てくれたりもした。で、結局、両方のラボで何が違うのかを詳細に検討した結果、実験動物の入手先と飼育条件(餌)の違いが、かなり重要な要因であることがわかった。後でよく考えると、言われてみれば確かにそれは理にかなうことだったけど、初めはまさかそんなことで、みたいに全く考えが及ばなかった。今なら、再現しない→自分たちの仲間ウチであそこは信用できないラボだと認定→終了だろうけど、再現性なしも、それはそれで検討すれば、重要な発見につながることもあると思う。

あと、例えばn=3/groupで5~10倍の増加とかの世界と、n=10/ group以上で1.2倍の変化でp<0.05で有意差ありとかの世界の再現性を同列に論じるのは本質的に違う次元の話と思う。生命科学の場合後者のパタンが多いので、厄介です。

(無題) 削除/引用
No.9292-9 - 2020/11/13 (金) 16:04:53 - AA
論文には字数制限もあったりしますし、文中に書いてある条件だけですべての実験を再現できるとは思えません。
マウスであれば飼育環境の気温湿度気圧、餌の種類や飲料水のpH、世話するヒトが普段与えているストレスの大小など、著者自身が記述していないあるいは無視してしまっていたけれど大事だった条件というのも有りうるでしょうし、論文をよんでも再現できないから、この著者は嘘つきだこの結果は捏造だ、なんて盛り上がるのはナンセンスだと思います。
(STAPのようにご本人が再現できないのではだめですが。)


・自身の仕事として労力を割くに値するかどうかを担保するための再現性
・査読者や編集者を納得させて世に公表するための再現性
・商業化して利益を生じさせるために必要な再現性

何のために再現性を確認するのかによって確かめかたは変わってきます。
目的を明確化し、必要な手段を検索・策定し、実行して結果を得て、それを考察する、というのが科学者です。
過小な確認はもちろん困りますが、過剰に再現性を求めて先に進もうとしないのも問題だと思います。

(無題) 削除/引用
No.9292-8 - 2020/11/13 (金) 14:05:55 - 東京大学ではない東大研究員
少し違った視点で恐縮ですが、研究としての取扱い時は、「時と場合」
という理屈も往々にしてあり得ますね(結局、解決してはないですが)。

一方で、インパクトの大きさから、多くの研究者を巻き込んで洗練されて
いくという発展もあります。

さらに、産業化に値した研究結果は、「時と場合」という訳にいかず
確固としたものへとつながります。

個人レベルでの再現性 ⇒ 複数人での再現性 ⇒ 汎用性の高い再現性
という流れと考えていれば大丈夫でしょうかね!?
(sdcさんのご指摘に様に、報告した本人へ聞くというステップも含めまして)


複数人での再現性が「死の谷」の一つなのかもしれませんね。

(無題) 削除/引用
No.9292-7 - 2020/11/13 (金) 07:13:06 - おお
いまでもそうかも知れないですけど昔は培養細胞をつかってデーターが出たとき、すかさず3回やってまとめろって言われることがまあまあありました。逆に昔1度やった実験ででた何らかのデーターをその時はその結果に興味がなく放置しておいたけど、後で面白いと思い同じ実験をしたら再現性が取れなかったとか言う場合、なんでそのときに再現性とっておかなかったんだとかいわれたり。細胞が変わったりするとか、一ヶ月後にやるとなにか感知してないような条件があったりしてそれが変わると再現しにくくなるとか、、、まあそれらしいといえばそれらしい理屈ですが。

(無題) 削除/引用
No.9292-6 - 2020/11/12 (木) 23:05:10 - sdc
再現性は重要なのだけど、他人のデータを本当に綺麗に再現できる例は半分もないのかもしれない。不確定要因はいくらでもあるし、抗体のロットや動物個体が原因でも結果なんて普通に変わることあるし。再現できないときはまずはデータ出した本人に直接聞くのが一番いい。

(無題) 削除/引用
No.9292-5 - 2020/11/12 (木) 13:20:46 - 東京大学ではない東大研究員
自分なりの基準をブラさないのを基本にしつつ、柔軟に対処するのが
得策かもしれませんね。

化学分野は結果追跡が明確な事が多そうですどけ、医学系を中心に
生物分野は際どい判断が伴う時もございますね。固執し過ぎても、
バッサリ切り捨てても、難しいところですが・・・。

(無題) 削除/引用
No.9292-4 - 2020/11/10 (火) 15:29:17 - おお
とにかく再現できない実験系は自分の手では使えないわけだから、あまり深入りせずに違う系や仮説を試すようにしたらいいと思ってます。

自身でいろいろやってできなくっても、その方法を確立したラボで教わりながらやったらうまく行ったという例もあるので、自分でやってできないから、このデーターは再現性がとれないデーターだと全否定もどうかなと思うし。

結局そうやって淘汰されるものも多いのであまり危惧はしていません。探索的な研究では3回やって同じ傾向ならOKになってしまう実験も多いでしょうし、これをSign testで評価するならp=0.125です。数値などからpが5%とといっても、20回に1回は間違えをだすほどのものです。

(無題) 削除/引用
No.9292-3 - 2020/11/10 (火) 12:44:46 - ど素人
ケースバイケースであり、任意のデータの再現性検討に適応できる法則はない、のかもしれませんね。

(無題) 削除/引用
No.9292-2 - 2020/11/10 (火) 12:16:50 - 東京大学ではない東大研究員
https://www.natureasia.com/ja-jp/ndigest/v13/n8/%E3%80%8C%E5%86%8D%E7%8F%BE%E6%80%A7%E3%81%AE%E5%8D%B1%E6%A9%9F%E3%80%8D%E3%81%AF%E3%81%82%E3%82%8B%E3%81%8B%EF%BC%9F%26minus%3B%E8%AA%BF%E6%9F%BB%E7%B5%90%E6%9E%9C%26minus%3B/77048

再現性の見極め 削除/引用
No.9292-1 - 2020/11/10 (火) 12:15:20 - 東京大学ではない東大研究員
論文や研究室の過去研究で実施された実験データが再現できない時は、
どの辺りまでこだわった上で、成否を判断されてますしょうか?


次コメントに貼った報告もある一方で(初回コメントにリンクが貼れない)、
自身が未熟だから再現できないのではないかという危惧もあります。

・全く同じ条件による実施での回数?
・本筋は変えないで、少し工夫した条件による実験での結果?
・条件をやや変えた実験での結果? (使用株や温度等を変えてみる)
etc.

15件 ( 1 〜 15 )  前 | 次  1/ 1. /1


パスワードを入力してチェックした記事を チェックした記事を

このトピックにメッセージを投稿する
名前 
メール   アドレス非公開
   タイトル 
本文      
設定  クッキーを保存(次回の入力の手間を省けます)
上に上げない(トピックの一覧で一番上に移動させません)
解決(問題が解決した際にチェックしてください)
暗証  半角英数字8-12文字の暗証番号を入れると、あとで削除、修正ができます。
送信 

〔使い方〕
  • 「アドレス非公開」をチェックすれば、自分のメールアドレスを公開しないで他の方からメールを受け取れます。
  • 問題が解決した際には、解決ボタンをチェックして解決した旨のコメントをつけてください。これは、初めにトピックを作った人と管理人のみが可能です。
  • 半角カタカナ、機種依存文字(全角ローマ数字、○の中の数字等)は文字化けの原因となりますので使わないでください。