Bio Technical フォーラム

  • バイオ関連の実験をする上での、試薬、機器、プロトコールなどの情報交換の場です。
  • 新しいテーマで話を始める場合、質問をする場合は「新しいトピックを作る」から書き込みをしてください。
  • 質問に対して解答できる方は是非、書き込んで下さい。
  • このフォーラムにふさわしくないと管理人が判断した投稿は予告なく削除します。

新しいトピックを作る | トピック一覧 | 研究留学ネットに戻る

ひとつ前のフォーラム(readのみ)

このスレッドをはてなブックマークに追加このスレッドをはてなブックマークに追加

Raw data トピック削除
No.8676-TOPIC - 2020/02/23 (日) 08:17:02 - Molecular Brain
ttps://molecularbrain.biomedcentral.com/articles/10.1186/s13041-020-0552-2
ttps://twitter.com/tsuyomiyakawa/status/1230689025373040640
ttps://twitter.com/tsuyomiyakawa/status/1230695500510199809

What's your opinion on this?

皆さんは、どう思われます?
Cell Stem CellやNature Medicineでもあったようです。
 
- このトピックにメッセージを投稿する -



24件 ( 1 〜 20 )  前 |  1/ 1. 2. /2


(無題) 削除/引用
No.8676-24 - 2020/03/03 (火) 14:21:50 - 777
> ちゃんと再現できていて捏造もしてないラボ

はそんなイチャモンつけられること滅多にないんだろうなと思う。ずっと胡散臭いと思われてたようなラボでしょ、そんなこと言われるの。昔東大にあった多比良研みたいな。あそこの仕事は、分野違いの私ですら発覚の5年以上前から噂聞いてたもんなあ。

プレゼン資料を1から作るわけでもあるまいし、生データを出せと言われて一週間もかからんでしょ。既にラボを離れた人の昔の仕事、ならある程度かかるかもしれんが。私は一度、そういう事態に備えて必ずノートのコピーを取って持っていくようにと言われた事あるな。君のプロジェクトはここで続けるから、後で聞きたくなることもあるかもしれない、その時便利だから、とも。


>掲載雑誌側が最初から生データも預かってバックアップも一括管理する方が
後から改竄の疑いもでなくなるのでは

同意します。

(無題) 削除/引用
No.8676-23 - 2020/03/03 (火) 03:33:52 - 現実
論文発表する段で
信頼性持たせる為に生データ出してねの方は
修正や追加実験やれに比べればマシだけど

それを通過してやっと論文掲載した後で
調査論文出す読者から
綺麗すぎるから怪しいなんていちゃもんつけられて
関連する生データ見せて
なんて言われても
なんでわざわざ発表済みの論文の素材を機器から引っ張り出して
あんたの調査に協力しなきゃなんないの?
ってのもあるんじゃないですかね

測定機器の中には数値もそれと一緒に出てくる画像もあるけれど
取り違えてデータ渡して違ってたらまたややこしいし
IMG0302.tifとかのデータを管理・報告しやすいように
名前変更するなりしてたら本人ですら照合する手間もでるでしょう
その時間や人件費も出ない上に
現行の研究の邪魔、ひいては次の研究資金のネタにもならない
対応する側にデメリットしかないのに再現性や捏造疑うなら
反証となる実験・論文出してから
じゃあどっちが正しいかでデータ付き合わせて考えるべきでは

逆に言えば
ちゃんと再現できていて捏造もしてないラボなら
「なに?俺の論文は再現性が疑わしい?
 じゃあ再現実験してやるからウチのラボ来いよ
 実験にかかる人手試薬機器の消耗代
 ついでに新規実験ができるなくなる逸失利益として
 来年度の研究費も持参でな!
 あとデータは渡してやるから俺の論文は再現性があったって論文も発表な」
くらいは言っていいんじゃないかと

とはいえ
そもそも論文に必要最低限の生データが
掲載論文と紐づけられない・すぐに出せるように管理されてない
というのが問題なら
結局いくら責任者がまとめていてもラボの環境自体が変わりゆくのだから
掲載雑誌側が最初から生データも預かってバックアップも一括管理する方が
後から改竄の疑いもでなくなるのでは

(無題) 削除/引用
No.8676-22 - 2020/03/02 (月) 17:35:05 - ちき
140の論文についてデータがないのはその通りで、何を言ってもspeculationにしかならないのは承知しています。しかし実際に捏造をする側になって考えてみると、綺麗すぎるデータは疑われるだろう、というのはすぐに思いつくことです。したがって140のうちにも(低いかもしれないが)41と同程度の頻度で不正が存在するだろう、というのはそれほどおかしくない感覚なのではないか、と思っています。

なお、これは宮川さん個人の感想ではなく、twitterによるsurveyの結果です(厳密に言うと、問いの文章はもっとざっくりしたものですが)。

(無題) 削除/引用
No.8676-21 - 2020/03/02 (月) 15:10:14 - tt
生データを保管していたつもりでも
・光学ディスクの保管方法が悪くて読み出せなくなった
・データサーバーに入れていたが停電や雷で読み出せなくなった
・機器からの印字データが感熱紙なので経年劣化で消えた
とかありますからねえ…。
デジタルデータはバックアップを複数取るのが鉄則なので仕方ないというつもりはないけれど。

結局、検索性が悪くても、かさばっても、アナログな実験ノートの方が改竄しにくい(一冊書き直しでもしなければ)し、失いにくいんですよね。
ただ本当に検索性が悪くてかさばるので、研究室の統廃合や引っ越しで捨てていく人も少なくはない。
投稿時に初めからサプリメントに生データをつけてしまった方が後から言われて探すより楽ですね。

(無題) 削除/引用
No.8676-20 - 2020/03/02 (月) 12:16:40 - 3
>PI(コレスポ)としては捏造ではなくしっかり実験をしているという自負はあり
>どこかには生データやそれを示す記録があると思っている

STAP事件の時に、今は山梨にいる若山氏がそんな感じのことを最初言ってましたね。疑われたって全然あわてることはないんですよ、だってきちんと手元にデータがあって、自分のところで再現してるんだから、とかそんな感じで。マウスのクローンの時も疑われたが、疑ってきたラボのところに自分が出向いて行ってきちんと実証してみせたら誰も何も言わなくなりましたよ、なんてエピソードまでつけて。

この事件のその後の経過は皆さんご存知の通りですが、あれを小保方氏VS若山氏(あるいは理研)という二元論に持っていって、片方がシロならもう一方はクロのはずという話の進め方をした奴ら(含むほとんどの科学ジャーナリスト)の為に日本の科学はさらに遅れることになったなと私は思いました。捏造実行者(小保方氏)の責任追及だけを大きく取り上げることで、捏造を見抜けないPIの責任追及がおざなりになってしまった。むしろそっちの方が害悪なのに。

>実際にちゃんと実験をやっていても、全ての生データをコレスポがすぐに取り出せるようなラボって、残念ながらほとんどないのではないでしょうか。

そういうラボの仕事は全て捏造とみなす、位に皆が思ってくれればなあ、と個人的には思います。

(無題) 削除/引用
No.8676-19 - 2020/03/02 (月) 10:16:15 - FW
最近はほとんどの雑誌で投稿する時に「data sharing」を聞いてきますよね。ここでYesとしないとどうなるかは知りませんが、最近は生データが無いのに受理されることってほとんど無いんじゃないかと思うのですが。

実際はどうなんでしょうか?

(無題) 削除/引用
No.8676-18 - 2020/03/02 (月) 06:52:41 - 中堅
生データが欲しいという申し出があった時に、PI(コレスポ)としては捏造ではなくしっかり実験をしているという自負はあり、ラボのどこかには生データやそれを示す記録があると思っているが、メインで実験していた者が既に移動している、などですぐにデータを見つけづらい、ということは往々にしてよくあることだと思います。
その他の場合も含め、現在のラボメンバーの手をいろいろと煩わせることも考えると、よっぽどラボにとってメリットになる可能性を感じない場合は、いろいろと他の理由をつけて問い合わせを適当にあしらってしまう、ということは実際ありうる気がします。(コレスポとしては問い合わせにはすべて真摯に応じるべきというのが原則なのは分かりますが)

これが件の不自然に綺麗なデータを含む40論文に該当するのかは分かりませんが。
実際にちゃんと実験をやっていても、全ての生データをコレスポがすぐに取り出せるようなラボって、残念ながらほとんどないのではないでしょうか。

(無題) 削除/引用
No.8676-17 - 2020/03/02 (月) 02:22:32 - Molecular Brain
> Discussionにあるように、綺麗すぎるかどうかは本質的ではなく、残りの140のなかにも恐らく似たような比率でraw dataを提出できないものがあるだろうと述べられています。
> そしてその中には、よりdata fabricationに熟練したauthorsによる、"不自然でない程度に綺麗"に加工したデータも含まれているだろうという予想がされています。

ちきさんご自身は、この宮川氏の考察、予想についてどう思われますか? この通りだとすると、データが綺麗かどうかにかかわらず、40/41の確率で生データが適切に保存されていない事を意味し、Molecular Brain誌に限らず一流誌も含め広く蔓延している可能性が高いという事ですよね。さすがに極端すぎる予想かなと思います。こんな状態であれば、生データ保存のルールを厳格にしても、不正者はフェイクの生データを保存してすり抜けて行けるわけで、対処不能でしょう。

個人的には、40/181でも多すぎる気がしており、実際のところはもう少しまともだと信じたいです。宮川氏の主観が多少入っている可能性はどうでしょう? 少なくとも残りの140の論文についてはデータがないです。

(無題) 削除/引用
No.8676-16 - 2020/03/01 (日) 20:55:13 - ちき
> この編集者さんが実際に調べた論文が何報なのか分かると、「不自然に綺麗」なデータを載せている論文の頻度が分かるのですが、どれくらいなんでしょうね?

181のうちの41とAbstractにも書いてあるし、Fig1に図があります。ただ、Discussionにあるように、綺麗すぎるかどうかは本質的ではなく、残りの140のなかにも恐らく似たような比率でraw dataを提出できないものがあるだろうと述べられています。

そしてその中には、よりdata fabricationに熟練したauthorsによる、"不自然でない程度に綺麗"に加工したデータも含まれているだろうという予想がされています。

宮川さんがこの原稿を事前に見せた高IF誌2誌の編集長が全く興味を示さなかった、という方により深い闇を感じています。

(無題) 削除/引用
No.8676-15 - 2020/02/29 (土) 20:03:45 - Molecular Brain
「綺麗すぎる」と「綺麗」はきちんと分けないと、誤解を生みそうですね。「綺麗すぎる」というのは「不自然に綺麗」という事ではないかと。

技術のある方がきちんと実験した結果として得られた「綺麗」なデータであれば、生データが提出されて然るべきと思うのですが、そのような論文は41本のうち1本しかないようです。少なくともこの編集者さんが「不自然に綺麗」と判断した論文では、生データが適切に保存されていない場合がほとんどという事実をどう受け止めますか? この編集者さんが実際に調べた論文が何報なのか分かると、「不自然に綺麗」なデータを載せている論文の頻度が分かるのですが、どれくらいなんでしょうね?

Cell Stem CellやNature Medicineでも同じような事が起きているならば、有名誌であってもデータの不自然さをよく見極めて論文を評価する目を持つ必要があるかもしれません。

生データ保存の問題と再現性の問題は、分けて考えた方が良いかもしれません。再現性のないチャンピオンデータであっても、その生データがきちんと保存されている場合もありますし、生データがきちんと保存されてなくても再現性がある場合もあるだろうと思われます。再現性については、他のグループからの報告や、領域が近ければ自分自身でも実験して判断できますが、生データの保存についてはリクエストしてみないと分からないですね。生データに関しては構造的な問題として対処していく方が良いのかもしれません。

きれいなデータ 削除/引用
No.8676-14 - 2020/02/29 (土) 11:44:03 -  bhんjmk
あまり実験が上手でないラボに移ってすぐにきれいなデータだしてたらエー本当それ(with うそじゃないのそれみたいな薄笑い)みたいなすごい変な眼でみられてでも自分的には(ていうかたぶんここの皆さんがみても)そこは実験操作が雑なのと方法的にもそんなしたらそりゃそんなんなるだろみたいな感じだったわけですが疑われてるみたいですごい嫌だったのでこうしたらいいですよと自分のぷろとこるあげたりまずい点をプライド傷つけないように遠回しに教えてあげてそれでデータがだんだんきれいになってきたら今度は教えてもらわなくてもうちはじめからちゃんとできてましたけどみたいな風に言われてまえにあげたぷろとこるをラボのおりじなるみたいなふうにとかされてまあそんなことどうでもいいんですがすごいいやだなあとかおもいました。別のところに移って先生にそのはなししたら、そういうとこあるねえ、いるねえといわれました。なのできれいなデータを疑うときもそういうこともあるのでいろんな角度から考えた方がいいとおもいます。

(無題) 削除/引用
No.8676-13 - 2020/02/29 (土) 07:44:39 - おお
あ、示された記事のアブストには綺麗すぎるとまで書かれてなかったので、ちょっと誤解してました。本文にはそういう表現がありました。
ちょっとアブストに正確さがかけるような、、、

(無題) 削除/引用
No.8676-12 - 2020/02/29 (土) 06:55:09 - Molecular Brain
元ツイートから引用:

編集長がデータが「綺麗すぎる」と感じた原稿41本において生データの提出を著者に依頼。21本で投稿が取り下げられ、うち19本でデータの一部(例. 各条件N=1ずつの代表データのみ)しか提出されなかった or 生データと結果が不一致だったためリジェクト。(引用終わり)

綺麗すぎるブロットや免染が出てる論文を編集長が選択して、生データを要求した結果ですね。なので、「汚いブロットだけど再現できないので綺麗なブロットを出せない」というようなケースではないようです。綺麗なブロットだけど、生データが保存されていない。これをどう考えるのか、という事ですね。

問題は、このすごい確率です。編集長さんの眼力がすごいとも言えますが、いずれにせよ、特殊な事情による稀なケースという事ではなく、図の綺麗さで絞り込めば、95%以上の確率で「生データが保存されていない」論文にたどり着けるという事です。ちょっと怖くないですか?

さらには、生データがない事に気付いていながら、改善する事なく他の論文に投稿しているケースが3割ほど(少なくとも)あり、この感覚が理解できません。繰り返しますが、稀なケースではなく、ある程度の頻度で見られるようで、世も末という感じです。

(無題) 削除/引用
No.8676-11 - 2020/02/29 (土) 04:25:13 - 3
2さんが仰っしゃりたいのは、

元データが無いようなデータについて「再実験したら良いんじゃないですか?なんでやらないんですか?」なんて突っ込んで聞くと「いやぁ、実はあれは再現取れなくてね」という返事が返ってくる

ってことですか?だったら同意します。これだけ捏造問題が取り沙汰されてる昨今に、Raw Dataも取っておかないようなのは再現しないとみなしても良いでしょう。


>試行錯誤の末なんとかようやく1回うまくいったもので、やり直しがきかない
好意的に解釈すると、取り直しが不可能な試料が尽きてしまったのでもう実験できないとかのシチュエーション、ってことになるんでしょうけど、実際にはそんなシチュエーションはほぼ無いし、仮にそうであればその旨きっちり論文中に記載しておくべきでしょうね(それでアクセプトされるかはわからないが……。そういえば、後に捏造が発覚したヒトES細胞クローンのScience論文はN=1だったような記憶が)。

(仮に厳しい監視付きの状況であっても)自分のラボで自分の手でやるのであれば再現できます、と自信を持って言えないのであれば、Publishするべきではないと私は思います。

(無題) 削除/引用
No.8676-10 - 2020/02/29 (土) 01:51:45 - wwww
言いたいことが良くわからないが、つまり技術不足でアカデミックなデータとして提示するには不十分なケースなんじゃないですか?

元データなくなったら再実験すればいいだけでは、と思いますが。
論文であまりきれいでないデータ(汚れとか泡とかのあとがあるblotとか,これ染まってるの?的な免疫染色とか、マウスの文政生物学的実験でn=20くらいでようやくp<0.05になった棒グラフとか、もう少しどうにかできないものかと思うような)をたまに見ます。普通なら世界中の人に見られるものだし、やり直してもう少しきれいなデータを取り直すけど、と思うけどそのまま載せてたりします。元データを持っておくのは大事なことで、それは良い心がけではありますが、あまりにもそのことに変に固執するのを聞くと、もう2度と再現しない(試行錯誤の末なんとかようやく1回うまくいったもので、やり直しがきかない)というケースもあるような気がするのです。

(無題) 削除/引用
No.8676-9 - 2020/02/29 (土) 01:34:50 - 2
元データなくなったら再実験すればいいだけでは、と思いますが。
論文であまりきれいでないデータ(汚れとか泡とかのあとがあるblotとか,これ染まってるの?的な免疫染色とか、マウスの文政生物学的実験でn=20くらいでようやくp<0.05になった棒グラフとか、もう少しどうにかできないものかと思うような)をたまに見ます。普通なら世界中の人に見られるものだし、やり直してもう少しきれいなデータを取り直すけど、と思うけどそのまま載せてたりします。元データを持っておくのは大事なことで、それは良い心がけではありますが、あまりにもそのことに変に固執するのを聞くと、もう2度と再現しない(試行錯誤の末なんとかようやく1回うまくいったもので、やり直しがきかない)というケースもあるような気がするのです。

(無題) 削除/引用
No.8676-8 - 2020/02/28 (金) 18:50:02 - 当然
個人でrawdata残しておくのは当然として
実際に実験をした人が居なくなった(退官・退職・学生orテクニシャン)
から引継ぎがされていない
もしくは引継ぎはした(データはもらった)がどこにあるかわからない
なんてことはあるかもしれませんね。
身分によっては転籍したら外部に自分の論文データ持ち出せないし
自身でやったのでなければ
他人のノートに記録があっても転記ミス(プリントもできない装置など)
やサンプルの取り違えがあるかもしれない
そこまで疑うなら論文に使うデータを再現し保管しなおすことになりそうですが
ちゃんとした機関であれば発表した元ネタはトレースできるように管理してそうですし
そのために任期なしの研究者やお偉いさんが居るんじゃないか、という建前ですが。

(無題) 削除/引用
No.8676-7 - 2020/02/28 (金) 13:11:31 - lipid
何らかの理由で取れない事態が発生しない限り、
law dataがないっておかしいと思いますよ。
いつの世も。
何のための実験ノートなのか。。。。

やりなおすいい理由になりますね(笑)。

再現性が半分以上の論文で取れないと言われる原因の一因になってそうな気もしますね。。。。

(無題) 削除/引用
No.8676-6 - 2020/02/28 (金) 11:18:11 - AA
そういうときは再現性を見るチャンスだと思って自分でデータを取り直すと良いと思います。

(無題) 削除/引用
No.8676-5 - 2020/02/28 (金) 09:49:01 - ああ
Raw dataの提出が厳格でなかったとか関係ないでしょ?
Raw dataは持っていてしかるべきである。

24件 ( 1 〜 20 )  前 |  1/ 1. 2. /2


パスワードを入力してチェックした記事を チェックした記事を

このトピックにメッセージを投稿する
名前 
メール   アドレス非公開
   タイトル 
本文      
設定  クッキーを保存(次回の入力の手間を省けます)
上に上げない(トピックの一覧で一番上に移動させません)
解決(問題が解決した際にチェックしてください)
暗証  半角英数字8-12文字の暗証番号を入れると、あとで削除、修正ができます。
送信 

〔使い方〕
  • 「アドレス非公開」をチェックすれば、自分のメールアドレスを公開しないで他の方からメールを受け取れます。
  • 問題が解決した際には、解決ボタンをチェックして解決した旨のコメントをつけてください。これは、初めにトピックを作った人と管理人のみが可能です。
  • 半角カタカナ、機種依存文字(全角ローマ数字、○の中の数字等)は文字化けの原因となりますので使わないでください。