Bio Technical フォーラム

  • バイオ関連の実験をする上での、試薬、機器、プロトコールなどの情報交換の場です。
  • 新しいテーマで話を始める場合、質問をする場合は「新しいトピックを作る」から書き込みをしてください。
  • 質問に対して解答できる方は是非、書き込んで下さい。
  • このフォーラムにふさわしくないと管理人が判断した投稿は予告なく削除します。

新しいトピックを作る　|　トピック一覧　|　研究留学ネットに戻る

ひとつ前のフォーラム（readのみ）

このスレッドをはてなブックマークに追加このスレッドをはてなブックマークに追加

Tophat（あるいはBowtie？）の必要メモリについて トピック削除
No.5674-TOPIC - 2017/01/14 (土) 10:31:27 - SK
TopHatによりマッピングをしようとして、下記のようなエラーが出ました。

[2017-01-11 10:54:52] Beginning TopHat run (v2.1.1)
-----------------------------------------------
[2017-01-11 10:54:52] Checking for Bowtie
Bowtie version: 2.2.9.0
[2017-01-11 10:54:53] Checking for Bowtie index files (genome)..
[2017-01-11 10:54:53] Checking for reference FASTA file
[2017-01-11 10:54:53] Generating SAM header for /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome
[2017-01-11 10:54:53] Reading known junctions from GTF file
[2017-01-11 10:55:04] Preparing reads
left reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)
right reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)
[2017-01-11 11:26:08] Building transcriptome data files A549_thout/tmp/genes
[2017-01-11 11:27:08] Building Bowtie index from genes.fa
[2017-01-11 11:41:34] Mapping left_kept_reads to transcriptome genes with Bowtie2

[2017-01-11 14:09:27] Mapping right_kept_reads to transcriptome genes with Bowtie2
[2017-01-11 16:37:02] Resuming TopHat pipeline with unmapped reads
[2017-01-11 16:37:02] Mapping left_kept_reads.m2g_um to genome genome with Bowtie2
[FAILED]
Error running bowtie:
Out of memory allocating plen[] in Ebwt::read() at bt2_io.cpp:272
Error: Encountered exception: 'std::bad_alloc'
Command: /usr/local/bin/../Cellar/bowtie2/2.2.9/bin/bowtie2-align-l --wrapper basic-0 -k 20 -D 15 -R 2 -N 0 -L 20 -i S,1,1.25 --gbar 4 --mp 6,2 --np 1 --rdg 5,3 --rfg 5,3 --score-min C,-14,0 -p 1 --sam-no-hd -x /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome -
(ERR): bowtie2-align exited with value 1

メモリが足りないという意味だと思いますが、何らかの設定を変えることで対応は可能でしょうか？あるいはファイルを分割して処理し、後で統合するなどということは出来るのでしょうか？今使っているMacは32GBメモリを積んでおり、これ以上は増やせません。
＊何かの弾みで、投稿途中のトピックを書き込んでしまいました。暗証番号を入力する前だったので削除できないようです。この間違いトピックはそのまま残ってしまうのでしょうか･･･
　
- このトピックにメッセージを投稿する -



全6件 ( 1 〜 6 )　 前 | 次 　1/ 1. /1

ありがとうございました。 削除/引用
No.5674-6 - 2017/01/20 (金) 23:01:21 - SK
>Warningはオーファンリードがあるってことだろうけど、もともとあったのかトリミングで出来たのかはわからない。まあ、精度は落ちるんだろうけど余り問題にはならないのでは？

そんな気がします。

>paired endは基本やらないので詳しくないですが、リード間の長さはデフォルトで大丈夫なんですか？あるていどのゆらぎを持ってアライメントしてくれるんだろうけど、しっかりと指定してあげたほうがマシンにかかる負荷は落ちるのではないかと思います。

そうですね。ハンドブックに従って、同じデータを解析しているつもりなのですが、ご想像の通り筆者は東大医科研ヒトゲノム解析センターのスパコンを使っているようなので馬力が比較になりません。この辺りにもエラーの原因があるかもしれませんね。オプションが多くて身につけるのが大変そうです。

もっと小さなデータなら私のmacでも解析できるかもしれません。自分の分野に近いデータを集めて、色々試してみようと思います。色々なデータベースがあって、宝の山のようにも思えるのですが、簡便に利用できるものでもないですね。じっくり攻めようと思います。

(無題) 削除/引用
No.5674-5 - 2017/01/19 (木) 06:15:52 - CD
Warningはオーファンリードがあるってことだろうけど、もともとあったのかトリミングで出来たのかはわからない。まあ、精度は落ちるんだろうけど余り問題にはならないのでは？

paired endは基本やらないので詳しくないですが、リード間の長さはデフォルトで大丈夫なんですか？あるていどのゆらぎを持ってアライメントしてくれるんだろうけど、しっかりと指定してあげたほうがマシンにかかる負荷は落ちるのではないかと思います。

何かのテキストを参考にやってらっしゃると思っていましたが、計算機はどのようなものを想定しているんでしょうか？個人用計算機では問題となるようなCPUやメモリの問題がスパコンでは見えなくなることもあるでしょう。

確かに２つのファイルのサイズは異なるようになりました。 削除/引用
No.5674-4 - 2017/01/18 (水) 16:36:57 - SK
同一ファイルを処理していたのだと思います。しかし今回も最終的なエラーメッセージは不変ですね。ディスクも2TBあって半分以上空いています。１つ気になったのが
"WARNING: read pairing issues detected (check prep_reads.log) !"で、これはそのファイルを見たところ
prep_reads v2.1.1 (ecf7617)
---------------------------
WARNING: read pairing issues detected (check prep_reads.log) !
Pair #95 name mismatch: DRR016695.100 vs DRR016695.96
19487 out of 27377323 reads have been filtered out
108669 out of 27377323 read mates have been filtered out
とあります。そんな致命的なエラーという雰囲気でもないですが・・・
本当に手強いです。


$ tophat -G genes.gtf -o A549_thout --no-novel-juncs ~/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome DRR016695_1_fil.fastq DRR016695_2_fil.fastq

[2017-01-16 19:17:50] Beginning TopHat run (v2.1.1)
-----------------------------------------------
[2017-01-16 19:17:50] Checking for Bowtie
Bowtie version: 2.2.9.0
[2017-01-16 19:17:50] Checking for Bowtie index files (genome)..
[2017-01-16 19:17:50] Checking for reference FASTA file
[2017-01-16 19:17:50] Generating SAM header for /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome
[2017-01-16 19:17:50] Reading known junctions from GTF file
[2017-01-16 19:18:01] Preparing reads

WARNING: read pairing issues detected (check prep_reads.log) !

left reads: min. length=101, max. length=101, 27357836 kept reads (19487 discarded)
right reads: min. length=101, max. length=101, 27268654 kept reads (108669 discarded)
[2017-01-16 19:49:19] Building transcriptome data files A549_thout/tmp/genes
[2017-01-16 19:50:19] Building Bowtie index from genes.fa
[2017-01-16 20:04:53] Mapping left_kept_reads to transcriptome genes with Bowtie2
[2017-01-17 10:23:14] Mapping right_kept_reads to transcriptome genes with Bowtie2
[2017-01-17 12:50:31] Resuming TopHat pipeline with unmapped reads
[2017-01-17 12:50:31] Mapping left_kept_reads.m2g_um to genome genome with Bowtie2
[FAILED]
Error running bowtie:
Out of memory allocating plen[] in Ebwt::read() at bt2_io.cpp:272
Error: Encountered exception: 'std::bad_alloc'
Command: /usr/local/bin/../Cellar/bowtie2/2.2.9/bin/bowtie2-align-l --wrapper basic-0 -k 20 -D 15 -R 2 -N 0 -L 20 -i S,1,1.25 --gbar 4 --mp 6,2 --np 1 --rdg 5,3 --rfg 5,3 --score-min C,-14,0 -p 1 --sam-no-hd -x /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome -
(ERR): bowtie2-align exited with value 1

なるほど。 削除/引用
No.5674-3 - 2017/01/14 (土) 16:55:18 - SK
>32Gで足りないことはないです。たぶん８Gもあれば十分。

ありがとうございます。希望が出てきました。

>LeftとRightのリード数が全く同一って、いくらデモデータだとしてもありえない。多分トリミングとかフィルタリングした時にファイル名の指定を間違って両方共おなじ内容になっているのでは？ファイルサイズを見ればすぐに分かるでしょう。

確かに独立に処理をした結果が同じサイズというのは変ですね！
週明けに解析をやり直してみます。

(無題) 削除/引用
No.5674-2 - 2017/01/14 (土) 16:07:21 - CD
32Gで足りないことはないです。たぶん８Gもあれば十分。

可能性としては中間産物ファイルも結構な大きさなので、途中でローカルディスクの容量が足りなくなった。

もっと有り得る話としては、
left reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)
right reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)

LeftとRightのリード数が全く同一って、いくらデモデータだとしてもありえない。多分トリミングとかフィルタリングした時にファイル名の指定を間違って両方共おなじ内容になっているのでは？ファイルサイズを見ればすぐに分かるでしょう。

同一のものをペアエンドとしてアラインメントしようとすればギャップが全く無いのでコンピュータがわけわからなくなって異常にメモリを消費したって言うことは有り得そう。

Tophat（あるいはBowtie？）の必要メモリについて 削除/引用
No.5674-1 - 2017/01/14 (土) 10:31:27 - SK
TopHatによりマッピングをしようとして、下記のようなエラーが出ました。

[2017-01-11 10:54:52] Beginning TopHat run (v2.1.1)
-----------------------------------------------
[2017-01-11 10:54:52] Checking for Bowtie
Bowtie version: 2.2.9.0
[2017-01-11 10:54:53] Checking for Bowtie index files (genome)..
[2017-01-11 10:54:53] Checking for reference FASTA file
[2017-01-11 10:54:53] Generating SAM header for /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome
[2017-01-11 10:54:53] Reading known junctions from GTF file
[2017-01-11 10:55:04] Preparing reads
left reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)
right reads: min. length=101, max. length=101, 27273582 kept reads (108679 discarded)
[2017-01-11 11:26:08] Building transcriptome data files A549_thout/tmp/genes
[2017-01-11 11:27:08] Building Bowtie index from genes.fa
[2017-01-11 11:41:34] Mapping left_kept_reads to transcriptome genes with Bowtie2

[2017-01-11 14:09:27] Mapping right_kept_reads to transcriptome genes with Bowtie2
[2017-01-11 16:37:02] Resuming TopHat pipeline with unmapped reads
[2017-01-11 16:37:02] Mapping left_kept_reads.m2g_um to genome genome with Bowtie2
[FAILED]
Error running bowtie:
Out of memory allocating plen[] in Ebwt::read() at bt2_io.cpp:272
Error: Encountered exception: 'std::bad_alloc'
Command: /usr/local/bin/../Cellar/bowtie2/2.2.9/bin/bowtie2-align-l --wrapper basic-0 -k 20 -D 15 -R 2 -N 0 -L 20 -i S,1,1.25 --gbar 4 --mp 6,2 --np 1 --rdg 5,3 --rfg 5,3 --score-min C,-14,0 -p 1 --sam-no-hd -x /Users/SK/my_rna_seq/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/genome -
(ERR): bowtie2-align exited with value 1

メモリが足りないという意味だと思いますが、何らかの設定を変えることで対応は可能でしょうか？あるいはファイルを分割して処理し、後で統合するなどということは出来るのでしょうか？今使っているMacは32GBメモリを積んでおり、これ以上は増やせません。
＊何かの弾みで、投稿途中のトピックを書き込んでしまいました。暗証番号を入力する前だったので削除できないようです。この間違いトピックはそのまま残ってしまうのでしょうか･･･
全6件 ( 1 〜 6 )　 前 | 次 　1/ 1. /1

パスワードを入力してチェックした記事を チェックした記事を

このトピックにメッセージを投稿する
名前 
メール  　アドレス非公開
   タイトル 
本文      
設定  クッキーを保存（次回の入力の手間を省けます）
上に上げない（トピックの一覧で一番上に移動させません）
解決（問題が解決した際にチェックしてください）
暗証  半角英数字8-12文字の暗証番号を入れると、あとで削除、修正ができます。
送信 
〔使い方〕
  • 「アドレス非公開」をチェックすれば、自分のメールアドレスを公開しないで他の方からメールを受け取れます。
  • 問題が解決した際には、解決ボタンをチェックして解決した旨のコメントをつけてください。これは、初めにトピックを作った人と管理人のみが可能です。
  • 半角カタカナ、機種依存文字(全角ローマ数字、○の中の数字等)は文字化けの原因となりますので使わないでください。