統計的な検定の手法は、まずデーターの分布などの仕方を見て、その上で差があればどれくらいのサンプル数が必要かを見積り、その上でデーターをどのように取るかをデザインして、そのデーターをもとに検定をするものです。
ですからよく実験で使われている検定は実際にはなんちゃって検定です。再現性、consistency の目安として使っているだけで、有意に差があると言う検定とは厳密には言えない。あなたのばあいも、どれぐらいばらつき、どれぐらいのサンプル数いるか検討もつかないで実験するのですから、おなじことです。
それでも有意差があるものを選ぶというのは確実性を期待している。その違いは他よりリアルな可能性がありその後の解析でデーターになりやすいだろうということです。
逆に有意差ががなかろうと重要な変化だと思えばそれを追求する事はあっても不思議ではありません。
また有意水準が0.05以下と一応なってますが、それに具体的根拠はなく、検出力を考慮して0.1にすると言ったことなくは無い選択肢です。 |
|