「たまたま」と「本当の違い」を見分ける ― 分散分析の考え方¶
テックノート No.4
「シューズAとシューズBで平均ペースが違う」——これを見たとき、次の疑問が浮かびます。それは本当にシューズの違いによるものでしょうか。それとも、たまたまその日のコンディションがよかっただけで、次に走ればまた変わってしまう程度の「誤差」なのでしょうか。
Dailythm Runの詳細分析機能にある「タグによる違いの判定」は、この疑問に統計的な目安を与えるための機能です。この記事では、その裏側にある考え方と、サンプルデータを使った計算の過程をそのまま紹介します。結果を鵜呑みにするのではなく、どういう計算で「違いがありそうです」という結論が出てくるのかを知っていただくことが目的です。
4-1. 平均の差だけでは分からないこと¶
同じ距離を何度走っても、毎回まったく同じペースになることはありません。体調、気温、コースの混み具合など、さまざまな要因でペースは記録ごとにばらつきます。
そのため、「シューズAの平均ペースは5:30/km、シューズBの平均ペースは5:47/kmだった」という結果があっても、それだけでは次のどちらなのか判断できません。
- シューズの違いが本当にペースに影響している
- たまたまシューズAを履いた日にコンディションが良かっただけで、シューズ自体には差がない
これを見分けるには、「グループ間の平均の差」が、「そもそも記録ごとに自然に生じるばらつき」に比べて、十分に大きいと言えるかどうかを確認する必要があります。この考え方に基づく手法が、統計学における分散分析(ANOVA: Analysis of Variance)です。
4-2. アプローチ: 分散分析(ANOVA)の考え方¶
分散分析の基本的な発想は、データ全体のばらつきを次の2種類に分解することです。
- グループ間のばらつき — シューズA・B・Cそれぞれの平均が、全体の平均からどれだけ離れているか
- グループ内のばらつき — 同じシューズを履いた記録同士でも、どれだけペースがばらついているか(これは「誤差」に相当する自然なばらつき)
もし「グループ間のばらつき」が「グループ内のばらつき」に比べて十分大きければ、その違いはタグ(この場合はシューズ)によるものだと考えやすくなります。逆に、グループ間のばらつきがグループ内のばらつきに埋もれてしまう程度であれば、「たまたま」の範囲内という判断になります。
この2つのばらつきの比率を数値化したものが F値 です。
4-3. サンプルデータで計算してみる¶
説明のため、3種類のシューズについて、それぞれ5回分のサンプルデータ(1kmあたりのペースを秒単位で表記)を例に、F値を計算してみます。
| シューズ | 記録1 | 記録2 | 記録3 | 記録4 | 記録5 | 平均 |
|---|---|---|---|---|---|---|
| A(軽量) | 318 | 342 | 325 | 331 | 336 | 330.4秒/km(約5:30/km) |
| B(クッション) | 351 | 338 | 356 | 343 | 347 | 347.0秒/km(約5:47/km) |
| C(レース用) | 305 | 322 | 313 | 328 | 308 | 315.2秒/km(約5:15/km) |
全15記録の平均(全体平均)は次の通りです。
全体平均 = (330.4×5 + 347.0×5 + 315.2×5) ÷ 15 = 330.87 秒/km
ステップ1: グループ間のばらつき(群間平方和)を求める¶
各シューズの平均が、全体平均からどれだけ離れているかを2乗し、記録数を掛けて合計します。
| シューズ | 群平均 − 全体平均 | 2乗 | ×件数(5) |
|---|---|---|---|
| A | 330.4 − 330.87 = −0.47 | 0.22 | 1.09 |
| B | 347.0 − 330.87 = 16.13 | 260.29 | 1301.47 |
| C | 315.2 − 330.87 = −15.67 | 245.44 | 1227.22 |
群間平方和(SS_between)= 1.09 + 1301.47 + 1227.22 = 2529.73
ステップ2: グループ内のばらつき(群内平方和)を求める¶
各シューズの中で、記録ごとに自分の群の平均からどれだけ離れているかを2乗して合計します(例としてシューズAの計算を示します)。
| シューズAの記録 | 値 | 群平均(330.4)との差 | 2乗 |
|---|---|---|---|
| 1 | 318 | −12.4 | 153.76 |
| 2 | 342 | 11.6 | 134.56 |
| 3 | 325 | −5.4 | 29.16 |
| 4 | 331 | 0.6 | 0.36 |
| 5 | 336 | 5.6 | 31.36 |
| 合計 | 349.2 |
同じ計算をB・Cにも行うと、Bは194.0、Cは370.8になります。3つを合計すると、
群内平方和(SS_within)= 349.2 + 194.0 + 370.8 = 914.0
ステップ3: 自由度で割って「平均的なばらつき」に直す¶
単純な合計のままでは、グループ数やデータ件数によって値の大きさが変わってしまうため、自由度で割って平均化します。
- 群間の自由度: グループ数 − 1 = 3 − 1 = 2
- 群内の自由度: 全データ数 − グループ数 = 15 − 3 = 12
MS_between = 2529.73 ÷ 2 = 1264.87
MS_within = 914.0 ÷ 12 = 76.17
ステップ4: F値を計算する¶
F = MS_between ÷ MS_within = 1264.87 ÷ 76.17 ≈ 16.61
ステップ5: p値に変換して判定する¶
このF値(自由度2, 12)をF分布に照らし合わせると、p値は 約0.00035 となります。一般的には p値が0.05を下回る場合に「偶然とは考えにくい違いがある」と判断するため、このケースでは「シューズによってペースに意味のある違いがありそうだ」という結果になります。
4-4. 判定基準とこの指標でわかること¶
p値は「グループ間に本当は違いがないとしたときに、たまたまこれくらい(またはそれ以上)の差が観測される確率」を表します。この値が小さいほど、「たまたま」では説明しにくい、つまり意味のある違いがありそうだと判断します。
Dailythm Runの詳細分析機能では、p値をそのまま表示するのではなく、「統計的に意味のある違いが見られました」「はっきりした違いは見られませんでした」というように、わかりやすい言葉に変換して表示しています。
4-5. 実装で工夫した点¶
- 比較したいタグが2つのグループだけの場合も、3つ以上のグループの場合も同じ考え方で判定できるよう、一般的な回帰モデルの比較という枠組みを土台にしています
- タグごとの記録件数が極端に少ない場合は、統計的に信頼できる判定が難しいため、注意書きを添えて表示する設計にしています
- 数値をそのまま出すのではなく、「差がありそうです」「はっきりした差は見られません」といった平易な表現に変換して伝えています
4-6. 限界・今後の展望¶
- 分散分析は「差があるかどうか」を判定するものであり、「なぜ差が生まれるのか」という原因までは教えてくれません
- タグごとの記録件数が少ない場合や、記録の間にばらつきが極端に大きい場合は、結果が不安定になりやすい点にご注意ください
- この記事の計算例は、1つのタグだけで比べる最も基本的な形です。みんなのダッシュボードの分析では、複数の要因を同時に入れた分析(各要因の主効果を見る多元配置)も行い、差の大きさの目安(η²)と、見逃しにくさの目安(検出力。中程度の効果を想定)も出しています
- 探索で見つかった差の読み方: ダッシュボードの「探索」は、多数の指標と要因の組み合わせを総当たりで検定し、p<0.05のものを効果の大きい順に並べます。検定の数が多いほど、偶然で「差あり」と出る組み合わせも混ざるため(20回検定すれば、差がなくても平均1回はp<0.05になります)、この一覧は仮説の候補であり、結論ではありません。多重比較の補正は行っていません
- 1人が何度も走った記録は、互いに独立ではありません(同じ人・同じ端末の癖が共通します)。記録数が多くても、独立な観測が同じ数あるとは限らないため、p値は実際より小さめに出ている可能性があります
4-7. 関連ページ¶
- 詳細分析機能の使い方 — この機能が実際にどう表示されるか
- 2つの指標の「関係の強さ」を数値にする ― 相関分析の考え方
- 記録の見方