コンテンツにスキップ

「たまたま」と「本当の違い」を見分ける ― 分散分析の考え方

テックノート No.4

「シューズAとシューズBで平均ペースが違う」——これを見たとき、次の疑問が浮かびます。それは本当にシューズの違いによるものでしょうか。それとも、たまたまその日のコンディションがよかっただけで、次に走ればまた変わってしまう程度の「誤差」なのでしょうか。

Dailythm Runの詳細分析機能にある「タグによる違いの判定」は、この疑問に統計的な目安を与えるための機能です。この記事では、その裏側にある考え方と、サンプルデータを使った計算の過程をそのまま紹介します。結果を鵜呑みにするのではなく、どういう計算で「違いがありそうです」という結論が出てくるのかを知っていただくことが目的です。

4-1. 平均の差だけでは分からないこと

同じ距離を何度走っても、毎回まったく同じペースになることはありません。体調、気温、コースの混み具合など、さまざまな要因でペースは記録ごとにばらつきます。

そのため、「シューズAの平均ペースは5:30/km、シューズBの平均ペースは5:47/kmだった」という結果があっても、それだけでは次のどちらなのか判断できません。

  • シューズの違いが本当にペースに影響している
  • たまたまシューズAを履いた日にコンディションが良かっただけで、シューズ自体には差がない

これを見分けるには、「グループ間の平均の差」が、「そもそも記録ごとに自然に生じるばらつき」に比べて、十分に大きいと言えるかどうかを確認する必要があります。この考え方に基づく手法が、統計学における分散分析(ANOVA: Analysis of Variance)です。

Overlapping groups Hard to tell them apart Separated groups Clearly different

Fig. 4-1-1. Group A(teal)と Group B(red)の平均が同じくらい離れていても、ばらつき方によって「本当に違う」と言えるかは変わってくる

4-2. アプローチ: 分散分析(ANOVA)の考え方

分散分析の基本的な発想は、データ全体のばらつきを次の2種類に分解することです。

  1. グループ間のばらつき — シューズA・B・Cそれぞれの平均が、全体の平均からどれだけ離れているか
  2. グループ内のばらつき — 同じシューズを履いた記録同士でも、どれだけペースがばらついているか(これは「誤差」に相当する自然なばらつき)

もし「グループ間のばらつき」が「グループ内のばらつき」に比べて十分大きければ、その違いはタグ(この場合はシューズ)によるものだと考えやすくなります。逆に、グループ間のばらつきがグループ内のばらつきに埋もれてしまう程度であれば、「たまたま」の範囲内という判断になります。

この2つのばらつきの比率を数値化したものが F値 です。

4-3. サンプルデータで計算してみる

説明のため、3種類のシューズについて、それぞれ5回分のサンプルデータ(1kmあたりのペースを秒単位で表記)を例に、F値を計算してみます。

シューズ 記録1 記録2 記録3 記録4 記録5 平均
A(軽量) 318 342 325 331 336 330.4秒/km(約5:30/km)
B(クッション) 351 338 356 343 347 347.0秒/km(約5:47/km)
C(レース用) 305 322 313 328 308 315.2秒/km(約5:15/km)

全15記録の平均(全体平均)は次の通りです。

全体平均 = (330.4×5 + 347.0×5 + 315.2×5) ÷ 15 = 330.87 秒/km

ステップ1: グループ間のばらつき(群間平方和)を求める

各シューズの平均が、全体平均からどれだけ離れているかを2乗し、記録数を掛けて合計します。

シューズ 群平均 − 全体平均 2乗 ×件数(5)
A 330.4 − 330.87 = −0.47 0.22 1.09
B 347.0 − 330.87 = 16.13 260.29 1301.47
C 315.2 − 330.87 = −15.67 245.44 1227.22
群間平方和(SS_between)= 1.09 + 1301.47 + 1227.22 = 2529.73

ステップ2: グループ内のばらつき(群内平方和)を求める

各シューズの中で、記録ごとに自分の群の平均からどれだけ離れているかを2乗して合計します(例としてシューズAの計算を示します)。

シューズAの記録 値 群平均(330.4)との差 2乗
1 318 −12.4 153.76
2 342 11.6 134.56
3 325 −5.4 29.16
4 331 0.6 0.36
5 336 5.6 31.36
合計 349.2

同じ計算をB・Cにも行うと、Bは194.0、Cは370.8になります。3つを合計すると、

群内平方和(SS_within)= 349.2 + 194.0 + 370.8 = 914.0

ステップ3: 自由度で割って「平均的なばらつき」に直す

単純な合計のままでは、グループ数やデータ件数によって値の大きさが変わってしまうため、自由度で割って平均化します。

  • 群間の自由度: グループ数 − 1 = 3 − 1 = 2
  • 群内の自由度: 全データ数 − グループ数 = 15 − 3 = 12
MS_between = 2529.73 ÷ 2  = 1264.87
MS_within  = 914.0  ÷ 12  = 76.17

ステップ4: F値を計算する

F = MS_between ÷ MS_within = 1264.87 ÷ 76.17 ≈ 16.61

ステップ5: p値に変換して判定する

このF値(自由度2, 12)をF分布に照らし合わせると、p値は 約0.00035 となります。一般的には p値が0.05を下回る場合に「偶然とは考えにくい違いがある」と判断するため、このケースでは「シューズによってペースに意味のある違いがありそうだ」という結果になります。

300s Grand mean (330.9s) 330.4s Group A 347.0s Group B 315.2s Group C

Fig. 4-3-1. 3つのグループの平均ペースと、全体平均(破線)。グループ間の差(群間のばらつき)を、記録ごとの自然なばらつき(群内のばらつき)と比べてF値を求める

4-4. 判定基準とこの指標でわかること

p値は「グループ間に本当は違いがないとしたときに、たまたまこれくらい(またはそれ以上)の差が観測される確率」を表します。この値が小さいほど、「たまたま」では説明しにくい、つまり意味のある違いがありそうだと判断します。

Dailythm Runの詳細分析機能では、p値をそのまま表示するのではなく、「統計的に意味のある違いが見られました」「はっきりした違いは見られませんでした」というように、わかりやすい言葉に変換して表示しています。

4-5. 実装で工夫した点

  • 比較したいタグが2つのグループだけの場合も、3つ以上のグループの場合も同じ考え方で判定できるよう、一般的な回帰モデルの比較という枠組みを土台にしています
  • タグごとの記録件数が極端に少ない場合は、統計的に信頼できる判定が難しいため、注意書きを添えて表示する設計にしています
  • 数値をそのまま出すのではなく、「差がありそうです」「はっきりした差は見られません」といった平易な表現に変換して伝えています

4-6. 限界・今後の展望

  • 分散分析は「差があるかどうか」を判定するものであり、「なぜ差が生まれるのか」という原因までは教えてくれません
  • タグごとの記録件数が少ない場合や、記録の間にばらつきが極端に大きい場合は、結果が不安定になりやすい点にご注意ください
  • この記事の計算例は、1つのタグだけで比べる最も基本的な形です。みんなのダッシュボードの分析では、複数の要因を同時に入れた分析(各要因の主効果を見る多元配置)も行い、差の大きさの目安(η²)と、見逃しにくさの目安(検出力。中程度の効果を想定)も出しています
  • 探索で見つかった差の読み方: ダッシュボードの「探索」は、多数の指標と要因の組み合わせを総当たりで検定し、p<0.05のものを効果の大きい順に並べます。検定の数が多いほど、偶然で「差あり」と出る組み合わせも混ざるため(20回検定すれば、差がなくても平均1回はp<0.05になります)、この一覧は仮説の候補であり、結論ではありません。多重比較の補正は行っていません
  • 1人が何度も走った記録は、互いに独立ではありません(同じ人・同じ端末の癖が共通します)。記録数が多くても、独立な観測が同じ数あるとは限らないため、p値は実際より小さめに出ている可能性があります

4-7. 関連ページ