一番成績の良い組み合わせを選んではいけない理由
過去で一番成績の良かった組み合わせは、次の期間では外れやすい
手法やEAを選ぶとき、成績表の一番上にある組み合わせを使いたくなります。過去で一番良かったのだから、これからも良いはずだ、という考えです。ところが、多くの組み合わせから「一番良かったもの」を選ぶと、その成績の多くは運で、次の期間には持ち越されません。このページでは、コイン投げのたとえと、実際の移動平均の成績で、そのことを確かめます。このサイトが検証で1通りしか試さない理由も、ここにあります。
コイン投げで一番表が多かった人も、もう一度投げれば平均に戻る
100人が、それぞれコインを10回ずつ投げ、表が出た回数を数えます。これが1回目です。コインの腕前は関係なく、運だけの勝負です。それでも、1回目の最多は9回の人でした。
左の図が1回目の分布で、多くの人は5回前後に集まっています。最多の人は、右端の少し離れた位置にいます。この人が「コイン投げの名人」かというと、そうではありません。たくさんの人が投げたので、運よく表が続いた人が1人混じっただけです。
この人にもう一度10回投げてもらった2回目は、8回でした。この1回の例では、2回目も高いままです。1回だけでは、たまたま続くこともあるので、これで結論は出せません。
そこで、同じことを1000回くり返しました。1回目の最多の人は、平均で8.77回も表を出していました。ところが、その同じ人たちの2回目は、平均で4.96回です。コイン本来の平均である5回に、ほぼ戻っています。1回目の好成績は、実力ではなく運だったからです。
実際の移動平均でも、前半で1位だった組み合わせは、後半では上位に残らなかった
同じことを、実際の売買ルールでも試しました。移動平均線：直近の一定本数の終値の平均を、1本ずつずらしながらつないだ線です。細かい上下をならして、大まかな流れを見やすくします。 くわしくを使うルールで、短期線と長期線の本数の組み合わせを変えると、全部で39通りになります。USDJPYの1時間足で、前半（2015〜2020年）と後半（2021〜2026年）に期間を分け、それぞれの合計損益で順位を付けました。コストの条件は、どの組み合わせも同じです。
前半で1位だったのは、短期30本、長期75本の組み合わせです。この組み合わせは、後半では39通り中17位でした。上位には残らず、ちょうど真ん中あたりです。
図の1つの点が、1つの組み合わせです。右にあるほど前半の成績が良く、上にあるほど後半の成績が良い組み合わせです。前半1位は、右端の大きな点です。前半の成績が良い右側の点は、後半の高さがばらばらで、上にも下にも散らばっています。前半の成績から後半の成績を当てるのは、難しそうです。
前半と後半の順位の一致度は0.04で、ほぼ無関係でした。前半の順位がよくても、後半の順位がよいとは言えなかったことになります。また、後半に39通りの真ん中に位置した組み合わせの合計損益は-154.5 pipsで、マイナスでした。
これは、期間をこの1か所で切った1回の例です。切り方や銘柄を変えれば、前半1位が後半も上位に残ることもあります。それでも今回は、コイン投げのたとえと同じ形が、実際の売買ルールでも現れました。
多く試すほど、運のよい1つが一番上に来やすくなる
組み合わせが多いほど、偶然に成績の良いものが混じる確率は上がります。コイン投げでは、投げる人が増えるほど、表の多い人が現れます。1人だけなら、表の回数は平均で5回です。それが100人の中の最多になると、平均で8.77回まで上がりました。
売買ルールの組み合わせでも同じです。多くの設定を試して一番良いものを選ぶ作業は、運の最も良かった1つを選ぶ作業と区別できません。これが過剰最適化：過去のデータで一番成績の良い設定を探し当てた結果、その期間にだけ合った設定を選んでしまうことです。別の期間では、成績が元に戻りやすくなります。 くわしくです。選んだ設定は、過去の期間にだけ合っていて、次の期間には合いません。
このサイトは1通りだけ試し、複数試したときは全部を載せる
このサイトでは、検証する前に、試す組み合わせを決めます。移動平均クロスの検証（1時間足の検証ページ）では、1通りだけを試しました。結果を見てから設定を変えることも、していません。
複数の組み合わせを試した場合は、成績の良し悪しにかかわらず、試した全部を載せます。検証ページの冒頭にある「試した組み合わせ」の欄で、何通り試したかが分かります。
ほかの手法やEAを見るときは、次の4点を確かめる
成績表を見る側でも、同じ落とし穴にはまらないための確認ができます。
- 何通り試した結果かが、書いてあるか。 書かれていなければ、たくさん試した中の一番良いものだけが載っている可能性があります。
- 試した期間とは別の期間で、確かめているか。 設定を選んだ期間の成績は、運を含んでいます。選んだ後の、別の期間の成績を見てください。
- 成績が、右肩上がりの曲線1本だけになっていないか。 でたらめな売買でも、黒字の曲線は作れます。コイン投げの売買など、偶然との比較が載っているかを確かめてください。
- 設定を少し変えたとき、成績が近いままか。 隣の設定で成績が大きく崩れるなら、選んだ設定の好成績は運の可能性があります。