同じ値動きを
何度も数えないために

研究には、公開前の監査工程があります

Strategy Labの研究は、集計が終わった時点では公開しません。結論を出す前に、「この結果が間違っているとしたら、原因は何か」を洗い出す監査工程を置いています。

今回のGOLD研究でも、この工程でサンプルの重複を1件検出しました。どのようなものだったかを公開します。

実例：0.2ATRの初動を調べた研究

「小さな初動は、そのまま伸びるのか」を調べるテーマがありました。価格が0.20ATR動いた瞬間をイベントとし、その後の方向継続を見るものです。

集計の初期段階では、イベント数が非常に多く出ました。監査でこの数字を疑いました。理由は単純で、多すぎたからです。

何が起きていたか

このテーマのイベントは「価格が0.20ATR動いた瞬間」です。ところがGOLDの5分足では、これはほぼ毎バー成立します。

つまり——10時00分のイベントと、10時05分のイベントと、10時10分のイベントが、ほとんど同じ値動きを3回数えていました。

これは擬似反復（pseudoreplication）と呼ばれる、統計では古典的な失敗です。

なぜ重複を除く必要があるのか

信頼区間の幅は、おおよそサンプル数の平方根に反比例して縮みます。Nが36万件あれば、区間は極めて狭くなります。

サンプルが多いことは、良い研究の証明にはなりません。必要なのは「独立したサンプルが多いこと」であって、同じ現象を何度も数え直した数字には、その分の情報が入っていません。

どう修正したか

このテーマの観測期間は240分です。そこで、採用するイベント同士が240分以内に重ならないよう間隔を空けました。

240分という間隔は「効果が有意になるように選んだ」ものではありません。このテーマの観測期間そのものであり、検証を始める前から決まっていた数字を使っただけです。恣意的に選べる余地がないよう、あらかじめ固定してあります。

この処理をした結果

修正後、このテーマの結論は「差は確認できなかった」でした。

もし重複を含んだまま狭い信頼区間で公開していたら、存在しない優位性を報告していた可能性があります。この工程を置いている理由がここにあります。

他の研究にも同じ監査を適用しました

1件見つかった以上、他も疑うべきです。同じ重複チェックを10研究すべてに適用し、各研究のレポートには元のバー数と、重複除去後のイベント数の両方を記載しています。重複がどれだけ含まれていたかを、読む側が確認できる状態にしてあります。

あわせて、次の監査も全研究に実施しています。

• 先読み（未来の情報が紛れ込んでいないか）の構造的な検証
• 「効果が出ないはず」の条件で本当に出ないかの確認（Negative Control）
• 事前に決めた範囲でパラメータを動かしたときの安定性
• 特定の1年を除いても結論が変わらないかの確認
• 主要な数値の、別実装による再計算

なぜ公開するのか

研究の信頼性は「良い結果が出たこと」では決まらないと考えています。自分の集計を疑える工程があること、そしてそれを外から確認できる形で残すことだと考えています。