좋은 숫자를 의심하는 법

쉬운 요약

투자에서 인상적인 숫자를 보면 마음이 흔들립니다. 하지만 좋은 숫자일수록, 그것이 어떻게 만들어졌는지를 먼저 물어보는 습관이 필요합니다.

핵심 질문은 단순합니다. 이 성과는 진짜 실력에서 나온 것인가, 아니면 과거 데이터에 지나치게 맞춰진 결과인가입니다.

핵심 개념

대부분의 화려한 성과는 백테스트, 즉 과거 데이터에 전략을 적용한 결과입니다. 과거에 잘 맞았다는 것이 미래를 보장하지는 않습니다.

특히 규칙을 과거에 너무 잘 맞추면 과최적화가 생깁니다. 과거의 우연한 패턴까지 외워 버린 전략은, 새로운 데이터에서 쉽게 무너집니다.

왜 중요한가

여러 조합을 계속 시도하다 보면, 순전히 운으로 좋아 보이는 결과가 언젠가 나옵니다. 이렇게 좋은 결과가 나올 때까지 반복해서 찾는 것을 데이터 스누핑이라고 합니다.

문제는 이런 방식으로 만들어진 숫자가 겉보기에는 매우 그럴듯하다는 점입니다. 그래서 숫자 자체보다, 그 숫자가 어떤 과정을 거쳐 나왔는지가 더 중요합니다.

흔한 오해

높은 수치가 곧 좋은 전략이라고 믿는 것이 가장 흔한 오해입니다. 수치가 높을수록 오히려 어떻게 만들어졌는지 더 따져 봐야 할 때가 많습니다.

또한 하나의 인상적인 그래프만 보고 판단하기 쉽지만, 비용을 넣었는지, 여러 기간에서 버텼는지, 규칙이 사후에 바뀌지 않았는지를 함께 확인해야 합니다.

최종 정리

좋은 숫자를 의심하는 것은 냉소가 아니라 방어입니다. 이 사이트가 전략을 읽을 때마다, 결론보다 과정을 먼저 살피는 이유가 여기에 있습니다.