화려한 백테스트 승자가 검증에서 전부 무너진 날: 승률이 높다고 돈을 버는 게 아니다

세 줄 요약입니다.

초기 자본부터 다시 설계하는 자동매매 연구 도구를 만들고, 코인과 시간대와 기법을 바꿔가며 1000건이 넘는 백테스트를 돌렸습니다.
과거 데이터에서 세 자릿수 수익을 낸 화려한 전략들이 안 본 데이터로 검증하자 거의 전부 무너졌습니다.
빌더에게 남는 교훈은 하나입니다. 큰 탐색의 최고값은 대개 착시이고, 봉인한 검증 데이터와 통계 보정을 거치기 전에는 그건 증명이 아니라 후보일 뿐입니다.

검증된 도구가 있어도 원점에서 다시 시작했다

새 수익 파이프라인은 기존에 잘 도는 전략을 출발점으로 삼지 않고 앵커를 지운 채 시작했습니다. 이미 손에 익은 방식이 있으면 그걸 정답으로 두고 뒤에서 근거를 맞추기 쉽습니다. 그게 바로 자기기만의 입구라서, 이번에는 "무엇이 검증됐나"가 아니라 "무엇이 정말 재현되나"를 먼저 묻기로 했습니다.

작업은 세 갈래로 나눴습니다.

설계 담당이 전략 후보와 자본 배분, 리스크 파라미터를 먼저 제안합니다.
검증 담당이 그 설계의 가정과 논리, 재현 가능성을 독립적으로 반박합니다.
구현 담당이 수렴한 안을 코드와 백테스트로 실측합니다. 실주문과 자금 이동은 사람이 최종 확정하기 전까지 하나도 일어나지 않습니다.

역할은 나눴지만 의견은 전원 자유롭게 냅니다. 서로의 결론을 반박할 수 있는 구조가 이 프로젝트의 안전장치입니다.

승률이 높은 전략이 오히려 돈을 잃었다

첫 대량 탐색에서 가장 또렷하게 드러난 사실은 승률과 수익이 같은 방향이 아니라는 것이었습니다. 되돌림을 노리는 전략들은 이기는 비율이 60퍼센트를 넘겨 가장 높았는데, 정작 누적 손익은 마이너스였습니다. 작게 여러 번 이기다가 크게 한 번 잃는 구조였습니다. 반대로 추세를 따라가는 전략은 이기는 비율이 30퍼센트대로 낮은데도 수익은 플러스였습니다. 작은 손실을 여러 번 감수하다가 큰 흐름에서 크게 버는 구조였습니다.

이 지점이 초보자가 가장 착각하기 쉬운 곳입니다. 승률이 높은 화면은 심리적으로 편안하지만, 통장을 채우는 건 승률이 아니라 이길 때와 질 때의 크기 차이입니다.

화려한 수익률이 검증을 통과하지 못했다

수익률 표의 상위 전략들은 엄격한 검증을 거의 하나도 통과하지 못했습니다. 개발 구간을 나누고, 절대 건드리지 않은 검증 구간과 마지막에 한 번만 채점하는 봉인 구간을 따로 뒀습니다. 그리고 수백 개 조합 중 최고값을 골랐다는 사실 자체를 보정하기 위해 다중검정 통계를 적용했습니다.

결과는 냉정했습니다.

개발 구간에서 세 자릿수 수익을 낸 조합이 봉인 구간에서는 0 근처, 혹은 마이너스로 주저앉았습니다.
여러 코인과 시간대를 아우른 다중검정 지표가 전부 기준을 넘겼습니다. 운과 실력이 통계적으로 구분되지 않는다는 뜻입니다.
손절과 필터를 붙여도 최대 낙폭은 거의 줄지 않았습니다. 관건이 전략이 아니라 자본 크기와 레버리지 제어라는 신호였습니다.

그래서 현재 탐색 범위 안에서는 재현 가능한 우위가 없다는 판정을 내렸습니다. 1000건이 넘는 결과 중 가장 빛나던 숫자들은 선택 편향과 과거 데이터 안에서만 성립하는 착시로 확인됐습니다. 단순한 방향성 지표 매매에는 반복 가능한 돈벌이 구멍이 안 보였고, 진짜 우위는 방향을 맞히는 쪽이 아니라 시장 구조 자체에서 나오는 중립형 전략 쪽에 있을 가능성이 크다는 것을 다음 탐색 방향으로 잡았습니다.

오늘 하루를 관통한 판단

지금 알게 된 게 다행입니다. 만약 화려한 수익률 표를 믿고 거기에 자본과 레버리지를 실었다면 그 숫자는 수익이 아니라 손실이 됐을 겁니다. 정직한 검증은 돈 버는 걸 막는 장벽이 아니라 가짜 우위에 자본을 거는 것을 막는 보호장치입니다. 검증을 통과 못 한 것도 결과이고, 오히려 지금 단계에서 가장 값진 결과입니다.

빌드인퍼블릭에서 자랑할 게 성공만이라고 생각하면 이런 날은 숨기게 됩니다. 저는 반대로 봅니다. 무너뜨리는 검증을 스스로 돌리고 그 결과를 그대로 적는 것이 약속이 아니라 증거를 남기는 방식입니다. 만든다, 분석한다, 기록한다. 오늘은 세 번째가 특히 중요했습니다.

이 글은 특정 종목이나 매매를 권하는 내용이 아니며, 개인 계좌나 포지션 수치는 담지 않았습니다. 여기서 공개한 것은 무엇을 어떻게 판단했나이지, 무엇을 얼마에 샀나가 아닙니다.