우리가 백테스트를 믿지 않는 이유

비유

시험이 끝난 뒤에 답안지를 보고 답을 적으면 누구나 만점을 받습니다. 백테스트도 똑같아서, 아직 나오지 않은 가격을 한 칸이라도 당겨 쓰면 성적은 저절로 좋아집니다.

어떻게 재나

리밸런스 시점마다, 그 시점에는 아직 존재하지 않던 값을 참조했는지 감사기가 세어 봅니다. 후보 칸 전부에 대해 리밸런스마다 돌렸습니다.

오해하기 쉬운 것

감사기 자체도 먼저 시험했습니다. 일부러 미래를 훔쳐보는 가짜 평가기를 넣어 감사기가 그걸 잡아내는지 확인한 뒤에 본 측정을 돌렸습니다. 그래서 위 측정값은 “검사를 안 해서 안 걸린 것”이 아니라 “검사가 작동하는 것을 확인하고 잰 값”입니다.

비유

매출이 아니라 순이익을 보는 것입니다. 가게가 하루 100만 원어치를 팔아도 재료비와 임대료를 빼고 나면 남는 것이 없을 수 있습니다.

어떻게 재나

체결마다 수수료와 슬리피지를, 포지션을 들고 있는 동안에는 펀딩비를 빼고 남은 잔액을 봅니다. 비용을 빼기 전 숫자는 이 관문에서 쓰지 않습니다.

오해하기 쉬운 것

이 관문이 묻는 것은 “벌었는가” 하나뿐입니다. BTC를 그냥 사서 들고 있었을 때보다 나았는가는 관문이 아니고, 통과 조건으로 쓰지도 않았습니다.

비유

여섯 사람이 동전을 열 번씩 던지면 그중 한 명쯤은 앞면이 일곱 번 나옵니다. 그 사람이 동전 던지기를 잘하는 것은 아닙니다. 여러 번 시도할수록 “잘 나온 하나”는 저절로 생깁니다.

어떻게 재나

몇 개의 조합을 시도했는지를 계산에 집어넣어, 이 정도 성적이 우연히 나올 수 있었던 정도를 확률로 되돌립니다. 시도한 조합이 많을수록 같은 성적의 값이 내려갑니다.

오해하기 쉬운 것

확률이지 점수가 아닙니다. 높을수록 좋은 성적이라는 뜻이 아니라, “운이 아니라고 말할 수 있는 정도”입니다. 합격선도 확률로 미리 정해뒀습니다.

붙는 단서

여기에 단서가 하나 더 붙습니다. 후보 칸들이 서로 비슷한 설정이라 “얼마나 다양하게 시도했는가”가 실제보다 작게 잡혔고, 그 방향은 확률을 실제보다 높게 만듭니다. 즉 위 값은 상한값이고, 진짜 값은 이보다 낮습니다.

비유

면접에서 1등으로 뽑은 사람이 입사한 뒤 동기의 절반보다 아래로 처지는 비율을 재는 것과 같습니다. 그 비율이 높으면 지원자들이 나쁜 것이 아니라, 면접 방식이 사람을 잘못 고르고 있는 것입니다.

어떻게 재나

측정 구간을 여러 번 반씩 갈라, 앞쪽 절반에서 1등이던 조합이 뒤쪽 절반에서 중간값 아래로 떨어지는 비율을 셉니다.

오해하기 쉬운 것

전략이 실패할 확률이 아닙니다. 고르는 방식의 성적표입니다. 그래서 이 관문에서 떨어졌다는 것은 “이 전략은 진다”가 아니라 “이 절차로 고른 1등은 믿을 것이 못 된다”는 뜻이고, 그래서 우리는 1등 칸을 고르지 않고 미리 지정해 둔 칸을 그대로 씁니다.

비유

같은 카드 뭉치를 다시 섞어 돌려보는 것입니다. 카드의 구성은 그대로고 나오는 순서만 바뀝니다. 순서만 바뀌었는데 결과가 크게 달라진다면, 원래 성적의 상당 부분은 순서 운이었던 것입니다.

어떻게 재나

실제로 일어난 거래들의 순서를 수천 번 다시 섞어 각각의 최종 잔액을 구하고, 그중 나쁜 쪽에서 5% 지점에 있는 값을 봅니다. 아래 측정값이 그 값이고, 그 밑의 기준 줄이 거기 걸어둔 조건입니다.

오해하기 쉬운 것

미래를 예측하는 계산이 아닙니다. 이미 일어난 거래를 다시 배열해 볼 뿐이라, 이 구간에 없던 종류의 사건은 이 계산에도 없습니다.

비유

롱과 숏을 같이 들면 시장이 오르든 내리든 상관없어집니다. 그런데 2022년은 방향이 문제였던 해가 아니라 “오르던 것이 계속 오른다”는 전제 자체가 뒤집힌 해였고, 그건 양쪽을 다 들고 있어도 막히지 않습니다.

어떻게 재나

2022년 한 해의 손익만 따로 떼어 봅니다. 기준은 “그 해에 잃지 않았는가”였습니다.

오해하기 쉬운 것

못 버텼습니다. 그래서 “하락장에서도 번다”는 주장을 철회했습니다. 떨어지면 그 주장을 접는다는 처리도 측정 전에 정해둔 것이고, 그래서 이 칸은 지우지 않고 그대로 둡니다.