چرا بیشتر بک‌تست‌ها دروغ می‌گویند و چطور فریب‌شان را نخوریم

شاید تو هم نمودار سود استراتژی‌هایی را دیده باشی که مثل خط صاف رو به بالا می‌روند: صد درصد سود در سال، بدون افت. وقتی همان استراتژی در بازار واقعی اجرا می‌شود، معمولاً ماجرا کاملاً فرق می‌کند. مشکل از بک‌تست نیست؛ از بک‌تست اشتباه است.

دام اول: بیش‌برازش (Overfitting)

اگر پارامترها را آن‌قدر عوض کنی که نتیجه روی داده‌ی گذشته عالی شود، در واقع استراتژی را به نویز همان دوره عادت داده‌ای. میانگین ۱۷ روزه به‌جای ۲۰، حد ضرر ۱٫۳ درصد به‌جای ۱٫۵... هر کدام کمی نتیجه را بهتر می‌کند، ولی مجموعه‌شان چیزی می‌سازد که فقط گذشته را حفظ کرده است.

• قوانین ساده و کم‌پارامتر معمولاً ماندگارترند.
• استراتژی را روی چند نماد و چند دوره‌ی متفاوت امتحان کن. اگر فقط روی یکی کار می‌کند، به آن شک کن.
• بخشی از داده را کنار بگذار و فقط در آخر روی آن تست کن.

دام دوم: دیدن آینده (Look-ahead bias)

رایج‌ترین خطای فنی این است که استراتژی از اطلاعاتی استفاده کند که در لحظه‌ی تصمیم هنوز وجود نداشته. مثلاً تصمیم بر اساس قیمت بسته‌شدن کندل گرفته شود ولی ورود با قیمت باز شدن همان کندل حساب شود. نتیجه‌ی این خطا معمولاً سودهای غیرواقعی و نرخ برد خیلی بالاست.

در یک بک‌تست درست، شرط‌ها فقط روی کندل بسته‌شده بررسی می‌شوند و ورود در قیمت باز شدن کندل بعدی انجام می‌شود؛ همان کاری که در بازار واقعی هم ممکن است.

دام سوم: فراموش کردن هزینه‌ها

هر معامله کارمزد دارد و در بازار واقعی همیشه دقیقاً در قیمتی که می‌خواهی پر نمی‌شوی. استراتژی‌ای که روزی ده‌ها معامله‌ی کوچک انجام می‌دهد، ممکن است بدون کارمزد سودده و با کارمزد زیان‌ده باشد. همیشه بپرس: کارمزد در محاسبه هست؟

دام چهارم: دوره‌ی کوتاه یا یک‌طرفه

استراتژی‌ای که فقط در شش ماه صعودی تست شده، فقط ثابت کرده که در بازار صعودی کار می‌کند. یک بک‌تست قابل اعتماد باید هم روند صعودی، هم نزولی و هم بازار رنج را دیده باشد و تعداد معامله‌هایش آن‌قدر باشد که نتیجه شانسی نباشد. ده معامله برای قضاوت کافی نیست.

به چه عددهایی نگاه کنیم؟

1. حداکثر افت سرمایه: بدترین فاصله از اوج تا کف. آیا روانی تحمل این افت را داری؟
2. فاکتور سود: مجموع سودها تقسیم بر مجموع زیان‌ها. بالای ۱٫۳ معمولاً قابل توجه است.
3. میانگین R: هر معامله به‌طور متوسط چند برابر ریسکش سود یا زیان داده است.
4. مقایسه با خرید و نگهداری: اگر استراتژی از نگه داشتن ساده‌ی دارایی بدتر است، چرا پیچیده‌اش کنیم؟

جمع‌بندی

بک‌تست قرار نیست ثابت کند استراتژی‌ات عالی است؛ قرار است قبل از اینکه پول واقعی‌ات را از دست بدهی، نقاط ضعفش را نشانت دهد. بک‌تستی که بدبینانه و دقیق ساخته شده، از ده بک‌تست خوش‌بینانه ارزشمندتر است.