Overfitting
Strategie te perfect passend op historische data.
Overfitting is wanneer je een model of strategie zo precies kalibreert op historische data dat het patronen 'ziet' die in werkelijkheid ruis zijn.
Klassiek voorbeeld:
Strategie: 'Koop op woensdagen na een rode maandag in maart, mits VIX > 18 en dollar-index < 95.' Past perfect op verleden, totaal random.
Hoe het ontstaat:
Elke parameter die je toevoegt, elke regel die je bouwt, vergroot kans op overfitting. 'Multiple testing' — als je 1000 strategies test, is altijd een lucky paar bij die mooie historische returns laat zien.
Voor data scientists:
P-hacking: torturing the data until it confesses. Voldoet aan elke statistische test maar betekent niets.
Voor backtests:
Vuistregel:
- Hoe meer parameters → hogere kans op overfitting
- Werkt mooi op in-sample data, faalt out-of-sample
- 'Out of sample' test is must
Hoe vermijden:
- Eenvoudige strategieën met weinig parameters
- Test op verschillende perioden
- Walk-forward analyse
- Realistic transaction costs
- Skepticism als resultaten 'magisch' zijn