Para hablar sobre los peligros en la realización de los backtests presentamos el artículo «The Deflated Sharpe Ratio: Correcting for selection bias, backtest overfitting and non-normality», redactado por David H. Bailey y Marcos López de Prado y publicado por Journal of Portfolio Management, Forthcoming, en Julio de 2014.

El paper alerta que, con la llegada de grandes conjuntos de datos financieros, el aprendizaje automático y la computación de alto rendimiento, aparecen una serie de prácticas que llevan a unos resultados backtest de rendimiento que no se ajustan a la realidad:

• Los sobreajustes retrospectivos en los backtests (overfitting)
• La exposición de solo los resultados positivos (sesgo de selección)

En AInvestor nuestro objetivo es ayudar al gestor a sacar el máximo provecho a su estrategia a largo plazo, y por lo tanto debemos demostrar que nuestro modelos funcionan tanto si el gestor acierta en su estrategia como si no. Para ello hay que mostrar el rendimiento en múltiples escenarios.

Somos conscientes de la facilidad de obtener resultados alterados en los backtests, y es por eso que mezclamos las mejores prácticas tanto en data science como en la realización de los mismos: 

• Todos nuestros modelos han sido tratados con técnicas de regularización para evitar el overfitting (Regularización L1, Regularización L2, early stopping, etc.)
• Todas las validaciones han sido realizadas con el método de Walk Forward.

En cuanto a la realización de los backtests, además de solamente utilizar datos out-of-sample, seguimos la recomendación del paper y planificamos las pruebas con anterioridad, realizamos el mínimo número posible y mostramos todos los resultados con el máximo de transparencia.