Cuéntame una cosa: ¿tú cómo validas tu sistema de trading? ¿Cómo puedes estar seguro de que siguiendo esas señales de entrada y salida del mercado tendrás resultados rentables? ¿Tan sólo porque has ejecutado un backtest y te ha dado buenos resultados?
En el artículo de hoy te propongo repensar tu manera de trabajar y comenzar a aplicar el método científico como procedimiento de desarrollo y validación de los sistemas de trading.
Aplicar el método científico a los sistemas de inversión y trading
Esta es la idea principal que desarrolla David Aronson en su libro Evidence Based Technical Analysis. Bueno, específicamente él propone utilizar el método hipotético-deductivo para evaluar la efectividad de las señales en un sistema de trading.
La teoría dice que el método hipotético-deductivo consta de 5 fases:
- Observación
- Hipótesis
- Predicción
- Verificación
- Conclusiones
¿Cómo quiere aplicar Aronson este método para testar un sistema de trading?
Veamos un ejemplo
Ejemplo
Observación:
Analizamos el comportamiento del sp500. Observamos que cuando el índice sobrepasa su media móvil de 200 sesiones, el índice generalmente continúa subiendo durante los siguientes X meses.
Hipótesis:
Aquí viene la fase inductiva.
Basándonos en nuestras observaciones de la fase anterior, formulamos la siguiente hipótesis 200-H.
200-H: «Cuando el precio cruza al alza su media móvil de 200, podremos obtener ganancias tomando posiciones largas durante los 3 meses siguientes».
Predicción:
Si la hipótesis 200-H es verdadera, entonces el backtest mostrará buenos resultados.
Sin embargo, si directamente buscamos corroborar esta hipótesis, nos encontraremos con una falacia lógica (ver wikipedia afirmación del consecuente)
Para sortear este inconveniente nos apoyaremos en el método de trabajo de la estadística inferencial y plantearemos dos hipótesis mutuamente excluyentes: una hipótesis nula y otra hipótesis alternativa. Sólo una de ellas puede ser cierta.
En estadística la hipótesis nula es la suposición de base. Nuestro objetivo es proponer una hipótesis alternativa (que es la que nos interesa realmente), examinar los datos y en el caso de que exista suficiente evidencia, rechazar la hipótesis nula.
Ahora viene la cuestión clave: siguiendo las bases de la estadística inferencial, los datos nunca nos van a permitir aceptar nuestra hipótesis alternativa. Si seguimos el método científico, lo único que podemos hacer es refutar, o no lograr refutar, la hipótesis nula.
Siguiendo con el ejemplo anterior:
Hipótesis nula (H0): Los cruces al alza del precio sobre su media móvil de 200, NO generan ganancias en posiciones largas durante los 3 meses siguientes.
Si esta hipótesis es verdadera, entonces los resultados del backtest NO serán rentables.
Como puedes comprobar el planteo es al revés de lo que realizas (o realizamos porque yo también lo hago) cuando validamos un sistema de trading.
Con este método comenzamos postulando que nuestro sistema no gana dinero y esta es la hipótesis que intentamos refutar.
Si mediante la evidencia podemos demostrar que nuestro sistema da resultados mayores a cero, entonces podremos refutar H0 y demostrar que tenemos un sistema rentable.
Verificación
¿Cómo podemos verificar las hipótesis? Con el análisis estadístico de los resultados del backtest.
El rechazo de la hipótesis nula se produce cuando la rentabilidad media obtenida en los tests es estadísticamente significativamente.
Supongamos que el backtest muestra resultados positivos. Este resultado puede ser consecuencia de un error en la muestra (ese backtest en particular simplemente es suerte) o puede ser porque H0 es errónea.
Siguiendo el ejemplo, lo que necesitamos para falsificar la hipótesis nula es obtener una rentabilidad tan alta (tan improbable) que no sea razonable atribuirla simplemente a la suerte.
Si seguimos con el ejemplo de Aronson, para poder rechazar H0 la rentabilidad tiene que ser tan alta que sólo tenga 0.05 o menos de probabilidad de ocurrir dentro del marco de una hipótesis nula verdadera.
Dicho de otra manera: un test estadístico con un 95% de confianza significa que hay un 5% de posibilidades que esta rentabilidad sólo se trate de suerte y que la hipótesis nula sea verdadera.
Conclusiones
Este método de trabajo se basa en las pruebas indirectas. Para corroborar que la hipótesis que nos interesa es verdadera, debemos demostrar que la hipótesis opuesta es falsa.
Qué ventajas tiene aplicar este método
- Este método nos obliga a combinar la reflexión racional (la formación de hipótesis y la deducción) con la observación de la realidad (la observación y la verificación).
- Evidentemente que nos fuerza a confrontar nuestras ideas con los datos reales. Trabajamos un sistema de trading cuantitativo en el sentido de que tenemos un modelo y reglas que podemos contrastar.
- Minimizamos el efecto de nuestros prejuicios cognitivos.
Para saber más:
- Evidence Based Technical Analysis : Applying the Scientific Method and Statistical Inference to Trading Signals de David Aronson.
También puedes ver las notas de lectura del libro de Aronson en nuestro artículo de reseña - Hypothesis Testing in Finance: Concept & Examples: Investopedia
Grandisimo foro y grandisimo post. Me ha hecho abrir los ojos. Te animo a seguir con sus publicaciones!
Gracias Carlos
Hola Duk2, realmente interesante. Me dejas con las ganas de ver el resultado del estudio con el ejemplo que propones jeje.
Saludos!
Hola Sergio,
El ejemplo, bueno, la media de 200 es el gran clásico de los ejemplos en trading ;)
Por otro lado: ¿Has leído el libro de Aronson? Propone cosas bastante interesantes para poder validar estadísticamente la efectividad de las señales de un sistema.
Un saludo,