Backtests que mienten: por qué un gráfico perfecto no garantiza nada

← Volver al blog

Semana 39 · Reto 52 Semanas

Semana 39 ya, como reza la canción, qué lentos pasan los días, pero qué rápido pasan los años.

A estas alturas espero que mis hijas, cuando lo lean, ya vayan entendiendo por dónde voy. Espero que tú, si has aguantado hasta aquí, también.

Que quede claro que nadie, nadie, está a salvo de cometer errores. De hecho los errores forman parte del camino, te tienen que hacer más fuerte, mejor inversor.

39 semanas.

Si tuviera que resumir en unas pocas líneas todo lo que hemos visto hasta aquí, sería esto.

La inversión es confianza.

Capacidad y tolerancia.

Lo único que controlas a corto plazo son los costes y el riesgo.

La rentabilidad es el resultado del trabajo bien hecho.

Invierte barato, invierte escaso, invierte diversificado, invierte eterno.

Lo difícil no es encontrar un método que funcione. Hay mil. Lo difícil es no abandonarlo a mitad de camino atraído por el canto de las sirenas. Y eso se consigue alineando estrategia y mente, ajustando el riesgo a tu capacidad y a tu tolerancia.

Y no se trata de ganar mucho. Se trata de ganar mucho durmiendo tranquilo.

Los estoicos no perseguían la quietud. Perseguían vivir con virtud, y la quietud venía detrás. A ese estado los griegos lo llamaron ATARAXIA. No era la meta. Era la consecuencia.

Igual que la rentabilidad.

Ahí encontré yo mi camino. La gestión cuantitativa fue lo que me dio la capacidad de estarme quieto mientras todo parece hundirse a tu alrededor.

Cuantificar suena sofisticado, suena complicado, suena inaccesible. No lo es. Cuantificar es estudiar el pasado para intentar entender qué podría ocurrir en el futuro. Y eso tiene un nombre en inglés, para variar: backtest.

El problema es que, si torturas los datos lo suficiente, te dirán solo lo que quieres oír. Luego, el futuro tiene la manía de ser incierto y te pone rápidamente en tu sitio, convirtiendo las riquezas fáciles que esperabas en pérdidas. Y si te descuidas, en autodestrucción financiera.

Así que vamos a ver cómo evitar construir un backtest mentiroso.

Nadie ha perdido un euro dentro de un backtest

Empiezo por confesar de qué soy capaz. Dime qué conclusión quieres, dame el fin de semana, y te saco un gráfico que solo sube, una tabla que lo respalda y un pie de página con la fuente. Todo real. Todo comprobable. Todo falso en el sentido que importa.

Y es incómodo escribir esto, porque llevo treinta y ocho domingos enseñándote backtests.

La diferencia entre un backtest y un historial real es que en el historial hubo dinero. Dinero aguantando comisiones, impuestos, partícipes asustados reembolsando en el peor momento y el sudor del gestor a las tres de la mañana cuando al presidente de turno le da por invadir al país de turno. El backtest es una hoja de cálculo mirando hacia atrás con toda la información del mundo ya encima de la mesa.

La industria los usa porque son baratos, rápidos y casi imposibles de contradecir en una reunión de cuarenta minutos. Te enseñan la línea que sube y la conversación se acaba.

Truco 1: elegir dónde empieza el gráfico

El S&P 500 rentó un -0,9% anual entre el cierre de 1999 y el cierre de 2009, dividendos reinvertidos incluidos. En la década siguiente, hasta el cierre de 2019, rentó un +13,6% anual.

Mismo índice. Misma economía. Mismo país.

Con la primera década te vendo que la bolsa americana es una trampa y que necesitas un producto de gestión alternativa. Con la segunda te vendo que la renta fija es para cobardes. No he mentido en ninguno de los dos casos. He elegido dónde empezaba la película.

Y esto no es cosa de gestoras.

En 2019 alguien publicó en un foro de inversión una cartera apalancada y la bautizó Hedgefundie’s Excellent Adventure (solo por el nombre ya deberías haber salido corriendo): un ETF que triplica la bolsa americana y otro que triplica los bonos del Tesoro a largo plazo, rebalanceo trimestral.

La versión que acabó popularizándose iba en torno a un 55% en el primero y un 45% en el segundo. El backtest arrancaba en 1987 y daba en torno a un 23% anual. Otros usuarios rehicieron los números con comisiones y coste de apalancamiento y lo dejaban en un 19%. Da igual cuál de los dos te creas: los dos son una fortuna compuesta.

El hilo se hizo gigante. Miles de mensajes. Gente metiendo dinero de verdad.

¿Y qué tenían de especial esos treinta años? Tipos de interés bajando. Cuando la bolsa caía, los bonos subían y amortiguaban el golpe, multiplicado por tres. La estrategia no era una idea. Era una época.

En 2022 los tipos subieron, bolsa y bonos cayeron a la vez. Según la versión y las fechas de cálculo, la cartera llegó a perder del orden de un 60% en el año.

El cálculo no falló. El backtest estaba bien hecho. Lo que falló es que empezaba en 1987 y no contemplaba una subida rápida de los tipos de interés junto con una caída de la bolsa.

Ya sabes, la realidad siempre supera tus peores pesadillas.

Ahora dime qué hubieras hecho tú, si inviertes en una estrategia que has leído en un foro para hacerte rico rápido y de repente, sin comerlo ni beberlo, te encuentras con un 60% menos de tu capital. ¿Confías o sales corriendo?

Truco 2: los muertos no salen en la foto

Se llama sesgo de supervivencia y es el más sucio de todos, porque no requiere ni mala fe.

Cuando una gestora compara sus fondos con el índice, compara los que siguen vivos. Los que lo hicieron mal se fusionaron con otros o se liquidaron, y su historia desapareció del catálogo. El muerto no protesta.

El SPIVA (S&P Indices Versus Active funds) Europe de cierre de 2024 lo cuantifica: un 5% de los fondos de la muestra se liquidó o fusionó solo en ese año. Y añade el ejercicio, que es suyo, no mío: si ese ritmo se repitiera cada año, la supervivencia a diez años quedaría en torno al 60%.

El dato que no es una hipótesis sino un hecho medido es este otro. En diez de las treinta y una categorías analizadas, más de la mitad de los fondos que existían al principio no llegaron vivos al final del periodo de diez años. Ni siquiera pudieron enseñar la cifra.

No es que perdieran la carrera. Es que no salen en la clasificación.

Truco 3: probar hasta que salga

Aquí está el fraude intelectual de verdad, y tiene nombre: overfitting, sobreajuste. Buscar dentro de los datos hasta encontrar una regla que encaje perfectamente con el pasado y que no tenga ningún motivo para funcionar mañana.

David Leinweber lo demostró de la forma más cruel posible. Con un CD de datos de Naciones Unidas, excluyó a propósito cualquier variable financiera y buscó qué serie explicaba mejor el S&P 500 a lo largo de una década. Ganó la producción de mantequilla en Bangladesh, con un R² de 0,75. Añadió la producción de queso estadounidense y subió a 0,95. Añadió la población ovina de Bangladesh y Estados Unidos y llegó al 0,99.

Un modelo que explica el 99% de la bolsa americana con vacas y ovejas.

Y ahora la parte que asusta. Bailey, Borwein, López de Prado y Zhu publicaron en 2014, en las Notices of the American Mathematical Society, cuántos intentos hacen falta para engañarte con apariencia científica. Con cinco años de datos diarios bastan 45 configuraciones independientes para producir una estrategia con un ratio de Sharpe anualizado de 1 dentro de la muestra y un Sharpe esperado de cero fuera de ella.

El ratio de Sharpe mide cuánta rentabilidad sacas, por encima de lo que te daría el activo sin riesgo, por cada unidad de volatilidad que tragas. Como regla mental: un 1 sostenido es muy bueno. Un 0 significa que todo ese riesgo no te ha pagado nada.

Cuarenta y cinco intentos son una tarde. Y nadie está obligado a decirte cuántos hizo.

Qué pasa cuando el backtest se convierte en producto

Suhonen, Lennkh y Perez estudiaron 215 estrategias que los bancos de inversión globales empaquetaron y vendieron a clientes institucionales. Compararon el Sharpe del backtest con el Sharpe real una vez el producto estaba vivo. La caída mediana fue del 73%: de 1,20 en simulación a 0,31 en la realidad. Las más complejas, las de muchas reglas y muchos filtros, se deterioraron más de 30 puntos porcentuales por encima de las simples.

En el mundo académico pasa lo mismo. McLean y Pontiff siguieron 97 variables publicadas en revistas revisadas por pares como predictoras de rentabilidad. Fuera de la muestra original rendían un 26% menos. Después de publicarse, un 58% menos.

Cuanto más ingenioso el hallazgo, más se parece a la mantequilla de Bangladesh.

Los cuatro tontos

En enero de 1996, Motley Fool publicó una regla mecánica que se hizo famosa en medio mundo. Coges las diez empresas del Dow Jones con mayor rentabilidad por dividendo. Las ordenas por precio. Te quedas con las cinco más baratas. Descartas la más barata de todas. Metes el 40% en la segunda y el 20% en cada una de las tres siguientes.

Quince minutos de trabajo al año. Y un backtest que mostraba un 25,5% anualizado durante veinte años.

Léelo otra vez. Descartas la más barata. Metes el 40% en la segunda. ¿Por qué la segunda y no la primera? Porque en los datos del pasado la segunda funcionaba mejor. No hay ninguna otra razón. Esa arbitrariedad barroca es la huella dactilar del sobreajuste.

Y ahora mira cómo se desinfla, medido siempre contra el mercado.

Primer pinchazo, y se lo hicieron ellos mismos. Al rehacer los números desde 1961, la estrategia daba un 18,35% anual contra un 10,02% del mercado. Ocho puntos de ventaja. Sigue siendo enorme, pero ya no es la película del libro.

Segundo pinchazo. En 1999, Grant McQueen y Steven Thorley lo destriparon en el Financial Analysts Journal. Descubrieron que la ventaja dependía de renovar la cartera en enero: cambiando la renovación a julio, esos doce puntos que salían en el periodo original se quedaban en tres. Y al probarla en los años que no se habían usado para construirla, de 1949 a 1972, la ventaja era de tres décimas. Para rematar construyeron su propia versión paródica, la Fractured Four, minando los datos aún más agresivamente hasta obtener resultados mejores. Un chiste con forma de demostración.

Tercer pinchazo y final. El 11 de diciembre del 2000, Motley Fool retiró la estrategia. Su propio estudio, con medio siglo de datos, dejaba la ventaja sobre el mercado en un 1,74% anual. Y su analista confesó: no resultó ser una estrategia ni de lejos tan maravillosa como pensaban.

De ocho puntos de ventaja a uno y pico. Sin que cambiara nada del mundo. Solo cambió quién miraba los datos y con cuántas ganas de encontrar algo.

Y quédate con lo del mes de renovación, porque ahí está todo. La estrategia funcionaba si la arrancabas en enero. En julio, no. Eso no es una regla de inversión, es una casualidad de calendario.

Cómo se construye una estrategia de verdad

Esto que viene ahora es oro y te lo doy gratis por aguantarme cada domingo.

Uno. Parte de una idea con sentido común. No me vale la mantequilla de Bangladesh, ni los ciclos de la luna llena. Si la idea se la puedes explicar a alguien que no tiene ni idea de inversiones y la entiende, probablemente tengas algo bueno entre manos. Piensa sencillo.

Dos. Nunca uses todo tu periodo de datos para optimizar. Nunca. No sé cómo enfatizarlo más, pero hazme caso. Los datos son tu oro, tu materia prima; si los corrompes, tendrás cobre. Déjate siempre un periodo fuera de muestra para probar la estrategia después y ver si te estaba mintiendo.

Tres. El número de parámetros es directamente proporcional a la probabilidad de fracaso. Cuando era director de inversiones de la gestora venían traders con estrategias maravillosas de cien parámetros que me costaba diez minutos desmontar. Cada parámetro que añades es un grado de libertad que le quitas, hasta que la ahogas. Método KISS: Keep It Simple, Stupid.

Cuatro. No sobreoptimices. No retuerzas los datos hasta que digan lo que quieres escuchar. Estás ajustando el pasado, y en cuanto la pongas a trabajar en real perderás dinero. Palabra del Señor.

Cinco, y por esta me deberías pagar. No busques la estrategia perfecta. Ese no es el secreto. Busca diez estrategias simples, robustas y de sentido común, no con resultados pasados perfectos, no, hazme caso, no hace falta. La clave es que no estén correlacionadas entre sí.

Eso, exactamente eso, es el Santo Grial. Ray Dalio, que le puso ese nombre, habla de quince o veinte flujos de retorno no correlacionados. Yo con diez me conformo, y te lo conté en la semana 27; esta es la misma idea vista desde dentro de la sala de máquinas.

Y para conseguir eso no me busques empresas del S&P 500 o del IBEX 35. Necesitas comprar maíz. Y montar un spread entre el cobre y el platino. Eso son flujos descorrelacionados de verdad.

Ahora la parte importante.

Todo esto es para el gestor de hedge funds. No para ti.

Tú eres el inversor pasivo, ataráxico y eterno, que parte de un método ganador de salida. No necesitas descorrelacionar diez estrategias en cinco mercados, ni un periodo fuera de muestra, ni saber qué es un grado de libertad. Ya tienes la solución. Solo tú puedes destruirla.

Las Carteras K están construidas exactamente sobre esto. Una idea que entendería mi abuela, puro sentido común. Sin sobreoptimizar. Ponderadas por riesgo, sin un solo parámetro elegido por lo bien que quedaba en el gráfico. Invierten barato, invierten diversificado, invierten escaso, invierten eterno.

Aburridísimo. Y por eso funciona.

Tu yo del futuro te lo agradecerá.

Fuentes: Bailey, Borwein, López de Prado y Zhu, Notices of the AMS 61(5), 2014. Suhonen, Lennkh y Perez, Journal of Portfolio Management 43(2), 2017. McLean y Pontiff, The Journal of Finance 71(1), 2016. McQueen y Thorley, Financial Analysts Journal 55(2), 1999. Leinweber, The Journal of Investing 16(1), 2007. SPIVA Europe Year-End 2024, S&P Dow Jones Indices.