Cálculos correctos no bastan. Controlar datos y predicciones en tiempo, medir errores y comparar cambios sin usar futuro.
Recorrido de modelos predictivos
1. Tres controles diferentes
Control aritmético: ¿mismos datos y reglas producen mismos números? Control de datos: ¿filas con partidos, goles y horas correctos? Validación predictiva: ¿probabilidades emitidas antes describen bien muchos resultados posteriores? Superar el primero no supera los demás. Una huella digital demuestra identidad de datos, no verdad.
Los dos ejemplos permiten revisar cálculos, no medir honestamente precisión ni rentabilidad. Los ejercicios inventados siguientes enseñan herramientas, no son resultados del modelo real.
2. Auditar archivo antes de fórmulas
Guardar identificador, competición, equipos, rol local/visitante, inicio UTC, marcador reglamentario, estado finalizado y momento de disponibilidad. Eliminar duplicados por identificador. Verificar GF y GS respecto al equipo estudiado y contrastar muestras con fuente. Un dato ausente no es cero goles.
Congelar datos, versión y parámetros antes de predecir. Una corrección requiere nueva versión: no reescribir silenciosamente la predicción tras conocer resultado. Tenemos agregados de 537 partidos, no todas las filas: registrar esa limitación.
3. Separar pasado y futuro
Entrenamiento estima modelo con pasado disponible. Validación compara elecciones en periodo posterior. Prueba final evalúa una vez la elección fijada en último periodo nunca usado para decidir. Fechas y duración dependen del archivo; no elegirlas tras ver resultados.
past data → forecast next block → observe outcomes → move forward → repeat
Es evaluación con origen móvil: predecir y después observar. En cada paso recalcular medias de competición solo con pasado admisible. Mezclar partidos futuros y pasados, usar clasificaciones finales o cuotas no disponibles al predecir filtra información futura.
4. Comparar con algo sencillo
Una alternativa usa solo μ_H y μ_A con Poisson, sin factores de equipos. Otra usa medias sin pesos temporales de los mismos partidos admitidos. Son referencias de comparación. Mismos eventos y periodos para todos: complejidad no significa mejora.
5. Registrar predicción completa
| Cantidad | Significado |
|---|---|
| ID, UTC, cutoff | Identidad e instantes congelados |
| version, h, m, window | Reglas y parámetros fijados antes |
| λ_H, λ_A, P1, PX, P2 | Predicción completa, no solo favorito |
| G_H, G_A, y | Resultado añadido solo después |
No guardar solo resultado más probable. (0,40; 0,35; 0,25) y (0,98; 0,01; 0,01) eligen 1 pero expresan confianza distinta. Contar aciertos del primer resultado pierde esa información. Añadir resultado observado después, sin cambiar probabilidades.
6. Medir error: Brier paso a paso
Ejemplo inventado: resultado X, empate. En orden (1,X,2), y=(0,1,0): uno en categoría ocurrida, cero en las otras. Predicción U: p=(0,50;0,25;0,25). V: p=(0,25;0,50;0,25). Restar observación a probabilidad, elevar al cuadrado y sumar. Usamos suma de tres categorías sin dividir por dos.
Brier=Σ(p_c−y_c)²
U: (0.50−0)²+(0.25−1)²+(0.25−0)²
=0.25+0.5625+0.0625=0.875
V: (0.25−0)²+(0.50−1)²+(0.25−0)²
=0.0625+0.25+0.0625=0.375
Menor es mejor; esta convención va de 0 a 2. V es mejor en este caso, no necesariamente en general. En n partidos sumar los n valores y dividir por n. No es porcentaje de victorias ni describe por sí solo calibración.
7. Penalizar confianza equivocada
Pérdida logarítmica usa probabilidad asignada al resultado ocurrido. Aplicar ln, logaritmo natural, y cambiar signo para pérdida no negativa. Menor es mejor. Para empate, U asignaba 0,25 y V 0,50.
loss=−ln(p_actual)
U: −ln(0.25)≈1.386294
V: −ln(0.50)≈0.693147
Asignar cero a un evento ocurrido da pérdida infinita. Si software protege redondeos con umbral mínimo, documentarlo: no ocultar predicciones catastróficas. Comparar pérdida media en muchos partidos junto con Brier, cantidades y otros controles.
8. ¿Una predicción del 70% se comporta así?
Calibración compara probabilidades con frecuencias. Para un mismo evento, agrupar predicciones similares; comparar probabilidad media con fracción ocurrida. Ejemplo inventado: 100 predicciones al 70%, 68 ocurrencias. Frecuencia=68/100=0,68; 0,68×100%=68%. Diferencia: 68%−70%=−2 puntos porcentuales.
Dos números no bastan: mostrar cantidades e incertidumbre muestral. Cinco eventos dicen poco. Brier menor no demuestra solo mejor calibración; también importa distinguir situaciones. No confundir puntos porcentuales con variación porcentual.
9. Cambiar parámetro, no perseguir resultado
| Partido | m | λ_H ≈ | λ_A ≈ | P1 × 100% |
|---|---|---|---|---|
| Shakhtar Donetsk–Sporting CP | 4 | 1,784565 | 1,249723 | 49,9581% |
| Shakhtar Donetsk–Sporting CP | 8 | 1,857489 | 1,287066 | 50,797% |
| Shakhtar Donetsk–Sporting CP | 16 | 1,915621 | 1,312806 | 51,5319% |
| Galatasaray–VfB Stuttgart | 4 | 1,526918 | 1,960186 | 30,2447% |
| Galatasaray–VfB Stuttgart | 8 | 1,719143 | 1,693939 | 39,2265% |
| Galatasaray–VfB Stuttgart | 16 | 1,844595 | 1,532769 | 45,2497% |
La tabla cambia solo m, con datos y referencia fijos. Muestra sensibilidad, no mejora: sin resultados posteriores no podemos elegir mejor ajuste. Cambiar semivida o ventana exige todas las filas y recalcular en cada cutoff; agregados de 537 partidos no bastan.
Stuttgart tiene tres partidos útiles pero W≈1,074709. Con m=8, equipo aproximadamente 11,84% y referencia 88,16%. Son pesos de fórmula, no intervalos de confianza. Muchos decimales no eliminan esa debilidad de datos.
10. Mejorar sin engañarse
Fijar objetivo, periodos y medidas. Cambiar una cosa cada vez: m, semivida, fuerza rival o distribución con dependencia o variabilidad distinta de Poisson. Estas últimas no están implementadas en poisson-v1. Nueva información debe preceder cutoff. Conservar versión simple y registrar pruebas fallidas.
Elegir en validación; evaluar una vez en prueba final. Probar cien variantes y mostrar solo ganadora en ese archivo crea optimismo: también selecciona ruido. Informar cantidades, medias, dispersión o intervalos apropiados y límites. Dos ejemplos solos no demuestran mejora.
11. Cuota no sustituye validación
Cuotas altas pueden dar valor esperado positivo con probabilidad errónea. Estudiar precios exige cuotas disponibles entonces, reglas de selección previas, costes y resultados de todas las selecciones, no solo ganadoras. Primero evaluación probabilística; no proponemos apuestas ni prometemos ganancias.
12. Protocolo para llevar
- Definir suceso y datos admisibles.
- Revisar filas, duplicados, disponibilidad y roles.
- Congelar versión y parámetros, registrar predicción.
- Observar después; medir métricas y calibración en muchos casos.
- Comparar con referencia simple; cambiar una cosa cada vez.
- Elegir en validación, evaluar en prueba intacta y documentar límites.
El resultado no es «encontré fórmula ganadora», sino «sé explicar pasos, reproducir números, reconocer evidencia ausente y preparar comparación honesta». Desde aquí puede empezar trabajo serio con archivo completo.
Antes de continuar: inténtalo
1. ¿Brier 0,375 significa 37,5% victorias?
Mostrar explicación
No. Es suma de errores cuadrados en tres categorías, aquí sin dividir por dos. No es probabilidad ni tasa de victoria.
2. ¿Puedo elegir m tras ver prueba final?
Mostrar explicación
No manteniendo ese periodo como prueba final independiente. Elegir en validación y evaluar elección fijada con datos no usados para decidir.
3. ¿Puedo cambiar semivida con solo agregados de 537 partidos?
Mostrar explicación
No. Cada fila cambiaría de peso: hacen falta fechas y goles de todos los partidos admitidos, recalculados en cada cutoff. Cambiar m con referencia fija es análisis de sensibilidad.
Recorrido de modelos predictivos