Le calcul juste ne suffit pas. Contrôler données et prévisions dans le temps, mesurer les erreurs et comparer sans utiliser le futur.
Le parcours des modèles prédictifs
1. Trois contrôles différents
Contrôle arithmétique : mêmes données et règles, mêmes nombres ? Contrôle des données : bons matchs, buts et horaires ? Validation prédictive : les probabilités émises avant les événements décrivent-elles bien beaucoup de résultats ultérieurs ? Réussir le premier ne suffit pas. Une empreinte numérique prouve l’identité des données, pas leur vérité.
Les deux exemples permettent de vérifier les calculs, pas de mesurer honnêtement précision ou rentabilité. Les exercices inventés ci-dessous servent à apprendre les outils, pas à présenter des performances réelles.
2. Contrôler l’historique avant les formules
Conserver identifiant, compétition, équipes, rôle domicile/extérieur, début UTC, score réglementaire, statut terminé et heure de disponibilité. Dédupliquer par identifiant. Vérifier GF et GS par rapport à l’équipe étudiée et comparer un échantillon à la source. Une valeur manquante n’est pas zéro but.
Figer données, version et paramètres avant la prévision. Une correction exige une nouvelle version : ne pas réécrire silencieusement la prévision après le résultat. Nous avons les sommes des 537 matchs, pas toutes les lignes : noter cette limite.
3. Séparer passé et futur
L’apprentissage estime le modèle avec le passé disponible. La validation compare les choix sur une période suivante. Le test final évalue une fois le choix fixé sur une dernière période jamais utilisée pour décider. Dates et durées dépendent des données ; ne pas les choisir après les résultats.
past data → forecast next block → observe outcomes → move forward → repeat
C’est l’évaluation à origine mobile : prévoir puis observer. À chaque étape, recalculer aussi les moyennes de compétition sur le seul passé admis. Mélanger matchs futurs et passés, utiliser classements finaux ou cotes indisponibles à l’instant de prévision introduit une fuite d’information.
4. Comparer à une règle simple
Une première alternative utilise seulement μ_H et μ_A avec Poisson, sans facteurs d’équipe. Une seconde utilise des moyennes non pondérées sur les mêmes matchs admis. Ce sont des références de comparaison. Mêmes événements et périodes pour tous : la complexité ne prouve pas la supériorité.
5. Enregistrer une prévision complète
| Grandeur | Signification |
|---|---|
| ID, UTC, cutoff | Identité et instants figés |
| version, h, m, window | Règles et paramètres fixés avant |
| λ_H, λ_A, P1, PX, P2 | Prévision complète, pas seulement favori |
| G_H, G_A, y | Résultat ajouté seulement après |
Ne pas conserver seulement le résultat le plus probable. (0,40 ; 0,35 ; 0,25) et (0,98 ; 0,01 ; 0,01) choisissent tous deux 1 avec une confiance différente. Compter les bons premiers choix perd cette information. Ajouter le résultat après, sans modifier les probabilités.
6. Mesurer l’erreur : Brier pas à pas
Exemple inventé : résultat X, nul. Dans l’ordre (1,X,2), y=(0,1,0) : un sur la catégorie réalisée, zéro ailleurs. Prévision U : p=(0,50 ;0,25 ;0,25). V : p=(0,25 ;0,50 ;0,25). Soustraire l’observation de chaque probabilité, mettre au carré et additionner. Convention : somme des trois catégories, sans division par deux.
Brier=Σ(p_c−y_c)²
U: (0.50−0)²+(0.25−1)²+(0.25−0)²
=0.25+0.5625+0.0625=0.875
V: (0.25−0)²+(0.50−1)²+(0.25−0)²
=0.0625+0.25+0.0625=0.375
Plus bas est préférable ; cette convention va de 0 à 2. V est meilleure sur ce cas, pas forcément en général. Sur n matchs, additionner les n scores et diviser par n. Ce n’est pas un pourcentage de victoires ni, seul, une description de la calibration.
7. Pénaliser la confiance mal placée
La perte logarithmique utilise la probabilité attribuée au résultat réalisé. Appliquer ln, logarithme naturel, puis changer le signe pour obtenir une perte positive ou nulle. Plus bas est préférable. Pour le nul, U attribuait 0,25 et V 0,50.
loss=−ln(p_actual)
U: −ln(0.25)≈1.386294
V: −ln(0.50)≈0.693147
Attribuer zéro à un événement réalisé donne une perte infinie. Si le logiciel protège les arrondis par un seuil minimal, le documenter : ne pas cacher les prévisions catastrophiques. Comparer la perte moyenne sur beaucoup de matchs avec Brier, effectifs et autres contrôles.
8. Une prévision de 70 % se comporte-t-elle ainsi ?
La calibration compare probabilités et fréquences. Pour un même événement, grouper les prévisions semblables ; comparer probabilité moyenne et fraction réalisée. Exemple inventé : 100 prévisions à 70 %, 68 réalisations. Fréquence=68/100=0,68 ; 0,68×100%=68 %. Écart : 68%−70%=−2 points de pourcentage.
Deux nombres ne suffisent pas : montrer effectifs et incertitude d’échantillonnage. Cinq événements renseignent peu. Un Brier inférieur ne prouve pas seul une meilleure calibration ; distinguer les situations compte aussi. Ne pas confondre points de pourcentage et variation relative.
9. Modifier un paramètre, pas poursuivre un résultat
| Match | m | λ_H ≈ | λ_A ≈ | P1 × 100% |
|---|---|---|---|---|
| Shakhtar Donetsk–Sporting CP | 4 | 1,784565 | 1,249723 | 49,9581% |
| Shakhtar Donetsk–Sporting CP | 8 | 1,857489 | 1,287066 | 50,797% |
| Shakhtar Donetsk–Sporting CP | 16 | 1,915621 | 1,312806 | 51,5319% |
| Galatasaray–VfB Stuttgart | 4 | 1,526918 | 1,960186 | 30,2447% |
| Galatasaray–VfB Stuttgart | 8 | 1,719143 | 1,693939 | 39,2265% |
| Galatasaray–VfB Stuttgart | 16 | 1,844595 | 1,532769 | 45,2497% |
Le tableau change seulement m, données et référence fixées. Il montre la sensibilité, pas une amélioration : sans résultats ultérieurs on ne peut choisir le meilleur réglage. Modifier demi-vie ou fenêtre exige toutes les lignes de compétition et un recalcul à chaque cutoff ; les sommes des 537 matchs ne suffisent pas.
Stuttgart a trois matchs utiles mais W≈1,074709. Avec m=8, équipe environ 11,84 %, référence 88,16 %. Ce sont des poids de formule, pas des intervalles de confiance. Beaucoup de décimales n’effacent pas cette faiblesse des données.
10. Améliorer sans se tromper soi-même
Fixer objectif, périodes et mesures. Modifier une chose à la fois : m, demi-vie, force adverse, distribution autorisant dépendance ou variabilité différente de Poisson. Ces dernières fonctions ne sont pas déjà présentes dans poisson-v1. Toute information doit précéder le cutoff. Conserver la version simple et les essais ratés.
Choisir sur validation ; évaluer une fois sur test final. Essayer cent variantes puis montrer seulement la gagnante sur ces données crée de l’optimisme : on sélectionne aussi du bruit. Rapporter effectifs, moyennes, dispersion ou intervalles adaptés et limites. Les deux exemples seuls ne démontrent aucune amélioration.
11. Une cote ne remplace pas la validation
Une cote élevée peut donner une espérance positive avec une probabilité fausse. Étudier les prix exige cotes disponibles au moment, règles de sélection fixées avant, coûts et résultats de toutes les sélections, pas seulement gagnantes. L’évaluation probabiliste vient d’abord ; aucune mise ni gain promis.
12. Le protocole à retenir
- Définir événement et données admises.
- Contrôler lignes, doublons, disponibilité et rôles.
- Figer version et paramètres, puis enregistrer la prévision.
- Observer après ; mesurer scores et calibration sur beaucoup de cas.
- Comparer à une référence simple ; modifier une chose à la fois.
- Choisir sur validation, évaluer sur test intact et documenter les limites.
Le résultat n’est pas « j’ai trouvé la formule gagnante », mais « je sais expliquer les étapes, reproduire les nombres, reconnaître les preuves manquantes et préparer une comparaison honnête ». Un travail sérieux sur un historique complet peut commencer.
Avant de continuer : à vous
1. Brier 0,375 signifie-t-il 37,5 % de victoires ?
Afficher l’explication
Non. C’est une somme d’erreurs au carré sur trois catégories, ici sans division par deux. Ni probabilité ni taux de victoire.
2. Puis-je choisir m après avoir vu le test final ?
Afficher l’explication
Pas en conservant cette période comme test final indépendant. Choisir sur validation, puis évaluer sur des données jamais utilisées pour décider.
3. Puis-je changer la demi-vie avec les seules sommes des 537 matchs ?
Afficher l’explication
Non. Chaque ligne changerait de poids : dates et buts de tous les matchs admis sont nécessaires à chaque cutoff. Modifier m à référence fixée est une simple analyse de sensibilité.
Le parcours des modèles prédictifs