Le machine learning, expliqué par la ligne Metz-Luxembourg

Le modèle le plus simple ignore tout contexte : il prédit toujours la même valeur c. Sur 36 matins de retards de votre train, quel c choisir ? Déplacez le curseur. Chaque trait vertical est une erreur, qu'on appelle un résidu.

L'erreur quadratique moyenne (MSE) fait la moyenne des carrés de ces résidus. Cochez « Voir les carrés » : la MSE est littéralement la surface moyenne des carrés. Le petit graphique dessous montre la MSE pour chaque valeur de c : une parabole, dont le fond tombe pile sur la moyenne.

Si on mesure l'erreur absolue (MAE), c'est la médiane qui gagne. Le choix de la fonction d'erreur change donc la « meilleure » réponse.

Ce modèle naïf s'appelle la baseline. Tout modèle plus compliqué doit faire mieux qu'elle, sinon il ne sert à rien.

On ajoute une information connue avant le départ : le retard du train précédent sur la ligne. Le modèle devient une droite ŷ = a·x + b. La pente a dit combien de minutes de retard s'ajoutent par minute de retard du train précédent ; b est le retard prévu quand le train précédent est à l'heure.

Réglez a et b à la main pour faire baisser la MSE. La carte de droite montre la MSE pour tous les couples (a, b) : c'est la fonction de coût, une cuvette dont on cherche le fond, marqué d'une étoile. Cliquez n'importe où sur la carte pour y placer le modèle.

La descente de gradient fait ce travail seule. À chaque étape, elle mesure la pente de la cuvette au point actuel et fait un pas vers le bas. La taille du pas est le taux d'apprentissage η. Trop petit, on avance à peine. Trop grand, on rebondit d'un bord à l'autre et l'algorithme diverge : essayez η = 0,02.

Cochez ensuite « Standardiser x ». En ramenant x à une moyenne de 0 et un écart-type de 1, la cuvette devient ronde et la descente file droit au fond, même avec un grand pas. C'est pour ça qu'on normalise presque toujours les variables.

Ici, x est l'heure de départ et y le retard observé. Pour suivre des courbes, on donne au modèle des puissances de x : ŷ = w₀ + w₁x + w₂x² + … + w_d·x^d. C'est toujours un modèle linéaire… en ses paramètres w. Le degré d règle sa souplesse.

Augmentez le degré. Au début, l'erreur sur les points d'entraînement (pleins) et celle sur les points de test (cercles) baissent ensemble. Puis la courbe se met à passer par chaque point d'entraînement en ondulant : l'erreur d'entraînement baisse encore, celle de test remonte. Le modèle apprend le bruit par cœur. C'est le surapprentissage.

À degré élevé, cliquez sur « Nouveau tirage » : la courbe change du tout au tout d'un échantillon à l'autre. C'est la variance. À degré 1, elle bouge peu mais rate toujours les pics : c'est le biais.

La régularisation λ pénalise les grands coefficients. Avec un degré 15 et un λ bien choisi, la courbe redevient sage : on garde la souplesse et on limite les excès.

Deux variables cette fois : le retard du train au départ de Metz, et la part de trains en retard sur la ligne. Chaque point est un trajet, bleu s'il est arrivé à l'heure à Luxembourg, orange s'il avait 5 minutes de retard ou plus.

La régression logistique calcule un score linéaire z = w₀ + w₁x + w₂y puis le transforme en probabilité avec la sigmoïde. La frontière où p = 0,5 est une droite. Cliquez sur « Regarder l'apprentissage » pour voir la droite trouver sa place par descente de gradient.

Le seuil décide à partir de quelle probabilité on annonce « retard ». En le baissant, on rate moins de retards (le rappel monte) mais on crie plus souvent au loup (la précision baisse). Suivez la matrice de confusion.

Passez maintenant aux jeux « Cercles » ou « XOR » : aucune droite ne sépare les classes et l'exactitude plafonne. Cochez « Ajouter x², y², x·y » : avec ces nouvelles variables, la frontière peut se courber. Fabriquer les bonnes variables à la main, c'est le feature engineering.

Ce modèle ne cherche aucune formule. Pour un nouveau trajet, il regarde les k trajets les plus proches parmi les données d'entraînement et les fait voter. Survolez le graphique : les traits relient le point survolé aux voisins consultés.

Avec k = 1, chaque point d'entraînement impose sa couleur autour de lui : 100 % de réussite à l'entraînement, des îlots partout, et une erreur de test qui en souffre. En augmentant k, la frontière se lisse. k joue le même rôle que le degré du polynôme : il règle la souplesse, mais à l'envers.

Un arbre pose des questions successives, du type « retard au départ ≤ 6 min ? ». À chaque nœud, il choisit la question qui sépare le mieux les classes, celle qui rend les deux groupes obtenus les plus purs possible. Les frontières sont donc faites de segments horizontaux et verticaux.

La profondeur maximale règle la souplesse. À profondeur 1, une seule question. À profondeur 10, l'arbre découpe de petites boîtes autour de chaque point isolé. Les règles apprises s'affichent sous le graphique.

Cliquez plusieurs fois sur « Rééchantillonner » : l'arbre est reconstruit sur un tirage avec remise des mêmes données. Les règles changent beaucoup pour une petite variation des données. Un arbre profond est instable.

Une forêt aléatoire entraîne des dizaines d'arbres, chacun sur un rééchantillon différent et avec une part de hasard dans le choix des variables. Leurs erreurs ne sont pas les mêmes : en faisant la moyenne, elles se compensent. Augmentez le nombre d'arbres : la frontière se lisse et l'erreur de test baisse.

Le boosting procède autrement. Les arbres sont petits et construits l'un après l'autre, chacun corrigeant les erreurs laissées par les précédents. Il réduit surtout le biais. C'est la famille de XGBoost, LightGBM et CatBoost, souvent la meilleure sur des données en tableau.

Comparez : une forêt avec 1 arbre retrouve l'arbre instable du chapitre 6 ; avec 100 arbres, elle devient stable. Un boosting avec beaucoup d'arbres profonds finit, lui, par apprendre le bruit.

Un neurone, c'est une régression logistique : une somme pondérée suivie d'une fonction d'activation. Un réseau empile des couches de neurones. Le schéma montre ce que « voit » chaque neurone caché : ceux de la première couche tracent chacun une frontière droite, ceux de la couche suivante les combinent en formes courbes.

Le réseau apprend donc ses propres variables, là où il fallait les inventer à la main au chapitre 4. Sur la spirale, essayez 2 neurones puis 8 : avec trop peu de neurones, la forme est impossible à tracer.

L'apprentissage reprend la descente de gradient du chapitre 2. Le calcul du gradient couche par couche, de la sortie vers l'entrée, s'appelle la rétropropagation. Sur le schéma, les liens orange sont des poids positifs, les bleus des poids négatifs ; leur épaisseur suit leur force.