∇ML · POSTECH

Machine Learning, en géométrie

Cours interactif pour CSED/AIGS 515 (Sangdon Park, automne 2026). Chaque notion du cours est accompagnée de scènes 2D/3D manipulables, des formules, des preuves détaillées repliables et de renvois aux slides et aux manuels.

Slides — au programme PRML / DL / RL — manuels (lien vers la page) Hors slides — compléments Devoirs
Cours 2–3 · 9/10, 9/15 · PRML 3.1–3.3 · HW1

1 · Régression linéaire

MMSE et $\E[y|x]$, fonctions de base, moindres carrés comme projection, MLE, sur-apprentissage, ridge & MAP, lasso & parcimonie, GD, momentum, SGD. 19 scènes.

Cours 4–5 · 9/17, 9/22 · PRML 4.3 · HW2

2 · Régression logistique

Classifieur de Bayes gaussien, sigmoïde et log-odds, géométrie de la frontière, cross-entropy, majoration de la perte 0-1, gradient, Newton (IRLS), softmax. 10 scènes.

Cours 6–7 · 9/29, 10/1 · PRML 7.1, 6.1–6.4 · HW3

3 · SVM

Marge géométrique, Lagrangien et point-selle, dualité faible/forte, KKT, dual et vecteurs de support (SMO), marge souple et hinge, kernels polynomial et RBF. 9 scènes.

Cours 8 · 10/6 · PRML 1.3 · HW4

4 · Sélection de modèle

Erreur de généralisation vs d'entraînement, optimisme de l'ERM, sous-/sur-apprentissage, régularisation, train / validation / test, sur-apprendre la validation, validation croisée. 10 scènes.

Cours 9–10 · 10/8, 10/13 · PRML 5.1–5.3 · HW5

5 · Réseaux de neurones

XOR et unités cachées, ET/OU et régions, fonctions booléennes, approximation universelle, MLP et activations, BCE et softmax, graphe de calcul, rétropropagation vérifiée, entraînement par mini-batchs, espace des features en 3D. 11 scènes.

Cours 11 · 10/15 · FML 8.2, MLAPP 8.5.1 · HW6

6 · Apprentissage en ligne

Protocole avec experts, regret statique et dynamique, adversaire non anticipant, résultat négatif pour les apprenants déterministes, Weighted Majority, exponential weighting, preuve de $\E[\mathrm{Reg}_T]\le\sqrt{T\ln|\mathcal H|}$ et lemme de Hoeffding. 8 scènes.

Définitions · dérivations · calculs

Entraînement (textes à trous)

137 exercices en anglais (ou en français), présentés comme un sujet d'examen (énoncé, preuve à trous, cases numérotées) : démonstrations du cours, définitions, questions sur les devoirs HW1–HW5, calculs à valeurs aléatoires. Réponses libres en LaTeX ou texte, corrigés détaillés, progression enregistrée.

HW5 à rendre le 22/10 · corrigés HW1 à HW5

Devoirs maison

Énoncés reformulés, indices progressifs, corrigés détaillés et expériences du HW1, Newton du HW2, SVM du HW3 et validation croisée du HW4 et softmax stable du HW5 reproduits dans le navigateur, énoncés et corrigés en français ou en anglais.

Planning du cours

D'après le planning officiel (copié le 25/09/2026). Les lectures renvoient à la bonne page des PDF du dossier Textbooks/.

#DateSujetDevoirLecture