Séances du MGT-448: Statistical inference and machine learning

Introduction à la théorie des probabilités

Couvre les bases de la théorie des probabilités, y compris les définitions, les calculs et les concepts importants pour l'inférence statistique et l'apprentissage automatique.

Apprentissage supervisé : descente en dégradé

Couvre l'apprentissage supervisé avec des algorithmes de descente de gradient et leur justification statistique.

Sans titre

Inférence statistique : variables aléatoires

Couvre les variables aléatoires, les fonctions de probabilité, les attentes, les variances et les distributions conjointes.

Distributions familiales exponentielles

Couvre les distributions familiales exponentielles, les paramètres naturels, les statistiques suffisantes et la régression logistique.

Justification statistique des moindres carrés

Explore la justification statistique des moindres carrés et des modèles linéaires généralisés.

Méthode de Newton : Hesse et optimisation

Explore la méthode d'optimisation de Newton, en mettant l'accent sur le rôle de la matrice de Hesse.

Méthodes d'optimisation: Armijo Rule

Explique la règle Armijo pour définir la taille des pas dans les méthodes d'optimisation.

Ensembles et fonctions convexes

Introduit des ensembles et des fonctions convexes, en discutant des minimiseurs, des conditions d'optimalité et des caractérisations, ainsi que des exemples et des inégalités clés.

Gradient Descent Convergence

Explique comment la descente de gradient converge vers le minimum d'une fonction à un taux de 1 sur k.

Convexité et convergence fortes

Explore le rôle de la convexité forte dans les taux de convergence plus rapides pour les algorithmes d'optimisation.

Convergence de la descente de gradient

Explore la convergence de la descente du gradient pour les fonctions fortement convexes et l'importance de la régularisation dans la prévention des surajustements.

Apprentissage génératif et propriétés du modèle

Explore l'apprentissage génératif, les antécédents de classe et l'estimation du maximum de vraisemblance dans les modèles de classification.

Algorithmes d'apprentissage génératifs

Explore les algorithmes d'apprentissage génératif, les règles de décision et les propriétés de distribution gaussienne dans l'apprentissage automatique.

Analyse discriminante gaussienne

Couvre l'analyse discriminante gaussienne, la log-vraisemblance, l'apprentissage supervisé et la régression logistique.

Naive Bayes : analyse discriminante gaussienne

Couvre l'algorithme de Naïve Bayes avec l'analyse discriminante gaussienne.

Régression logistique : prédiction de la végétation

Explore la régression logistique pour prédire les proportions de la végétation dans la région amazonienne grâce à l'analyse des données de télédétection.

Naive Bayes : analyse discriminante gaussienne

Couvre l'hypothèse de Naïve Bayes, l'analyse discriminante gaussienne, les estimations de ML et le tour du noyau.

Carrés moyens avec caractéristiques

Couvre le concept de moindres carrés moyens (LM) avec des fonctionnalités et des mises à jour itératives.

Régression logistique : Inférence statistique et apprentissage automatique

Couvre la régression logistique, la fonction de vraisemblance, la méthode de Newton et l'estimation des erreurs de classification.