Explore les méthodes de gradient adaptatif comme AdaGrad, AcceleGrad et UniXGrad, en se concentrant sur leurs taux d'adaptation et de convergence locaux.
Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.
Explore la descente progressive stochastique avec la moyenne, la comparant avec la descente progressive, et discute des défis dans l'optimisation non convexe et les techniques de récupération clairsemées.
Couvre une introduction mathématique à l'apprentissage profond, y compris les défis, la puissance des classificateurs linéaires, l'échelle du modèle et les aspects théoriques.
Couvre les méthodes de solution pour réduire au minimum les convexes composites et explore des exemples comme les moindres carrés régularisés et la récupération de phase.
Explore les techniques de réduction de la variance dans l'apprentissage profond, couvrant la descente en gradient, la descente en gradient stochastique, la méthode SVRG, et la comparaison des performances des algorithmes.
Explore le paradigme de l'apprentissage profond, y compris les défis, les réseaux neuronaux, la robustesse, l'équité, l'interprétabilité et l'efficacité énergétique.
S'insère dans le compromis entre la complexité du modèle et le risque, les limites de généralisation, et les dangers d'un ajustement excessif des classes de fonctions complexes.
Explore le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, les avantages de la surparamétrisation et le biais implicite des algorithmes d'optimisation.
Explore l'optimisation non convexe dans l'apprentissage profond, couvrant les points critiques, la convergence SGD, les points de selle et les méthodes de gradient adaptatif.
Explore les techniques d'optimisation avancées pour les modèles d'apprentissage automatique, en se concentrant sur les méthodes de gradient adaptatifs et leurs applications dans les problèmes d'optimisation non convexe.
Explore l'optimisation de la formation contradictoire, la mise en œuvre pratique, l'interprétation, l'équité, la distance de Wasserstein et les GAN de Wasserstein.
Déplacez-vous dans des modèles générateurs basés sur les scores, explorant les distributions naturelles d'apprentissage et l'impact de l'architecture de réseau neuronal sur la robustesse.
Introduit la conjugaison Fenchel, explorant ses propriétés, exemples et applications dans les problèmes d'optimisation non lisses et les formulations minimax.
