Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.
Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.
Explore la méthode Extra-Gradient pour l'optimisation Primal-dual, couvrant les problèmes non convexes, les taux de convergence et les performances pratiques.
Introduit des opérateurs proximaux, des méthodes de gradient et une optimisation contrainte, explorant leur convergence et leurs applications pratiques.
Couvre les méthodes de descente de gradient pour les problèmes convexes et non convexes, y compris la minimisation convexe lisse sans contrainte, lestimation de la vraisemblance maximale, et des exemples comme la régression de crête et la classification dimage.
Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.
Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.
Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.
Couvre les techniques de réduction de la variance dans l'optimisation, en mettant l'accent sur la descente en gradient et les méthodes de descente en gradient stochastique.
Explore les algorithmes d'optimisation composite, y compris les opérateurs proximaux et les méthodes de gradient, avec des exemples et des limites théoriques.
Explore les algorithmes d'optimisation primal-dual pour les problèmes de minimax convexe-concave, en discutant des propriétés de convergence et des applications.
Couvre les bases de l'optimisation, y compris les métriques, les normes, la convexité, les gradients et la régression logistique, en mettant l'accent sur les forts taux de convexité et de convergence.
Discute des techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la descente de gradient stochastique et ses applications dans les problèmes contraints et non convexes.
Explore la descente de gradient stochastique, couvrant les taux de convergence, l'accélération et les applications pratiques dans les problèmes d'optimisation.
