Explore les mots, les jetons et les modèles de langage en PNL, couvrant les défis liés à leur définition, à l'utilisation du lexique, aux n-grammes et à l'estimation des probabilités.
Explore les modèles de préformation comme BERT, T5 et GPT, en discutant de leurs objectifs de formation et de leurs applications dans le traitement des langues naturelles.
Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.
Discute des implications éthiques des systèmes NLP, en mettant l'accent sur les biais, la toxicité et les préoccupations en matière de protection de la vie privée dans les modèles linguistiques.
Présente des modèles de langage classiques, leurs applications et des concepts fondamentaux tels que la modélisation et les mesures d'évaluation basées sur le nombre.
