Introduit les réseaux de mémoire à long terme (LSTM) comme une solution pour la disparition et l'explosion des gradients dans les réseaux neuronaux récurrents.
Explore les réseaux neuronaux récurrents pour les données comportementales, couvrant le repérage de connaissances profondes, les réseaux LSTM, GRU, le réglage hyperparamétrique et les tâches de prévision de séries chronologiques.
Explore les modèles Seq2Seq avec et sans mécanismes d'attention, couvrant l'architecture encodeur-décodeur, les vecteurs de contexte, les processus de décodage et les différents types de mécanismes d'attention.
Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.
Se concentre sur l'estimation de la pose articulaire de la balle et de la poche à l'aide d'un champ magnétique dans une conception anthropomorphe avec muscles artificiels et tendons.
Explore le mécanisme d'attention dans la traduction automatique, en s'attaquant au problème du goulot d'étranglement et en améliorant considérablement les performances NMT.
Explore l'apprentissage profond pour la PNL, en couvrant les insertions de mots, les représentations contextuelles, les techniques d'apprentissage et les défis tels que les gradients de disparition et les considérations éthiques.
Introduit des réseaux de flux, couvrant la structure du réseau neuronal, la formation, les fonctions d'activation et l'optimisation, avec des applications en prévision et finance.
Explore le développement d'intégrations contextuelles dans le NLP, en mettant l'accent sur les progrès réalisés par ELMo et BERT et son impact sur les tâches du NLP.
Explore les propriétés théoriques et la puissance pratique des réseaux neuronaux récurrents, y compris leur relation avec les machines d'état et l'exhaustivité de Turing.
Explore l'évaluation du gradient des politiques avec un horizon en 1 étape, met à jour les règles, les comparaisons avec Perceptron et la biologie, et les techniques de généralisation.
