Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Auto-encodeurUn auto-encodeur (autoencodeur), ou auto-associateur est un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé de caractéristiques discriminantes. L'objectif d'un auto-encodeur est d'apprendre une représentation (encodage) d'un ensemble de données, généralement dans le but de réduire la dimension de cet ensemble. Récemment, le concept d'auto-encodeur est devenu plus largement utilisé pour l'apprentissage de modèles génératifs.
Ethernet physical layerThe physical-layer specifications of the Ethernet family of computer network standards are published by the Institute of Electrical and Electronics Engineers (IEEE), which defines the electrical or optical properties and the transfer speed of the physical connection between a device and the network or between network devices. It is complemented by the MAC layer and the logical link layer. The Ethernet physical layer has evolved over its existence starting in 1980 and encompasses multiple physical media interfaces and several orders of magnitude of speed from 1 Mbit/s to 400 Gbit/s.
Domaine de collisionUn domaine de collision est une zone logique d'un réseau informatique où les paquets de données peuvent entrer en collision entre eux, en particulier avec le protocole de communication Ethernet. Un domaine de collision peut être un seul segment de câble Ethernet, un seul concentrateur ou même un réseau complet de concentrateurs et de répéteurs. Généralement, un concentrateur forme un seul domaine de collision alors qu'un commutateur ou un routeur en crée un par port, ce qui réduit les risques de collision.
Systèmes de questions-réponsesUn système de questions-réponses (question answering system en anglais, ou QA system) est un système informatique permettant de répondre automatiquement à des questions posées par des humains, lors d'un échange fait en langue naturelle (comme le français). La discipline liée appartient aux domaines du traitement automatique de la langue et de la recherche d'information. Elle se démarque de l'interrogation de moteurs de recherche en cela qu'elle vise non seulement à récupérer les documents pertinents d'une collection de textes, mais également à formuler une réponse très ciblée à la question posée.
Satellite d'observation de la Terrethumb|Maquette du satellite ERS-2 (European Remote-Sensing Satellite), lancé en 1995. Un satellite d'observation de la Terre est un satellite artificiel utilisé pour effectuer des observations géophysiques et géographiques de la Terre depuis l'orbite terrestre. Cette catégorie de satellite est utilisée dans des applications telles que la météorologie, l'inventaire des ressources naturelles, la géodésie, l'étude et la modélisation du climat, la prévention et le suivi des catastrophes naturelles, la reconnaissance militaire.
Attentionthumb|250px|Jeune fille se concentrant sur une tâche manuelle ; le regard, la respiration, la position du corps et en particulier des mains et le contrôle neuro musculaire sont mobilisés de concert pour assurer la précision du mouvement L'attention est la faculté de l'esprit de se consacrer à un objet : d'utiliser ses capacités à l'observation, l'étude, le jugement d'une chose quelle qu'elle soit, ou encore à la pratique d'une action.
Génération automatique de textesLa génération automatique de texte (GAT) est une sous discipline de la linguistique computationnelle qui vise à exprimer sous une forme textuelle, syntaxiquement et sémantiquement correcte, une représentation formelle d'un contenu. Outre ses nombreuses applications existantes ou potentielles - par exemple pour produire automatiquement des bulletins météorologiques, ou des rapports automatisés - elle offre par ailleurs un cadre d'investigation des théories linguistiques, et particulièrement de ses mécanismes de production.
Réseau de neurones à impulsionsLes réseaux de neurones à impulsions (SNNs : Spiking Neural Networks, en anglais) sont un raffinement des réseaux de neurones artificiels (ANNs : Artificial Neural Networks, en anglais) où l’échange entre neurones repose sur l’intégration des impulsions et la redescente de l’activation, à l’instar des neurones naturels. L’encodage est donc temporel et binaire. Le caractère binaire pose une difficulté de continuité au sens mathématique (cela empêche notamment l’utilisation des techniques de rétropropagation des coefficients - telle que la descente de gradient - utilisées classiquement dans les méthodes d'apprentissage).
10 Gigabit Ethernet10 Gigabit Ethernet est une expression utilisée pour désigner une variété de technologies utilisée pour implémenter le standard IEEE 802.3 (Ethernet) à des débits compris entre 1000 et 10 000 Mbit/s. Ces technologies basées sur des standards de câblage reposent sur des liaisons filaires à fibre optique ou à paire torsadée. Les standards de câblage sont définis dans les normes suivantes : clauses 44 à 54 du groupe de normes IEEE 802.3. IEEE 802.3ae. IEEE 802.3ak. IEEE 802.3an. IEEE 802.3ap. IEEE 802.3aq.
TélédétectionLa télédétection est l'ensemble des techniques utilisées pour déterminer à distance les propriétés d'objets naturels ou artificiels à partir des rayonnements qu'ils émettent ou réfléchissent. Les techniques de télédétection comprennent l'ensemble du processus : la capture et l'enregistrement de l'énergie d'un rayonnement émis ou réfléchi par les objets observés, le traitement des données résultantes et enfin l'analyse des données finales. Ce processus met en œuvre un capteur (appareil photographique, laser, radar, sonar, lidar, sismographe, gravimètre,.
Fast EthernetFast Ethernet est une dénomination pour décrire une variété de technologies utilisées pour implémenter le standard Ethernet (Implémentation au niveau de la couche PHY et de la sous-couche MAC) à des débits jusqu'à 100 Mbit/s. Fast Ethernet améliore le standard précédent qui n'autorise un transfert de données qu'à des débits ne dépassant pas 10 Mbit/s. Ces variantes du standard Ethernet sont définies par les normes IEEE 802.3u et IEEE 802.3y.
Quantification vectorielleLa quantification vectorielle est une technique de quantification souvent utilisée dans la compression de données avec pertes de données (Lossy Data Compression) pour laquelle l'idée de base est de coder ou de remplacer par une clé des valeurs d'un espace vectoriel multidimensionnel vers des valeurs d'un sous-espace discret de plus petite dimension. Le vecteur de plus petit espace nécessite moins d'espace de stockage et les données sont donc compressées.
Cortex orbitofrontalLe cortex orbitofrontal (OF) est une région du cortex cérébral qui entre en jeu dans le processus de décision. Il est situé en position antérieure et sur la face inférieure du cortex préfrontal. Il prend son nom des lobes frontaux et du fait qu'il est situé au-dessus des orbites. Cette partie du cortex préfrontal est en connexion avec le thalamus. Parce qu'il est actif dans les émotions et le système de récompense, le cortex orbitofrontal est souvent considéré comme faisant partie du système limbique. Orbi
