Aller au contenu principal

FAQ

Dans le contexte des LLM​

Qu'est-ce que "l'Attention" ?​

  • L'Attention est un mécanisme qui permet aux modèles de focaliser sur certaines parties d'un texte plus que sur d'autres, améliorant ainsi leur capacité à comprendre et générer du texte.

Qu'est-ce qu'une complétion ?​

  • Une complétion est le processus par lequel un modèle de langue génère du texte en réponse à une invite ou un début de phrase donné.

Qu'est-ce qu'un prompt ?​

  • Un prompt est une entrée donnée à un modèle de langue, souvent sous forme de texte, à laquelle le modèle réagit en générant ou complétant du texte.

Qu'est-ce que GELU ?​

  • GELU (Gaussian Error Linear Unit) est une fonction d'activation utilisée dans les réseaux neuronaux, permettant de moduler les signaux passant entre les couches du réseau.

Qu'est-ce que RELU ?​

  • RELU (Rectified Linear Unit) est une fonction d'activation populaire dans les réseaux de neurones, utilisée pour introduire la non-linéarité dans le modèle.

Qu'est-ce que softmax ?​

  • Softmax est une fonction qui convertit un vecteur de scores en probabilités, souvent utilisée dans les couches de sortie des modèles de classification pour représenter des probabilités distribuées.

Qu'est-ce que le décodage ?​

  • Le décodage est le processus de conversion de représentations internes ou encodées en données compréhensibles ou utilisables, comme du texte généré.

Qu'est-ce que l'encodage ?​

  • L'encodage est le processus de conversion de données d'entrée, comme du texte, en une forme interne que le modèle peut traiter.

Qu'est-ce que la tokenisation ?​

  • La tokenisation est le processus de découpage d'un texte en morceaux plus petits, appelés tokens, qui peuvent être des mots, des caractères ou des sous-mots.

Qu'est-ce qu'un embedding ?​

  • Un embedding est une représentation vectorielle d'un mot, d'un token ou d'une phrase, capturant le contexte et la signification dans un espace de dimension réduite.

Qu'est-ce que la quantification ?​

  • La quantification est un processus visant à réduire la précision des nombres utilisés dans un modèle, permettant de diminuer sa taille et d'accélérer son exécution sans compromettre significativement les performances.

Qu'est-ce qu'un tensor ?​

  • Un tensor est une structure de données multi-dimensionnelle utilisée pour stocker des données numériques, servant de bloc de construction de base pour les opérations dans les réseaux de neurones.

Qu'est-ce qu'un tensor épars ?​

  • Un tensor épars est un tensor où la majorité des éléments sont zéro, permettant une représentation et un traitement plus efficaces des données de grande dimension peu denses.

Qu'est-ce qu'un vecteur ?​

  • Un vecteur est un tableau unidimensionnel de nombres utilisé pour représenter des données dans un espace vectoriel, souvent utilisé comme le bloc de construction le plus simple d'un tensor.

comment est implémentée l'attention ?​

  • L'attention est implémentée via un mécanisme mathématique qui calcule un score d'attention pour chaque paire de mots dans une séquence, permettant au modèle de pondérer l'importance relative de chaque mot lors de la génération de texte.

pourquoi dit-on que "l'attention, c'est tout ce dont vous avez besoin" ?​

  • Cette phrase fait référence à l'architecture des modèles Transformer qui montre que l'utilisation de couches d'attention multiples et complexes peut suffire à réaliser des tâches de traitement du langage naturel avec une efficacité remarquable, sans nécessiter d'autres types de couches de réseau neuronal.

Qu'est-ce que "RoPe" et à quoi sert-il ?​

  • RoPe (Rotary Position Embedding) est une technique d'incorporation de la position qui améliore la capacité des modèles Transformer à gérer la relation entre les positions des tokens dans une séquence, contribuant à une meilleure compréhension du texte.

Qu'est-ce que "LoRA" et à quoi sert-il ?​

  • LoRA (Low-Rank Adaptation) est une technique d'adaptation de modèle qui ajuste une petite partie des poids d'un modèle pré-entraîné pour des tâches spécifiques, permettant une personnalisation efficace avec peu de modifications.

Qu'est-ce que les poids ?​

  • Les poids sont des paramètres ajustables dans un réseau de neurones qui sont appris au cours de l'entraînement. Ils déterminent l'importance de l'entrée de chaque neurone dans le calcul de la sortie.

Qu'est-ce que les biais ?​

  • Les biais sont des paramètres ajustables, ajoutés à la somme pondérée des entrées d'un neurone, qui permettent de modifier la sortie du neurone indépendamment de ses entrées.

Qu'est-ce que les checkpoints ?​

  • Les checkpoints sont des sauvegardes des états d'un modèle pendant l'entraînement, permettant de reprendre l'entraînement à partir de ce point ou d'utiliser cet état du modèle pour des prédictions.

Qu'est-ce que la "perplexité" ?​

  • La perplexité est une mesure de performance pour les modèles de langue, évaluant à quel point un modèle est perplexe ou surpris par un ensemble de données de test, avec des valeurs plus basses indiquant une meilleure performance.

Qu'est-ce que les modèles ?​

  • Dans ce contexte, les modèles sont des structures algorithmiques entraînées pour comprendre, générer, ou traduire du langage naturel, basées sur des architectures neuronales complexes comme le Transformer.

Dans le contexte de l'apprentissage automatique, qu'est-ce que l'"oubli catastrophique" ?​

  • L'oubli catastrophique désigne la tendance des modèles d'apprentissage automatique à oublier rapidement l'information apprise précédemment lorsqu'ils sont entraînés sur de nouvelles données, ce qui peut être un défi lors de l'apprentissage continu.

Dans le contexte de l'apprentissage automatique, qu'est-ce que la "consolidation pondérale élastique (EWC)## " ?

  • EWC est une technique visant à atténuer l'oubli catastrophique en ajustant l'importance des poids du modèle en fonction de leur importance pour les tâches apprises précédemment, permettant une meilleure rétention des connaissances.

Dans le contexte des réseaux neuronaux, qu'est-ce qu'une couche cachée ?​

  • Une couche cachée est une couche de neurones qui se trouve entre la couche d'entrée et la couche de sortie dans un réseau de neurones, jouant un rôle clé dans la capacité du réseau à apprendre des caractéristiques complexes des données.

Dans le contexte des réseaux neuronaux, qu'est-ce qu'une convolution ?​

  • Une convolution est une opération mathématique appliquée à l'entrée d'un réseau de neurones convolutionnels, utilisée principalement pour le traitement d'images, qui permet de capturer les caractéristiques spatiales et temporelles des données.

Dans le contexte des réseaux neuronaux, qu'est-ce que le dropout ?​

  • Le dropout est une technique de régularisation utilisée pour prévenir le surapprentissage dans les réseaux de neurones. Il fonctionne en désactivant aléatoirement certains neurones pendant l'entraînement, forçant le réseau à apprendre des caractéristiques plus robustes.

Dans le contexte des réseaux neuronaux, qu'est-ce que l'entropie croisée ?​

  • L'entropie croisée est une mesure de la différence entre deux distributions de probabilités, souvent utilisée comme fonction de perte dans les problèmes de classification pour mesurer la distance entre la distribution prédite par le modèle et la distribution réelle des étiquettes.

Dans le contexte des réseaux neuronaux, qu'est-ce que le surapprentissage ?​

  • Le surapprentissage se produit lorsque un modèle de réseau de neurones apprend trop bien les données d'entraînement, au point d'incorporer le bruit ou les détails insignifiants, réduisant ainsi sa capacité à généraliser à de nouvelles données.

  • Dans le contexte des réseaux neuronaux, qu'est-ce que le sous-apprentissage ?

Le sous-apprentissage se produit lorsque un modèle de réseau de neurones n'apprend pas suffisamment les relations dans les données d'entraînement, conduisant à de faibles performances à la fois sur les données d'entraînement et de test.

Quelle est la différence entre un langage de programmation interprété et un langage compilé ?​

  • Un langage de programmation interprété est exécuté ligne par ligne par un interpréteur, tandis qu'un langage compilé est d'abord traduit dans son intégralité en code machine par un compilateur avant d'être exécuté.

Dans le contexte du développement logiciel, qu'est-ce qu'un débogueur ?​

  • Un débogueur est un outil qui aide les développeurs à trouver et corriger des erreurs (bugs) dans le code logiciel, en offrant des fonctionnalités telles que l'exécution pas à pas, l'inspection des variables et l'arrêt sur des points d'arrêt.

GPU, qu'est-ce que la décharge (off-loading) ?​

  • La décharge (off-loading) fait référence au transfert de certaines tâches de calcul du processeur central (CPU) vers le processeur graphique (GPU) pour accélérer ces tâches, en exploitant la capacité de traitement parallèle du GPU.

GPU, qu'est-ce qu'un lot (batch) ?​

  • Un lot (batch) est un ensemble de données traitées ensemble dans une opération parallèle sur un GPU. L'utilisation de lots permet d'améliorer l'efficacité du traitement en exploitant la capacité de traitement parallèle des GPUs.

GPU, qu'est-ce qu'un bloc ?​

  • Un bloc est une unité de travail distribuée au sein d'un GPU, contenant un ensemble de threads qui exécutent le même code sur différentes parties des données en parallèle.

GPU, quelle est la différence entre un lot et un bloc ?​

  • Un lot fait référence à un ensemble de données traitées ensemble, tandis qu'un bloc se réfère à une unité de travail au sein du GPU. Les blocs sont utilisés pour diviser le traitement d'un lot en parties plus petites qui peuvent être exécutées en parallèle.

GPU, qu'est-ce qu'un tensor de travail (scratch tensor) ?​

  • Un tensor de travail (scratch tensor) est une zone de stockage temporaire utilisée par les GPUs pendant les calculs, facilitant le traitement parallèle des données sans interférence entre les threads.

GPU, qu'est-ce qu'une couche ?​

  • Dans ce contexte, une couche fait référence à une strate computationnelle dans un réseau de neurones, traitée par le GPU. Chaque couche effectue un type spécifique de transformation sur ses entrées.

GPU, qu'est-ce qu'un cache ?​

  • Un cache est une petite quantité de mémoire rapide située sur le GPU, utilisée pour stocker temporairement des données fréquemment accédées afin de réduire le temps d'accès aux données et d'améliorer les performances de calcul.

GPU, qu'est-ce que la mémoire unifiée ?​

  • La mémoire unifiée est un modèle de gestion de mémoire dans les architectures de calcul par GPU qui permet une allocation de mémoire partagée entre le CPU et le GPU, simplifiant le transfert de données et la programmation.

GPU, qu'est-ce que la VRAM ?​

  • La VRAM (Video RAM) est un type spécial de mémoire utilisée par les cartes graphiques (GPU) pour stocker les images, les textures et d'autres éléments graphiques. Elle est conçue pour permettre un accès rapide et efficace par le GPU.

GPU, qu'est-ce qu'un noyau (kernel) ?​

  • Un noyau (kernel) est un programme ou une fonction exécutée sur le GPU, destiné à être lancé en parallèle sur plusieurs threads. Les noyaux permettent d'effectuer des calculs intensifs en parallèle pour accélérer le traitement des données.

GPU, qu'est-ce que "Metal" ?​

  • Metal est une API de bas niveau développée par Apple pour optimiser les performances des applications graphiques et de calcul sur les dispositifs iOS et macOS, en permettant un contrôle direct sur le GPU.

Dans le contexte des LLM, quels sont les modèles d'apprentissage "Zero-Shot", "One-Shot" et "Few-Shot" ?

  • **Zero-Shot Learning## ** : Un modèle est capable de comprendre et d'exécuter des tâches pour lesquelles il n'a pas été explicitement entraîné, en utilisant sa connaissance générale.
  • *One-Shot Learning## * : Un modèle apprend à partir d'un seul exemple ou d'une très petite quantité de données pour effectuer une tâche.
  • Few-Shot Learning : Un modèle apprend à partir d'un petit nombre d'exemples pour réaliser des tâches spécifiques, minimisant le besoin de vastes ensembles de données d'entraînement.

Qu'est-ce que l'architecture "Transformer-model" ?​

  • L'architecture Transformer est un modèle de réseau de neurones basé sur l'attention, qui a révolutionné le traitement du langage naturel (NLP) en permettant un apprentissage profond plus efficace et plus précis, en se concentrant sur les relations entre les mots dans un texte.

Qu'est-ce que "l'Attention Multi-Têtes" ?​

  • L'Attention Multi-Têtes est une caractéristique de l'architecture Transformer qui permet au modèle de se concentrer sur différentes parties d'une séquence d'entrée simultanément, améliorant la compréhension du contexte et des relations entre les mots.

Qu'est-ce que "l'Auto-Attention" ?​

  • L'Auto-Attention, ou Self-Attention, est un mécanisme qui permet à un modèle de pondérer l'importance de chaque partie d'une séquence d'entrée par rapport aux autres, améliorant la capacité à comprendre les dépendances et les relations dans le texte.

Dans le contexte des architectures de modèles Transformer, comment les mécanismes d'attention utilisent-ils les masques ?​

  • Les masques dans les mécanismes d'attention servent à contrôler l'accès de l'attention à certaines parties de la séquence d'entrée. Par exemple, ils peuvent empêcher le modèle de voir les parties futures de la séquence lors du traitement du texte, permettant ainsi de modéliser des dépendances séquentielles sans divulguer d'informations non désirées.

GPU, qu'est-ce que la mémoire unifiée ?​

  • La mémoire unifiée est une technologie qui permet au CPU et au GPU de partager la même espace de mémoire, facilitant le transfert et l'accès aux données entre les deux, et améliorant l'efficacité du développement et de l'exécution des programmes.

GPU, qu'est-ce que la VRAM ?​

  • La VRAM (Video RAM) est un type de mémoire spécialement conçue pour les GPUs, utilisée pour stocker rapidement les images et les textures nécessaires pour le rendu graphique, ainsi que pour les calculs de traitement parallèle.

GPU, qu'est-ce qu'un noyau (kernel) ?​

  • Dans le contexte du GPU, un noyau (kernel) est un programme ou une fonction exécutée sur le GPU, traitant les données en parallèle sur plusieurs threads. Les kernels sont au cœur du calcul parallèle sur les GPUs.

GPU, qu'est-ce que "Metal" ?​

  • Metal est une API (Interface de Programmation d'Applications) développée par Apple pour optimiser les performances des applications graphiques et de calcul sur les appareils iOS et macOS, en fournissant un accès direct au GPU.

Qu'est-ce que les modèles "Zero-Shot", "One-Shot" et "Few-Shot" ?​

  • Ces termes se réfèrent à la capacité des modèles de langage à effectuer des tâches sans données d'entraînement spécifiques (Zero-Shot), avec un seul exemple (One-Shot), ou avec quelques exemples (Few-Shot), montrant une compréhension flexible et adaptable du langage.

Qu'est-ce que l'architecture "Transformer-model" ?​

  • L'architecture Transformer est un type de modèle de traitement du langage naturel basé sur des mécanismes d'attention, permettant au modèle de pondérer différemment les parties d'une séquence d'entrée. Elle est au cœur de nombreux LLMs avancés.

Qu'est-ce que la "Multi-Head Attention" ?​

  • La Multi-Head Attention est une extension du mécanisme d'attention qui permet au modèle de se concentrer sur différentes parties d'une séquence d'entrée simultanément, améliorant la capacité du modèle à capter des relations complexes dans les données.

Qu'est-ce que la "Self-Attention" ?​

  • La Self-Attention est un type de mécanisme d'attention qui permet à un modèle d'évaluer et de pondérer l'importance de chaque partie d'une séquence par rapport à toutes les autres, améliorant ainsi sa capacité à comprendre et générer du texte de manière cohérente.

Dans le contexte des architectures de modèle Transformer, comment les mécanismes d'attention utilisent-ils les masques ?​

  • Les masques sont utilisés dans les mécanismes d'attention pour contrôler quelles parties d'une séquence sont visibles par le modèle à chaque étape du calcul. Cela permet, par exemple, d'empêcher le modèle de voir les parties futures de la séquence lors de la génération de texte, préservant ainsi la causalité et améliorant la qualité des prédictions.