NVIDIA a créé une IA qui SURPASSE ChatGPT ?! (Nemotron 70b)
Dans cette vidéo, on plonge dans l'univers de Nemotron, un modèle de langage open source développé par Nvidia et basé sur LLAMA 3.1 de Meta. Avec ses 70 milliards de paramètres, Nemotron se distingue par une performance impressionnante, notamment grâce à l'apprentissage par renforcement à partir du feedback humain (RLHF).
Ce modèle est conçu pour des tâches complexes comme le raisonnement mathématique ou la modération de contenu, tout en restant plus économe en ressources que des modèles comme GPT-4.
Découvrez pourquoi Nemotron est un acteur clé dans l'évolution des modèles d'intelligence artificielle.
Chapitres de la vidéo :
0:00 Introduction0:59 Présentation de Nemotron 70b2:33 Les performances de ce modèle4:10 Pourquoi ce modèle est si bon ?5:07 Les 3 avantages de cette méthode5:41 Comment tester Nemotron 70b ?6:27 Test et comparaison de ce modèle14:21 Conclusion
Sources de la vidéo :
(37) NVIDIA a créé une IA qui SURPASSE ChatGPT ?! (Nemotron 70b) - YouTube :
nvidia/Llama-3.1-Nemotron-70B-Reward-HF · Hugging Face :
Llama-3.1-Nemotron-70B-Reward est un grand modèle de langage personnalisé développé par NVIDIA pour prédire la qualité des réponses générées par LLM. Plus précisément, il a été entraîné à l’aide d’une base Llama-3.1-70B-Instruct sur une nouvelle approche combinant la force de Bradley Terry et la modélisation de récompense de régression SteerLM.
Étant donné une conversation en anglais avec plusieurs tours entre l’utilisateur et l’assistant (jusqu’à 4 096 jetons), il évalue la qualité du tour final de l’assistant à l’aide d’un score de récompense.
Pour la même invite, une réponse avec un score de récompense plus élevé a une qualité supérieure à une autre réponse avec un score de récompense inférieur, mais on ne peut pas en dire autant lorsque l’on compare les scores entre les réponses à différentes invites.
Llama-3.1-Nemotron-70B-Reward-HF a été converti à partir de Llama-3.1-Nemotron-70B-Reward pour le soutenir dans la base de code de HuggingFace Transformers. Veuillez noter que les résultats de l’évaluation peuvent être légèrement différents de ceux du Lama-3.1-Nemotron-70B-Reward tel qu’évalué dans NeMo-Aligner, sur lequel les résultats d’évaluation ci-dessous sont basés.
Essayez gratuitement l’inférence hébergée chez build.nvidia.com - elle est livrée avec une interface API compatible OpenAI et le simple fait de vous inscrire vous permet d’obtenir 100k appels API gratuits vers ce modèle.
En utilisant ce modèle de récompense pour RLHF (plus précisément, REINFORCE), nous avons pu régler un modèle Llama-3.1-70B-Instruct pour atteindre AlpacaEval 2 LC de 57,6, Arena Hard de 85,0 et GPT-4-Turbo MT-Bench de 8,98, qui sont connus pour être prédictifs de LMSys Chatbot Arena Elo Ce modèle Instruct est disponible chez Llama-3.1-Nemotron-70B-Instruct en tant que modèle .nemo et Llama-3.1-Nemotron-70B-Instruct-HF en tant que modèle HF Transformers.
Au 1er octobre 2024, ce modèle est #1 sur les trois benchmarks d’alignement automatique, devançant les modèles de frontière forts tels que GPT-4o et Claude 3.5 Sonnet.
Voir les détails sur notre article à https://arxiv.org/abs/2410.01257 - en guise d’aperçu, ce modèle peut corriger la question sans incitation spécialisée ni jetons de raisonnement supplémentaires....
llama-3_1-nemotron-70b-instruct | NVIDIA NIM :
Nvidia Releases Nemotron 70B Model; Claims to Beat GPT-4o and Claude 3.5 Sonnet | Beebom :
Voir les détails sur notre article à https://arxiv.org/abs/2410.01257 - en guise d’aperçu, ce modèle peut corriger la question sans incitation spécialisée ni jetons de raisonnement supplémentaires :How many r in strawberry?
[2410.01257] HelpSteer2-Preference: Complementing Ratings with Preferences
$ ollama run nemotron
>>> How many r in strawberry?
A sweet question!
Let's count the "R"s in "strawberry":
1. S
2. T
3. R
4. A
5. W
6. B
7. E
8. R
9. R
10. Y
There are **3** "R"s in the word "strawberry".
Il n’utilise pas de jetons de raisonnement supplémentaires comme les modèles OpenAI o1 ou ne tire pas parti d’invites spécialisées pour obtenir la bonne réponse.
Lors de mes brefs tests, le modèle s’est trompé du premier coup. Cependant, lorsque j’ai posé à nouveau la même question, elle a correctement répondu aux 3 R.
GitHub - NVIDIA/NeMo: A scalable generative AI framework built for researchers and developers working on Large Language Models, Multimodal, and Speech AI (Automatic Speech Recognition and Text-to-Speech) :
https://github.com/NVIDIA/NeMo
Quickstart with NeMo-Run — NVIDIA NeMo Framework User Guide latest documentation :
library nemotron :
Llama-3.1-Nemotron-70B-Instruct est un grand modèle de langage personnalisé par NVIDIA pour améliorer l’utilité des réponses générées par LLM aux requêtes des utilisateurs.
Nemotron-Mini :
C'est petit modèle de langage de NVIDIA optimisé pour le jeu de rôle, l’assurance qualité RAG et l’appel de fonctions.
Nemotron-Mini-4B-Instruct est un modèle de génération de réponses pour le jeu de rôle, la récupération, la génération augmentée et l’appel de fonctions. Il s’agit d’un modèle de petit langage (SLM) optimisé par distillation, élagage et quantification pour la vitesse et le déploiement sur l’appareil.
Ce modèle d’instruction est optimisé pour le jeu de rôle, l’assurance qualité RAG et l’appel de fonction en anglais. Il prend en charge une longueur de contexte de 4 096 jetons. Ce modèle est prêt pour un usage commercial.
Llama-3.1-Nemotron-70B
Llama-3.1-Nemotron-70B-Instruct est un grand modèle de langage personnalisé par NVIDIA pour améliorer l’utilité des réponses générées par LLM aux requêtes des utilisateurs.
Ce modèle a été entraîné à l’aide des invites RLHF (plus précisément, REINFORCE), Llama-3.1-Nemotron-70B-Reward et HelpSteer2-Preference sur un modèle Llama-3.1-70B-Instruct comme politique initiale.
nemotron:latest
Nom Digérer Modifié à Taille Actions
nemotron:latest 2262f...d589 a minute 40 GB
mistral:latest f974a...5091 7 days 3.8 GB
llava:latest 8dd30...d081 7 days 4.4 GB
mistral-small:latest d095c...88bc 8 days 12 GB
llama3.2:latest a80c4...8b72 9 days 1.9 GB
Performance du PC-AI.
C:\Users\erolg>ollama list
NAME ID SIZE MODIFIED
nemotron-mini:latest ed76ab18784f 2.7 GB 24 minutes ago
nemotron:latest 2262f047a28a 42 GB 36 minutes ago
mistral:latest f974a74358d6 4.1 GB 6 days ago
llava:latest 8dd30f6b0cb1 4.7 GB 7 days ago
mistral-small:latest d095cd553b04 12 GB 8 days ago
llama3.2:latest a80c4f17acd5 2.0 GB 8 days ago
C:\Users\erolg>
Installation de Llama 3.2 sur un PC-AI sous Windows.
Installation de Nemotron 70b sur un PC-AI sous Windows, et son plan de gouvernance :
---
Pierre Erol GIRAUDY
.png)
