Affichage des articles dont le libellé est OLLAMA. Afficher tous les articles
Affichage des articles dont le libellé est OLLAMA. Afficher tous les articles

jeudi 9 janvier 2025

Phi-4

Phi 4 est un modèle ouvert de 14B à la pointe de la technologie de Microsoft.

Un modèle ouvert de paramètres qui fonctionne à égalité avec GPT-4o-mini d'OpenAI de Microsoft est disponible sur Ollama.  

 Principaux cas d’utilisation

Phi-4 est conçu pour accélérer la recherche sur les modèles linguistiques, destinés à servir de base à des fonctionnalités génératives basées sur l'IA. Il fournit des utilisations pour les systèmes et applications d'IA à usage général (principalement en anglais) qui nécessitent : library https://ollama.com/library

Mes Ollama...

Rapport technique du Phi-4   

 Si vous avez des commentaires, veuillez répondre directement à cet e-mail pour nous le faire savoir ou via notre Discord .    https://discord.com/channels/1128867683291627614/1150902223417655317 

Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning | Microsoft Community Hub

https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-phi-4-microsoft%E2%80%99s-newest-small-language-model-specializing-in-comple/4357090

Ollama Phi-4 installé.
https://ollama.com/library/phi4

 La dernière version d'Ollama est la 0.5.4

 Télécharger Ollama https://github.com/ollama/ollama

Phi 4 est un modèle ouvert de pointe à 14 milliards de paramètres, construit sur un mélange d’ensembles de données synthétiques, de données provenant de sites Web filtrés du domaine public, de livres universitaires acquis et d’ensembles de données de questions-réponses.

Phi-4 benchmark

Le modèle a fait l’objet d’un processus rigoureux d’amélioration et d’alignement, intégrant à la fois un réglage fin supervisé et une optimisation directe des préférences pour garantir un respect précis des instructions et des mesures de sécurité robustes.

Durée du contexte : 16k tokens

Phi-4 performance eval by Microsoft

Principaux cas d’utilisation

Le modèle est conçu pour accélérer la recherche sur les modèles de langage, à utiliser comme élément constitutif des fonctionnalités générées par l’IA. Il fournit des utilisations pour des systèmes et des applications d’IA à usage général (principalement en anglais) qui nécessitent :

  1. Environnements à mémoire limitée/calcul.
  2. Scénarios liés à la latence.
  3. Raisonnement et logique.

Cas d’utilisation hors du champ d’application

Les modèles ne sont pas spécifiquement conçus ou évalués pour toutes les applications en aval, de sorte que :

  1. Les développeurs doivent tenir compte des limites courantes des modèles de langage lorsqu’ils sélectionnent les cas d’utilisation, et évaluer et atténuer l’exactitude, la sécurité et l’équité avant de les utiliser dans un cas d’utilisation en aval spécifique, en particulier pour les scénarios à haut risque.
  2. Les développeurs doivent connaître et respecter les lois ou réglementations applicables (y compris la confidentialité, les lois sur la conformité commerciale, etc.) qui sont pertinentes pour leur cas d’utilisation, y compris l’accent mis sur l’anglais par le modèle.
  3. Rien de ce qui est contenu dans ce fichier readme ne doit être interprété comme une restriction ou une modification de la licence sous laquelle le modèle est publié.
Ma première question à Phi-4

Favoriser l’innovation en IA de manière sûre et responsable :


La création de solutions d’IA de manière responsable est au cœur du développement de l’IA chez Microsoft. Nous avons mis à la disposition des clients qui construisent avec des modèles Phi nos capacités d’IA responsable robustes, y compris Phi-3.5-mini optimisé pour les PC Windows Copilot+. 


Phi Silica, small but mighty on-device SLM


https://blogs.windows.com/windowsexperience/2024/12/06/phi-silica-small-but-mighty-on-device-slm/


Azure AI Foundry fournit aux utilisateurs un ensemble robuste de fonctionnalités pour aider les organisations à mesurer, atténuer et gérer les risques d’IA tout au long du cycle de développement de l’IA pour les applications traditionnelles d’apprentissage automatique et d’IA générative. Les évaluations Azure AI dans AI Foundry permettent aux développeurs d’évaluer de manière itérative la qualité et la sécurité des modèles et des applications à l’aide de métriques intégrées et personnalisées pour informer les atténuations.  


How to evaluate generative AI models and applications with Azure AI Foundry - Azure AI Foundry | Microsoft Learn

https://learn.microsoft.com/en-us/azure/ai-studio/how-to/evaluate-generative-ai-app


https://ai.azure.com/explore/models/Phi-4/version/1/registry/azureml?tid=6e64fb26-716e-4bec-a05a-2b526a797c2e

De plus, les utilisateurs de Phi peuvent utiliser les fonctionnalités de sécurité du contenu Azure AI telles que les boucliers d’invite, la détection de matériaux protégés et la détection de mise à la terre. 

Ces fonctionnalités peuvent être exploitées en tant que filtres de contenu avec n’importe quel modèle de langage inclus dans notre catalogue de modèles, et les développeurs peuvent intégrer facilement ces fonctionnalités dans leur application via une API unique. 

Une fois en production, les développeurs peuvent surveiller la qualité et la sécurité de leur application, les attaques contradictoires et l’intégrité des données, en intervenant en temps opportun à l’aide d’alertes en temps réel.

Comparaison des modifications

Choisissez deux branches pour voir ce qui a changé ou pour démarrer une nouvelle demande de tirage. Si vous en avez besoin, vous pouvez également  ou en savoir plus sur les comparaisons de différentiels.

Comparing v0.4.5...v0.4.6 · ollama/ollama · GitHub

https://github.com/ollama/ollama/compare/v0.4.5...v0.4.6


En mai, nous avons présenté les PC Copilot+, ces appareils incluent une unité de traitement neuronal (NPU) capable de plus de 40 trillions d’opérations par seconde (TOPS). Lors de notre annonce de mai, nous avons également dévoilé Phi Silica, le nouveau SLM sur l’appareil disponible à partir des NPU Snapdragon X Series. 

Phi Silica est la série sœur de modèles Phi qui exploite le NPU sur les PC Copilot+. 

Lors de l’Ignite de novembre, nous avons également annoncé que les développeurs pourront accéder à l’API Phi Silica à partir de janvier 2025. 

Les développeurs peuvent intégrer des fonctionnalités d’intelligence linguistique dans leurs applications sans avoir à se soucier de l’optimisation ou de la personnalisation du modèle, car Phi Silica est préréglé et livré dans la boîte de réception.

https://blogs.windows.com/windowsexperience/2024/12/06/phi-silica-small-but-mighty-on-device-slm/

https://www.microsoft.com/applied-sciences/

https://news.microsoft.com/source/features/ai/the-phi-3-small-language-models-with-big-potential/

https://blogs.windows.com/windowsexperience/2024/11/19/microsoft-ignite-2024-embracing-the-future-of-windows-at-work/

https://youtu.be/lo-uIlQbfUs?si=PVclIFaeUsDUqB6x


Conclusion retour à la réalité : 

Bien que les réalisations de Phi-4 soient importantes, les performances de référence doivent être interprétées en tenant compte du contexte. Le rapport technique de Microsoft reconnaît plusieurs faiblesses, offrant une vision équilibrée de ses capacités :


Hallucinations factuelles : 

Phi-4 peut fabriquer des informations plausibles mais incorrectes, comme l’invention de biographies pour des noms qui semblent réels. Sans outils tels que les moteurs de recherche, ces problèmes sont difficiles à résoudre complètement.

Respect des instructions : 

le modèle a du mal à gérer les tâches nécessitant un formatage strict ou des instructions détaillées, telles que la génération de données tabulaires ou des structures à puces. Cette limitation provient du fait qu’il se concentre sur les questions et réponses et les tâches de raisonnement pendant la formation.

Erreurs de raisonnement : 

Malgré ses prouesses, Phi-4 peut faire des erreurs de raisonnement, jugeant parfois mal même de simples comparaisons (par exemple, identifiant à tort « 9,9 » comme étant plus petit que « 9,11 »).

Compromis d’interaction : 

Phi-4 est optimisé pour les requêtes à tour unique et, en tant que tel, fournit parfois des explications trop détaillées sur la chaîne de pensée qui peuvent rendre les interactions simples fastidieuses.

Pourquoi c’est toujours important : 

Malgré ces limitations, Phi-4 représente une avancée majeure dans la conception efficace de l’IA. Sa capacité à surpasser les modèles plus grands sur les tâches STEM tout en utilisant moins de ressources est une réalisation importante.

L’essentiel : 

Phi-4 illustre la promesse de modèles plus petits et plus intelligents adaptés à des domaines spécifiques. Bien que ses performances sur des benchmarks comme l’AMC soient remarquables, les développeurs doivent tenir compte de ses limites, en particulier en matière de fiabilité factuelle et de respect strict des instructions. 

Phi-4 est actuellement disponible sur Azure AI Foundry et sera disponible sur Hugging Face.

syedaic/phi-4-abliterated-Q8_0-GGUF · Hugging Face

https://huggingface.co/syedaic/phi-4-abliterated-Q8_0-GGUF


Phi-4 Technical Report :



à Aucun commentaire:
Libellés : , , ,

vendredi 15 novembre 2024

L'administration de LLAMA 3.2 version 0.4.1

 Administration de LLAMA 3.2 version 0.4.1

Le répertoire "gérer les connaissances" dans l'administration de Llama est un outil très pratique pour optimiser l'utilisation de votre modèle de langage.

Voir ma vidéo sur ce sujet :

Fonctionnalité principale :

  • Stockage de fichiers PDF : Ce répertoire sert à centraliser vos documents PDF. Il peut s'agir de manuels, de rapports, d'articles de recherche, ou de tout autre document que vous souhaiteriez rendre accessible à votre modèle.

  • Création de prompts personnalisés : Une fois vos fichiers PDF stockés, vous pouvez créer des prompts spécifiques pour interroger le contenu de ces documents. Par exemple, vous pourriez demander au modèle de résumer un chapitre particulier, de répondre à une question précise, ou de comparer différentes sections.

Avantages de cette fonctionnalité :

  • Amélioration de la précision des réponses : En fournissant au modèle un accès direct à des informations spécifiques, vous augmentez considérablement la précision de ses réponses.

  • Gain de temps : Plus besoin de rechercher manuellement les informations dans vos documents. Le modèle peut le faire pour vous, en quelques secondes.

  • Personnalisation : Vous pouvez adapter les prompts en fonction de vos besoins spécifiques, ce qui vous permet d'extraire les informations les plus pertinentes de vos documents.

Comment cela fonctionne (généralement) :

  1. Envoi du prompt : Lorsque vous envoyez un prompt, Ollama va chercher dans les fichiers PDF associés si elle trouve des informations pertinentes.

  2. Traitement des informations : Le modèle traite les informations trouvées et génère une réponse cohérente et informative.

  3. Retour de la réponse : La réponse est ensuite renvoyée à l'utilisateur.

Quelques exemples d'utilisation :

  • Support client : Vous pouvez stocker la base de connaissances de votre entreprise dans ce répertoire pour permettre à votre modèle de répondre aux questions des clients de manière plus précise et rapide.

  • Recherche et développement : Les chercheurs peuvent utiliser cette fonctionnalité pour accéder rapidement à des articles scientifiques et à des données expérimentales.

  • Formation : Les entreprises peuvent créer des bases de connaissances pour former leurs employés sur des sujets spécifiques.

Points à considérer :

  • Qualité des documents : La qualité des réponses dépend en grande partie de la qualité des documents que vous stockez. Assurez-vous que les PDF sont bien structurés et contiennent des informations pertinentes.

  • Complexité des prompts : Plus vos prompts seront précis et détaillés, meilleures seront les réponses que vous obtiendrez.

  • Taille des fichiers : La taille des fichiers PDF peut avoir un impact sur les performances du modèle.

En résumé, le répertoire "gérer les connaissances" est un outil puissant qui vous permet de transformer votre modèle de langage en une véritable source d'informations personnalisée. En exploitant au mieux cette fonctionnalité, vous pourrez améliorer considérablement votre productivité et la qualité de votre travail.

Version OLLAMA 0.4.1

Les prompts

Le répertoire "gérer les prompts" est un outil très pratique dans l'administration de Llama 3.2, conçu pour optimiser votre utilisation des prompts.

À quoi sert ce répertoire ?

  • Stockage centralisé: Ce répertoire vous permet de stocker tous vos prompts dans un seul endroit, ce qui facilite leur organisation et leur réutilisation.

  • Modélisation de prompts: Vous pouvez créer des modèles de prompts en y incluant des variables ou des placeholders. Ces modèles peuvent ensuite être personnalisés rapidement pour générer différents types de prompts.

  • Gestion de versions: Il est possible de conserver différentes versions d'un même prompt, ce qui est utile pour expérimenter et comparer les résultats.

  • Partage: En fonction de la configuration de votre système, vous pouvez potentiellement partager ces prompts avec d'autres utilisateurs ou applications.

Comment fonctionne-t-il ?

Le fonctionnement exact peut varier légèrement selon l'implémentation spécifique de Llama 3.2 que vous utilisez. Cependant, voici généralement les étapes impliquées :

  1. Création de prompts: Vous créez de nouveaux prompts et les enregistrez dans le répertoire.

  2. Modélisation: Vous pouvez utiliser des variables ou des placeholders dans vos prompts pour les rendre plus flexibles. Par exemple, vous pourriez créer un modèle de prompt pour générer des résumés d'articles, en utilisant une variable pour spécifier le nom de l'article.

  3. Utilisation des prompts: Lorsque vous souhaitez générer du texte, vous sélectionnez le prompt approprié et fournissez les valeurs nécessaires pour les variables. Llama 3.2 utilisera alors ce prompt comme point de départ pour générer le texte.


Quels sont les avantages ?

  • Gain de temps: En évitant de retaper les mêmes prompts à chaque fois, vous gagnez un temps précieux.

  • Cohérence: En utilisant des modèles de prompts, vous assurez une cohérence dans la formulation de vos requêtes.

  • Flexibilité: Les variables vous permettent de personnaliser facilement vos prompts pour différentes situations.

  • Reproductibilité: En conservant différentes versions de vos prompts, vous pouvez reproduire les résultats de vos expériences précédentes.

Quelques exemples d'utilisation:

  • Création de jeux de données: Vous pouvez générer de grandes quantités de données d'entraînement en utilisant des modèles de prompts.

  • Automatisation de tâches: Vous pouvez automatiser certaines tâches en utilisant des scripts qui appellent des prompts préenregistrés.

  • Expérimentation: Vous pouvez facilement tester différentes formulations de prompts pour voir quel est l'impact sur les résultats.

Plusieurs exemples de prompts pour LLAMA

Je vais vous fournir plusieurs exemples de prompts efficaces pour la lecture de documents via Ollama. Ces prompts sont structurés par catégorie d'utilisation :

  1. Prompts pour l'Analyse Générale du Document

textCopy"Voici un document [type de document]. Merci de :
1. Faire un résumé des points principaux
2. Identifier les thèmes clés
3. Lister les informations essentielles
4. Proposer une synthèse en 3 paragraphes"

  1. Prompts pour l'Extraction d'Informations Spécifiques

textCopy"Dans ce document, peux-tu :
- Extraire toutes les dates importantes
- Identifier les personnes mentionnées
- Lister les chiffres clés
- Repérer les décisions principales"

  1. Prompts pour l'Analyse Détaillée

textCopy"Analyse ce document selon les critères suivants :
1. Contexte et objectif
2. Méthodologie utilisée
3. Résultats présentés
4. Conclusions et recommandations
5. Points d'attention particuliers"

  1. Prompts pour la Comparaison de Sections

textCopy"Pour ce document :
1. Compare l'introduction et la conclusion
2. Identifie les contradictions éventuelles
3. Souligne les évolutions d'argumentation
4. Mets en évidence les points de cohérence"

  1. Prompts pour l'Analyse Critique

textCopy"Examine ce document de manière critique :
1. Quels sont les arguments les plus solides ?
2. Y a-t-il des lacunes dans le raisonnement ?
3. Les sources citées sont-elles pertinentes ?
4. Quelles sont les limites de l'analyse présentée ?"

  1. Prompts pour la Synthèse et Recommandations

textCopy"À partir de ce document :
1. Établis une synthèse en 500 mots
2. Propose 3-5 recommandations principales
3. Identifie les points nécessitant plus d'approfondissement
4. Suggère des axes d'amélioration"

  1. Prompts pour l'Extraction de Données Techniques

textCopy"Dans ce document technique :
1. Liste tous les paramètres techniques mentionnés
2. Extrais les spécifications importantes
3. Identifie les protocoles ou procédures
4. Résume les aspects méthodologiques"

  1. Prompts pour la Vérification de Conformité

textCopy"Analyse ce document pour vérifier :
1. La conformité aux normes mentionnées
2. Le respect des procédures standard
3. La présence des éléments obligatoires
4. Les potentielles non-conformités"

  1. Prompts pour l'Analyse de Format et Structure

textCopy"Examine la structure du document :
1. Évalue l'organisation des sections
2. Vérifie la cohérence du formatage
3. Identifie les éléments manquants
4. Suggère des améliorations de présentation"

  1. Prompts pour la Création de Résumés Exécutifs

textCopy"Crée un résumé exécutif incluant :
1. Les 3 messages clés
2. Les décisions importantes
3. Les actions requises
4. Les délais mentionnés
5. Les parties prenantes impliquées"

Conseils d'Utilisation :

  1. Adaptez le Niveau de Détail :

textCopy"Analyse ce document avec un niveau de détail [basique/intermédiaire/approfondi]"

  1. Spécifiez le Format de Réponse :

textCopy"Présente les résultats sous forme de :
- Liste à puces
- Tableau
- Paragraphes structurés
- Points numérotés"

  1. Demandez des Clarifications :

textCopy"Si certains points sont ambigus :
1. Identifie-les
2. Propose des interprétations possibles
3. Suggère des questions de clarification"

  1. Pour les Documents Techniques :

textCopy"Pour chaque section technique :
1. Extrais les formules/équations
2. Liste les variables utilisées
3. Explique les calculs présentés
4. Identifie les hypothèses"

Ces prompts peuvent être combinés ou modifiés selon vos besoins spécifiques. L'important est d'être précis dans vos demandes et de structurer vos questions de manière claire et logique.

Paramétrage du prompt

Détail du prompt

Pour aller plus loin, je vous recommande de consulter la documentation officielle d'Ollama. Elle vous fournira des informations plus détaillées sur les fonctionnalités spécifiques de cette option, ainsi que des exemples concrets d'utilisation.


Un autre exemple de prompt système :

Voici un prompt système détaillé pour guider un modèle de langage dans la création de prompts système efficaces, basé sur les directives fournies :

Générez un prompt système détaillé et structuré pour guider un modèle de langage dans l'exécution efficace d'une tâche spécifique, en vous basant sur une description ou un prompt existant. Votre prompt doit être clair, concis et optimisé pour obtenir les meilleurs résultats possibles.

Suivez ces étapes pour créer le prompt :

1. Analysez soigneusement la description de la tâche ou le prompt existant pour identifier :

- L'objectif principal

- Les buts spécifiques

- Les exigences et contraintes

- Le résultat attendu

2. Structurez le prompt en sections clairement définies :

- Instruction principale concise (première ligne, sans en-tête)

- Contexte et détails supplémentaires

- Étapes ou directives spécifiques (si nécessaire)

- Format de sortie requis

- Exemples (si approprié)

- Notes ou considérations importantes

3. Appliquez ces principes clés :

- Privilégiez la clarté et la concision

- Encouragez le raisonnement étape par étape avant les conclusions

- Préservez le contenu original de l'utilisateur autant que possible

- Incluez des constantes pertinentes directement dans le prompt

- Utilisez le formatage Markdown pour améliorer la lisibilité

4. Déterminez l'ordre optimal pour le raisonnement et les conclusions :

- Identifiez explicitement les parties de raisonnement et de conclusion

- Assurez-vous que les conclusions, classifications ou résultats apparaissent en dernier

- Inversez l'ordre si les exemples fournis le justifient

5. Spécifiez clairement le format de sortie attendu :

- Détaillez la structure, la longueur et la syntaxe requises

- Privilégiez le format JSON pour les données structurées

- Évitez d'envelopper le JSON dans des blocs de code, sauf demande explicite

6. Si des exemples sont nécessaires :

- Fournissez 1 à 3 exemples de haute qualité

- Utilisez des espaces réservés [entre crochets] pour les éléments complexes

- Indiquez clairement le début et la fin de chaque exemple

- Si les exemples sont simplifiés, expliquez comment les exemples réels diffèrent

7. Incluez une section "Notes" si nécessaire :

- Mentionnez les cas limites importants

- Rappelez les considérations cruciales

- Fournissez des conseils supplémentaires pour optimiser les résultats

Format de sortie :

Présentez le prompt système généré sous forme de texte structuré en Markdown, avec des sections clairement définies et numérotées si nécessaire. N'utilisez pas de blocs de code, sauf si spécifiquement demandé. La longueur totale du prompt doit être adaptée à la complexité de la tâche, généralement entre 200 et 500 mots.

Exemple :

Voici un exemple simplifié de prompt système pour une tâche de classification de sentiments :

Classifiez le sentiment du texte fourni en tant que positif, négatif ou neutre. Analysez soigneusement le langage, le contexte et les nuances avant de conclure.

Étapes :

1. Identifiez les mots et phrases clés indiquant un sentiment

2. Évaluez le ton général et le contexte du texte

3. Considérez les nuances, l'ironie ou le sarcasme potentiels

4. Déterminez le sentiment global en fonction de votre analyse

Format de sortie :

Fournissez votre réponse au format JSON avec les champs suivants :

- sentiment : la classification finale (positif, négatif ou neutre)

- confidence : un score de confiance entre 0 et 1

- key_phrases : un tableau des phrases clés ayant influencé votre décision

Exemple :

Entrée : "Le nouveau restaurant était correct, mais le service était lent."

Sortie :

{

"sentiment": "neutre",

"confidence": 0.7,

"key_phrases": ["correct", "service était lent"]

}

Notes :

- Soyez attentif aux expressions idiomatiques qui peuvent influencer le sentiment

- En cas d'ambiguïté, privilégiez une classification neutre avec une confiance plus basse

(Note : Dans un cas réel, l'exemple serait plus long et complexe, avec potentiellement plusieurs exemples pour illustrer différents cas.).


The latest version of Ollama is 0.4 : https://ollama.com/download
 
Download Ollama
 

The Ollama maintainers



De plus Microsoft a fait un programme de formation gratuit sur l'éthique  je vais publier un article sur celle-ci... 

Voir aussi : 

"Llama 3 devrait moins souffrir d'hallucinations et fournir des informations plus fiables" et avec l'API de Claude....




--- 
 Pierre Erol GIRAUDY 




à Aucun commentaire:
Libellés : , , , ,
Inscription à : Articles (Atom)

Phi-4

Phi 4 est un modèle ouvert de 14B à la pointe de la technologie de Microsoft. Un modèle ouvert de paramètres qui fonctionne ...