AéronautiqueINTELLIGENCE ARTICIELLE
L’IA générative au service de l’analyse des données
Un leader mondial de la technologie en ligne a fait appel à CIeNET, une filiale d’ALTEN, pour la création d’un cadre fiable permettant de tester et d’améliorer les capacités LLM, tout en garantissant l’efficacité et l’exactitude de la génération de requêtes SQL à partir du langage naturel pour des ensembles de données complexes. Le résultat : des améliorations significatives dans la capacité à générer des requêtes exactes basées sur des questions en langage naturel.
Membre du groupe ALTEN, CIeNET est un fournisseur de services logiciels de premier plan. CIeNET a été contacté par l’un des leaders mondiaux de la technologie en ligne dans le but d’améliorer la capacité des grands modèles de langage (LMM) à transformer plus précisément les questions en langage naturel en SQL (Structured Query Language). Pour surmonter les limites des LLM existants, CIeNET a comparé leurs performances, identifié des erreurs et affiné les résultats à l’aide d’ensembles de données personnalisés.
Le défi : Améliorer la capacité des LLM à générer des requêtes SQL qui répondent correctement aux questions en langage naturel pour un ensemble de données spécifié
La solution : Des LLM qui traduisent avec exactitude les requêtes en langage naturel en SQL (« NL2SQL », natural language to SQL)
Les avantages :
- Ensembles de données personnalisés pour l’entraînement et l’affinement des LLM
- SQL exact pour répondre aux requêtes en langage naturel
- Amélioration de la réputation de l’entreprise
- Efficacité accrue
Les problèmes posés par les données
L’inexactitude des requêtes SQL générées à partir d’une saisie en langage naturel peut entraîner de graves problèmes, notamment la présentation d’informations incorrectes aux clients ou aux parties prenantes. Les données erronées peuvent également avoir un effet négatif sur les processus décisionnels critiques et peuvent même entraîner des pertes financières. De plus, les données incohérentes ou incorrectes peuvent potentiellement compromettre la fiabilité d’une base de données ou conduire à la divulgation involontaire d’informations sensibles ou confidentielles. Enfin, la présence de syntaxe SQL incorrecte peut causer des pannes dans les systèmes de bases de données ou le non-respect des exigences réglementaires et, selon la nature des données concernées, des complications juridiques.
Traduire le langage naturel en SQL
CIeNET, fililale d’ALTEN, a entrepris d’analyser les performances et l’exactitude de plusieurs LLM et services tiers dans la génération de requêtes SQL à partir de questions en langage naturel pour un ensemble de données spécifique. Le processus a commencé par la conception et la mise en œuvre d’un système de benchmarking des performances automatisé afin d’évaluer l’exactitude, la performance et la qualité des LLM et des services tiers dans la génération de SQL en réponse aux questions. L’équipe a créé des cas de test pour évaluer l’efficacité et la qualité du langage SQL généré, en comparant les résultats dans le temps à d’autres LLM et en créant des ensembles de données. CleNET a ensuite entraîné et perfectionné son modèle, ce qui a impliqué la création et l’examen de paires langage naturel-SQL afin d’identifier et de corriger les ensembles de données erronés. Enfin, des schémas de base de données personnalisés ont été créés et alimentés en données pour la création de nouvelles paires langage naturel-SQL.
Les outils
CleNET a analysé les LLM Google Gemini, OpenAI ChatGPT et Anthropic Claude3. Pour les bases de données et entrepôts de données, l’équipe a utilisé Google BigQuery, Amazon Redshift, Databricks, Snowflake, MySQL et PostgreSQL. CIeNET a développé un système de benchmarking personnalisé, nommé Generative AI beNchmark System (GAINS). La société a piloté l’ingénierie de prompts, en mettant l’accent sur l’amélioration des performances, puis analysé les résultats des benchmarks pour identifier les problèmes en se référant à divers ensembles de données publics. Enfin, l’équipe a créé, contrôlé et corrigé les ensembles de données langage naturel-SQL pour entraîner et/ou affiner les LLM, en vue de garantir l’exactitude et l’efficacité de l’entraînement.
