Comment effectuer la reconnaissance d'entités nommées (NER) avec JavaScript ?

Définition :

Dans le traitement du langage naturel, la reconnaissance d'entités nommées (NER) est un processus dans lequel une phrase ou une partie de texte est analysée pour trouver des entités qui peuvent être classées dans des catégories telles que des noms, des organisations, des emplacements, des quantités, des valeurs monétaires, des pourcentages, etc. Grâce à la reconnaissance d'entités nommées, vous pouvez extraire des informations clés pour comprendre le sujet d'un texte, ou simplement les utiliser pour collecter des informations importantes à stocker dans une base de données.

Historique :

Le terme « entité nommée (NE) » est né dans les conférences Message Understanding

(MUC), qui a influencé la recherche menée par IE aux États-Unis dans les années 1990. À cette époque, la MUC se concentrait sur les tâches d'extraction d'informations dans le cadre desquelles des informations structurées sur les activités des entreprises et les activités liées à la défense étaient extraites de textes non structurés, tels que des articles de journaux. En dehors des États-Unis, plusieurs projets basés sur l'évaluation ont été réalisés pour l'Amérique du Nord. À cette époque, le nombre de catégories est limité à 7 à 10, et les balises NE, systèmes d'annotation automatique pour les entités NE dans un texte non structuré, sont basés sur des dictionnaires et des règles élaborés à la main ou sur une technique d'apprentissage supervisé. La technologie la plus récente et actuellement dominante est celle des techniques d'apprentissage supervisé telles que Decision Tree, Support Vector Machine, etc.

Comment choisir entre les moteurs open source et cloud ?

Lorsque vous recherchez un moteur NER, la première question que vous devez vous poser est la suivante : quel type de moteur vais-je choisir ?

Bien entendu, le principal avantage des moteurs NER open source est qu'ils sont open source. Cela signifie que son utilisation est gratuite et que vous pouvez utiliser le code comme vous le souhaitez. Il permet de modifier potentiellement le code source, d'hyperparamétrer le modèle. De plus, vous n'aurez aucun problème avec la confidentialité des données car vous devrez héberger le moteur sur votre propre serveur, ce qui signifie également que vous devrez configurer ce serveur, le maintenir et vous assurer que vous disposerez d'une puissance informatique suffisante pour traiter toutes les demandes.

D'un autre côté, les moteurs NER cloud sont payants, mais le fournisseur d'IA gérera le serveur pour vous, maintiendra et améliorera le modèle. Dans ce cas, vous devez accepter que vos données soient transférées vers le cloud du fournisseur. En échange, le fournisseur traite des millions de données pour fournir un moteur très performant. Le fournisseur NER dispose également de serveurs capables de prendre en charge des millions de requêtes par seconde sans perte de performance ou de rapidité.

Maintenant que vous connaissez les avantages et les inconvénients des moteurs open source et cloud, considérez qu'il existe une troisième option : créez votre propre moteur NER. Avec cette option, vous pouvez créer le moteur en fonction de vos propres données, ce qui vous garantit de bonnes performances. Vous pourrez également préserver la sécurité et la confidentialité de vos données. Cependant, vous aurez la même contrainte quant à l'hébergement de votre moteur. Bien entendu, cette option ne peut être envisagée que si vous possédez des compétences en science des données dans votre entreprise. Voici un résumé des moments où vous devez choisir entre utiliser des moteurs existants (cloud ou open source) et créer le vôtre :

‍

‍

Moteurs NER open source :

Plusieurs moteurs NER open source sont disponibles, vous pouvez en trouver la majorité sur github. Voici les plus célèbres :

SpacY:

SpacY est une bibliothèque pour traitement avancé du langage naturel en JavaScript et Cython. Il repose sur les toutes dernières recherches et a été conçu dès le premier jour pour être utilisé dans de vrais produits.

SpacY est livré avec canalisations préentraînées et prend actuellement en charge la tokenisation et la formation pour Plus de 60 langues. Il offre une vitesse de pointe et modèles de réseaux neuronaux pour le balisage, l'analyse, reconnaissance d'entités nommées, classification des textes et plus encore, apprentissage multitâches avec des formations pré-formées transformateurs comme BERT, ainsi qu'un produit prêt à être produit système de formation et la facilité d'empaquetage, de déploiement et de gestion des flux de travail des modèles. SpacY est un logiciel open source commercial, publié sous licence MIT.

NLTK:

NLTK, le Natural Language Toolkit, est une suite d'anciens modules Python open source, d'ensembles de données et de didacticiels qui soutiennent la recherche et le développement dans le domaine du traitement du langage naturel. Il fournit des interfaces faciles à utiliser vers plus de 50 corpus et ressources lexicales telles que WordNet, ainsi qu'une suite de bibliothèques de traitement de texte pour la classification, la tokenisation, le stemming, le balisage, l'analyse et le raisonnement sémantique, des wrappers pour les bibliothèques NLP industrielles. Certains wrappers JavaScript existent pour utiliser NLTK comme celui-ci un.

Stanford NLP (NLP de base) :

StanfordNLP est un package d'analyse linguistique. Il contient des outils, qui peuvent être utilisés dans un pipeline, pour convertir une chaîne contenant du texte en langage humain en listes de phrases et de mots, pour générer des formes de base de ces mots, leurs parties de discours et leurs caractéristiques morphologiques, et pour fournir une analyse des dépendances de structure syntaxique, conçue pour être parallèle à plus de 70 langues, en utilisant le formalisme des dépendances universelles.

Cette bibliothèque permet de créer des applications NodeJS/Web en utilisant la technologie de pointe pour le traitement du langage naturel : Stanford CoreNLP. Il est compatible avec la dernière version de CoreNLP 3.9.0.

Moteurs Cloud NER :

Il existe de nombreux moteurs NER cloud sur le marché et vous aurez du mal à choisir le bon. Voici quelques-uns des meilleurs fournisseurs du marché :

• Lettonie
• Points parallèles
• Singe Learn
• Langage naturel de Google Cloud
• Amazon Comprehend
• Analyse de texte Microsoft Azure
• IBM Watson

Tous ces fournisseurs NER peuvent vous fournir de bonnes performances pour votre projet. En fonction de la langue, de la qualité, du format, de la taille de vos documents, le meilleur moteur peut varier entre tous ces fournisseurs. La seule façon de savoir quel fournisseur choisir est de comparer les performances avec vos propres données.

API Eden AI NER :

C'est là qu'Eden AI entre en jeu dans votre processus. L'API Eden AI NER vous permet d'utiliser les moteurs de tous ces fournisseurs avec une API unique, un jeton unique et une documentation JavaScript simple.

En utilisant Eden AI, vous pourrez comparer tous les fournisseurs avec vos données, changer de fournisseur quand vous le souhaitez et appeler plusieurs fournisseurs en même temps. Vous paierez le même prix par demande que si vous vous étiez abonné directement aux API des fournisseurs et vous ne perdrez pas les performances de latence.

Voici comment utiliser les moteurs NER en JavaScript avec le SDK Eden AI :

‍

‍

Si vous souhaitez appeler un autre fournisseur, il vous suffit de modifier la valeur du paramètre « providers ». Vous pouvez voir tous les fournisseurs disponibles dans la documentation d'Eden AI. Bien entendu, vous pouvez appeler plusieurs fournisseurs dans le cadre d'une même demande afin de les comparer ou de les combiner.

Conclusion

Comme vous pouvez le voir dans cet article, il existe de nombreuses options pour utiliser NER avec JavaScript. Pour les développeurs qui n'ont pas de compétences en science des données ou qui souhaitent utiliser rapidement et simplement les moteurs NER, de nombreux moteurs open source et cloud sont disponibles. Chaque option présente des avantages et des inconvénients, vous savez que vous avez les indices pour choisir la meilleure option pour vous.

Si vous optez pour un moteur NER cloud, vous aurez besoin d'aide pour trouver le meilleur moteur en fonction de vos données. De plus, les fournisseurs de NER mettent souvent à jour et forment leurs modèles. Cela signifie que vous devrez peut-être modifier le choix de votre fournisseur à l'avenir pour continuer à obtenir les meilleures performances pour votre projet. Avec Eden AI, tout ce travail est simplifié et vous pouvez configurer un moteur NER en JavaScript en moins de 5 minutes, et passer au meilleur fournisseur à tout moment.

Vous pouvez créer votre compte Eden AI ici et récupérez votre jeton d'API pour commencer à implémenter un moteur NER en JavaScript !