VIDÉO | Comment extraire des données de documents à l'aide de Python

Bienvenue dans notre didacticiel complet sur l'extraction de données à partir de documents à l'aide de Python ! Qu'il s'agisse d'automatiser la saisie de données, d'analyser de grands volumes de texte ou de créer un système de traitement de documents, ce didacticiel vous fournira les connaissances et les outils dont vous avez besoin.

‍

Qu'est-ce que Extraction des données des documents?

Extraction des données des documents est le processus qui permet d'identifier et de récupérer automatiquement des informations spécifiques à partir de documents structurés ou non structurés. Grâce à des algorithmes avancés et à des techniques d'apprentissage automatique, les systèmes d'extraction de données peuvent analyser différents formats de documents et extraire des points de données pertinents, ce qui permet de gagner du temps et de réduire les efforts manuels.

‍

Comment ça marche ?

L'extraction de données de documents fait généralement appel à deux technologies clés : la reconnaissance optique de caractères (OCR) et l'analyse de documents.

Reconnaissance optique de caractères (OCR)

L'OCR est à la base de l'extraction de données documentaires pour les documents basés sur des images. Il fonctionne de la manière suivante :

• Analyse des éléments visuels de l'image d'un document
• Identification de caractères et de mots individuels
• Conversion de ces représentations visuelles en texte lisible par machine

La technologie OCR utilise des algorithmes avancés et des modèles d'apprentissage automatique pour reconnaître différentes polices et styles d'écriture, et même gérer le texte biaisé ou déformé.

‍

Analyse de documents

Une fois le texte extrait par OCR (ou si le document est déjà au format texte), l'analyse du document entre en jeu. Ce processus implique :

• Analyse de la structure et de la mise en page du document
• Identification des sections clés, des en-têtes et des champs de données
• Extraction d'informations spécifiques sur la base de règles prédéfinies ou d'une compréhension du contexte du document pilotée par l'IA

L'analyse de documents peut utiliser des techniques telles que le traitement du langage naturel (NLP) et l'apprentissage automatique pour comprendre le contexte et la pertinence des différentes informations du document.

‍

En combinant l'OCR et l'analyse de documents, les systèmes d'extraction de données peuvent traiter efficacement une grande variété de types de documents, des formulaires simples aux rapports complexes de plusieurs pages, et extraire des données structurées qui peuvent être facilement utilisées dans diverses applications.

‍

Applications de l'extraction de données documentaires :

• Automatisation des processus métier : Extraire des données à partir de factures, de reçus et de formulaires pour rationaliser les processus financiers.
• Recherche et analyse : Collecte d'informations à partir d'articles universitaires, de rapports et d'articles pour une revue systématique.
• Traitement des documents juridiques : Extraire les clauses, les dates et les parties clés des contrats et des documents juridiques.
• Gestion des informations sur les soins de santé : Extraire les données des patients à partir des dossiers médicaux et des ordonnances.

‍

Comment extraire des données de vos documents à l'aide de Python ?

‍

Étape 1 : Créez un compte sur Eden AI et obtenez votre clé API

Pour commencer à utiliser l'API Eden AI, créer un compte sur la plateforme Eden AI. Une fois inscrit, vous recevrez une clé API qui vous permettra d'accéder aux différents fournisseurs d'OCR et d'analyse de documents disponibles sur la plateforme.

‍

Étape 2 : Test en direct de différents fournisseurs

Avant d'intégrer l'API à votre application, vous pouvez effectuer des tests en direct pour évaluer les performances de différents fournisseurs d'OCR et d'analyse de documents et choisir celui qui correspond le mieux à vos besoins. Cela vous permet de sélectionner le fournisseur le plus précis et le plus efficace pour votre cas d'utilisation spécifique.

‍

Étape 3 : Choisissez la source de votre document

Avec certaines fonctionnalités, vous devrez décider où se trouve votre document :

• URL du fichier : Si votre document est hébergé en ligne, vous utiliserez son URL.
• Fichier local : Si votre document est stocké localement sur votre machine, vous devez fournir son chemin de fichier.

‍

‍

Tutoriel étape par étape pour un analyseur spécialisé (Fonctionnalité de l'analyseur de documents financiers) avec Python

‍

1. Tests en direct sur la plateforme Eden AI :

• Accédez à Eden AI et accédez à la section Analyseur financier.
• Choisissez un fournisseur (par exemple, Veryfi) et téléchargez votre document de facture.
• Personnalisez les paramètres tels que le type de document et la langue.
• Lancez le test et passez en revue l'extrait.

‍

2. Implémentation en Python :

• Téléchargez l'extrait de code Python sur l'application Eden AI

import json
import requests

headers = {"Authorization": "Bearer your_api_key"}

url = "https://api.edenai.run/v2/ocr/financial_parser"
data = {
    "providers": "veryfi",
    "document_type": "invoice"
}
files = {'file': open("path/to/your/invoice.pdf", 'rb')}

response = requests.post(url, data=data, files=files, headers=headers)

result = json.loads(response.text)
print(result)

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Mettez à jour « path/to/your/invoice.pdf » vers le chemin du fichier de facture sur votre machine locale.
• Ajustez « providers » et « document_type » si vous utilisez un fournisseur ou un type de document différent.

‍

Tutoriel étape par étape utilisant le Fonctionnalité d'analyseur de documents personnalisé (asynchrone)

‍

1. Tests en direct sur la plateforme Eden AI :

• Accédez à la section de l'analyseur de documents personnalisé sur Eden AI.
• Sélectionnez une requête (par exemple, « Quelles sont les informations du marchand ? ») et un fournisseur (par exemple, Extracta).
• Téléchargez votre document et lancez le test.
• Surveillez l'état et récupérez les résultats lorsque vous êtes prêt.

‍

2. Implémentation en Python :

Pour effectuer la requête POST initiale :

Copiez l'extrait de code Python depuis l'application Eden AI

import json
import requests

headers = {"Authorization": "Bearer your_api_key"}

url = "https://api.edenai.run/v2/ocr/custom_document_parsing_async"
data = {
    "providers": "extracta",
    "queries": "[{'query': 'What are the merchant informations?', 'pages': '1-*'}]",
}
files = {'file': open("path/to/your/document.pdf", 'rb')}

response = requests.post(url, data=data, files=files, headers=headers)

result = json.loads(response.text)
print(result['public_id'])

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Mettez à jour « path/to/your/document.pdf » vers le chemin du fichier du document sur votre ordinateur local.
• Ajustez les « fournisseurs » et les « requêtes » en fonction de votre requête spécifique et du fournisseur choisi.

‍

Pour récupérer les résultats à l'aide d'une requête GET :

• Obtenez l'extrait de code de la section « Analyse de documents personnalisée pour obtenir votre résultat » de la documentation Eden AI.

import requests

headers = {"Authorization": "Bearer your_api_key"}
public_id = "your_public_id"  # Use the public_id obtained from the POST response

url = f"https://api.edenai.run/v2/ocr/custom_document_parsing_async/{public_id}?response_as_dict=true&show_original_response=false"

response = requests.get(url, headers=headers)

print(response.text)

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Remplacez « your_public_id » par le public_id obtenu à partir de la requête POST initiale.

‍

Tutoriel étape par étape utilisant le Fonction d'extraction de données

‍

1. Tests en direct sur la plateforme Eden AI :

• Accédez à la section d'extraction de données sur Eden AI.
• Téléchargez votre document et sélectionnez un fournisseur (par exemple, Base64).
• Lancez le test et passez en revue les données extraites au format JSON.

‍

2. Implémentation en Python :

• Téléchargez l'extrait de code Python sur l'application Eden AI

import json
import requests

headers = {"Authorization": "Bearer your_api_key"}

url = "https://api.edenai.run/v2/ocr/data_extraction"
data = {
    "providers": "base64",
}
files = {'file': open("path/to/your/document.pdf", 'rb')}

response = requests.post(url, data=data, files=files, headers=headers)

result = json.loads(response.text)
print(result['base64'])

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Mettez à jour « path/to/your/document.pdf » vers le chemin du fichier du document sur votre ordinateur local.
• Ajustez les « fournisseurs » si vous utilisez un autre fournisseur.

‍

Tutoriel étape par étape combinant OCR et CNER (reconnaissance d'entités nommées personnalisées)

‍

OCR multipage :

1. Tests en direct sur la plateforme Eden AI :

• Accédez à Eden AI et accédez à la section OCR Multipage.
• Sélectionnez un fournisseur (par exemple, Amazon).
• Téléchargez votre document de plusieurs pages.
• Lancez la tâche et attendez qu'elle soit terminée.
• Récupérez les résultats de l'OCR.

‍

2. Implémentation en Python :

• Téléchargez l'extrait de code Python sur l'application Eden AI

import json
import requests

headers = {"Authorization": "Bearer your_api_key"}

# Initial request to start OCR processing
url = "https://api.edenai.run/v2/ocr/multipage"
data = {
    "providers": "amazon"
}
files = {'file': open("path/to/your/multipage_document.pdf", 'rb')}

response = requests.post(url, data=data, files=files, headers=headers)

result = json.loads(response.text)
public_id = result['public_id']
print("Public ID:", public_id)

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Mettez à jour « path/to/your/multipage_document.pdf » vers le chemin du fichier du document sur votre ordinateur local.

‍

3. Récupérez les résultats de l'OCR :

import time

# Replace 'your_api_key' and 'your_public_id' with your actual API key and public_id
headers = {"Authorization": "Bearer your_api_key"}
public_id = "your_public_id"

url = f"https://api.edenai.run/v2/ocr/multipage/{public_id}"

# Polling for the results until they are ready
while True:
    response = requests.get(url, headers=headers)
    result = json.loads(response.text)
    
    if result.get('status') == 'done':
        break
    time.sleep(5)

print("OCR Results:", result['extracted_text'])
ocr_text = result['extracted_text']

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Remplacez « your_public_id » par le public_id obtenu à partir de la requête POST initiale.

‍

CNER (reconnaissance d'entités nommées personnalisées):

1. Tests en direct sur la plateforme Eden AI :

• Accédez à la section CNER sur Eden AI.
• Entrez le texte OCR extrait.
• Spécifiez les entités à reconnaître (par exemple, le total et le numéro de téléphone) et sélectionnez un fournisseur (par exemple, OpenAI).
• Lancez le test et passez en revue les entités extraites.

‍

2. Implémentation en Python :

• Téléchargez l'extrait de code Python sur l'application Eden AI

import json
import requests

headers = {"Authorization": "Bearer your_api_key"}

url = "https://api.edenai.run/v2/text/cner"
data = {
    "providers": "openai",
    "text": ocr_text,
    "entities": ["total", "phone number"]
}

response = requests.post(url, json=data, headers=headers)

result = json.loads(response.text)
print("CNER Results:", result['openai']['entities'])

Modifications à apporter :

• Remplacez « your_api_key » par votre clé d'API Eden AI actuelle.
• Assurez-vous que ocr_text contient le texte extrait de l'étape d'OCR.
• Ajustez les « fournisseurs » et les « entités » en fonction de vos besoins spécifiques.

‍

Exemple de code combiné complet :

Voici une version combinée des étapes d'OCR et de CNER :

import json
import requests
import time

# OCR Multipage Step
headers = {"Authorization": "Bearer your_api_key"}

# Initial request to start OCR processing
ocr_url = "https://api.edenai.run/v2/ocr/multipage"
ocr_data = {"providers": "amazon"}
ocr_files = {'file': open("path/to/your/multipage_document.pdf", 'rb')}

ocr_response = requests.post(ocr_url, data=ocr_data, files=ocr_files, headers=headers)
ocr_result = json.loads(ocr_response.text)
public_id = ocr_result['public_id']
print("Public ID:", public_id)

# Polling for OCR results until they are ready
ocr_result_url = f"https://api.edenai.run/v2/ocr/multipage/{public_id}"
while True:
    response = requests.get(ocr_result_url, headers=headers)
    ocr_result = json.loads(response.text)
    
    if ocr_result.get('status') == 'done':
        break
    time.sleep(5)

ocr_text = ocr_result['extracted_text']
print("OCR Results:", ocr_text)

# CNER Step
cner_url = "https://api.edenai.run/v2/text/cner"
cner_data = {
    "providers": "openai",
    "text": ocr_text,
    "entities": ["total", "phone number"]
}

cner_response = requests.post(cner_url, json=cner_data, headers=headers)
cner_result = json.loads(cner_response.text)
print("CNER Results:", cner_result['openai']['entities'])

‍

Résumé :

1. OCR multipage :un peu de texte
   • Téléchargez et traitez un document de plusieurs pages à l'aide d'un fournisseur d'OCR.
   • Sondage pour obtenir les résultats de l'OCR jusqu'à ce qu'ils soient prêts.
   • Extrayez le texte des résultats de l'OCR.
2. CNER :un peu de texte
   • Utilisez le texte OCR extrait comme entrée pour le processus CNER.
   • Spécifiez les entités que vous souhaitez reconnaître.
   • Passez en revue les entités reconnues.

Assurez-vous de remplacer les espaces réservés par des valeurs réelles, telles que votre clé API et les chemins de vos documents. Ajustez les fournisseurs et les paramètres en fonction de vos besoins spécifiques.

‍

Avantages de l'utilisation de l'API unique d'Eden AI

L'utilisation de l'API Eden AI est simple et rapide.

‍

Économisez du temps et de l'argent

Nous proposons une API unifiée pour tous les fournisseurs : simple et standard à utiliser, avec un switch rapide qui vous permet d'accéder très facilement à toutes les fonctionnalités spécifiques (diarisation, horodatage, filtre de bruit, etc.).

‍

Facile à intégrer

Le format de sortie JSON est le même pour tous les fournisseurs grâce au travail de standardisation d'Eden AI. Les éléments de réponse sont également standardisés grâce aux puissants algorithmes de correspondance d'Eden AI.

‍

Personnalisation

Avec Eden AI, vous pouvez intégrer une plateforme tierce : nous pouvons développer rapidement des connecteurs. Pour aller plus loin et personnaliser votre demande d'API avec des paramètres spécifiques, consultez notre documentation.

‍

Prochaine étape de votre projet

L'équipe d'Eden AI peut vous aider dans votre projet d'intégration d'Image Similarity Search. Cela peut être fait en :

‍

• Organisation d'une démonstration du produit et d'une discussion pour mieux comprendre vos besoins. Vous pouvez réserver un créneau horaire sur ce lien : Contacter
• En testant gratuitement la version publique d'Eden AI : toutefois, tous les fournisseurs ne sont pas disponibles sur cette version. Certains ne sont disponibles que sur la version Enterprise.
• En bénéficiant du soutien et des conseils d'une équipe d'experts pour trouver la combinaison optimale de prestataires en fonction des spécificités de vos besoins
• Possibilité d'intégration sur une plateforme tierce : nous pouvons développer rapidement des connecteurs.