LLMLingua vs LongLLMLingua vs RECOMP : choisir la bonne méthode de compression de prompt en 2026

La compression de prompt est passée du statut de curiosité de recherche à celui d'outil concret de réduction des coûts. Trois approches dominent : LLMLingua (compression de tokens du grossier au fin), LongLLMLingua (compression pilotée par la question pour les documents longs) et RECOMP (résumé extractif en guise de compression).

Chacune convient à une charge de travail différente, et se tromper coûte soit des tokens gaspillés, soit des réponses dégradées. Cet article les compare sur des benchmarks et propose un cadre de décision.

Comment fonctionne chaque méthode

LLMLingua / LLMLingua-2

Approche : compression du grossier au fin, à l'aide d'un modèle plus petit qui note l'importance de chaque token.

1. Compression grossière : retirer les tokens manifestement redondants (mots vides, répétitions)

2. Compression fine : utiliser un petit modèle (par exemple XLM-RoBERTa-large) pour noter l'importance de chaque token restant

3. Allocation du budget : conserver les N % de tokens les mieux notés

from llmlingua import PromptCompressor

compressor = PromptCompressor(
    model_name="microsoft/llmlingua-2-hubert-large",
    use_llmlingua2=True
)

result = compressor.compress_prompt(
    "Votre prompt tres long ici...",
    target_token=1000,
    use_context_level=True
)

Idéal pour : la compression de prompt polyvalente, les prompts système, les instructions

LongLLMLingua

Approche : compression pilotée par la question, qui préserve l'information pertinente pour une requête donnée.

1. Conditionnement par la question : utiliser la question pour déterminer ce qui compte

2. Notation par document : évaluer la pertinence de chaque document ou paragraphe vis-à-vis de la question

3. Compression intra-document : compresser encore chaque document en ne gardant que les parties utiles à la requête

result = compressor.compress_prompt(
    documents,  # liste des documents recuperes
    question="Qu'est-ce qui cause la decoherence quantique ?",
    target_token=2000,
    condition_in_question=True,  # cle : compression pilotee par la requete
    use_context_level=True
)

Idéal pour : les pipelines RAG, le QA multi-documents, la synthèse de recherche

RECOMP (Retrieval Compression)

Approche : résumé extractif, c'est-à-dire sélectionner mot pour mot les phrases les plus informatives.

1. Notation des phrases : évaluer la quantité d'information de chaque phrase

2. Optimisation de la couverture : retenir les phrases qui couvrent le plus de terrain avec le moins de redondance

3. Extraction verbatim : la sortie est toujours constituée de phrases exactes de l'original, sans reformulation

from recomp import AbstractiveRecomp, ExtractiveRecomp

recomp = ExtractiveRecomp(model_name="recomp/extractive-recomp")

compressed = recomp.compress(
    documents=["texte doc1...", "texte doc2..."],
    query="Qu'est-ce que le machine learning ?",
    max_length=500  # tokens vises
)

Idéal pour : le résumé de documents, l'extraction de preuves, les textes juridiques

Benchmarks comparatifs

Tâche RAG (Natural Questions + HotpotQA)

QA multi-documents (20 documents, raisonnement complexe)

Compréhension de code (QA sur base de code GitHub)

Constat clé : le code est plus difficile à compresser que la langue naturelle. Les méthodes de compression au niveau du token perdent l'information structurelle.

Cadre de décision

Mise en œuvre : combiner les méthodes

Les meilleurs résultats viennent souvent de la combinaison de plusieurs approches :

def smart_compress(documents: list, query: str, budget: int) -> str:
    """Compression multi-etapes pour le RAG."""

    # Etape 1 : re-ranking vers les K meilleurs documents (peu couteux, fort impact)
    ranked = rerank_documents(documents, query, top_k=8)

    # Etape 2 : LongLLMLingua pour une compression pilotee par la requete
    compressed = compressor.compress_prompt(
        ranked,
        question=query,
        target_token=budget,
        condition_in_question=True
    )

    # Etape 3 : verifier que la compression n'a pas perdu de faits cles
    if budget > 2000:  # uniquement pour les budgets importants
        compressed = verify_key_facts(compressed, query, ranked)

    return compressed

Impact sur les coûts

Pour un système RAG traitant 100 000 requêtes par jour avec 20 documents chacune :

Combiner le re-ranking et LongLLMLingua économise 95 % tout en conservant 97 % de la qualité non compressée.

À retenir

• LLMLingua-2 est le meilleur compresseur polyvalent : rapide, précis, indépendant du modèle

• LongLLMLingua l'emporte sur le RAG : la compression pilotée par la requête préserve l'information pertinente

• RECOMP est le meilleur pour le résumé et l'extraction de preuves : sortie verbatim pour la conformité

• Combiner re-ranking et compression offre le meilleur compromis coût/qualité

• Le code et les données structurées se compressent mal : privilégier des approches spécialisées

• 95 % de réduction des coûts sont atteignables avec une compression bien choisie dans un pipeline RAG

Quel que soit le compresseur retenu, il se place devant le modèle que vous appelez : garder ce modèle interchangeable est ce qui rend l'économie durable. Une API unifiée permet de comparer un compresseur sur plusieurs fournisseurs sans réécrire l'intégration.

You can find them at Eden AI.

Login to the platform to test it yourself.

FAQ