API Computer Use en 2026 : créer des agents navigateur

Les API Computer Use permettent aux modèles de langage de contrôler directement un ordinateur ou un navigateur. Le modèle analyse une capture d’écran, décide où cliquer ou quel texte saisir, puis exécute l’action. En 2026, Anthropic, Google et OpenAI proposent tous des fonctionnalités de Computer Use, pour un coût compris entre 0,01 $ et 0,20 $ par tâche, selon sa complexité.

Qu’est-ce que le Computer Use ?

Le Computer Use désigne la capacité d’un modèle d’IA à interagir avec une interface graphique, ou GUI, c’est-à-dire l’écran visuel comprenant des boutons, des menus et des formulaires.

Au lieu d’appeler une API structurée, le modèle analyse une capture d’écran, comprend les éléments affichés et réalise des actions comme cliquer, faire défiler une page ou saisir du texte.

Cela revient à donner des yeux et des mains à l’IA. Elle voit votre navigateur ou votre bureau et peut utiliser n’importe quel logiciel comme le ferait un humain, mais à travers une API.

Comment fonctionnent les API Computer Use ?

Le fonctionnement de base repose sur une boucle simple :

1. Vous envoyez une description de la tâche à l’API, par exemple : « Connecte-toi à ce site et télécharge le dernier rapport ».
2. L’API prend une capture d’écran de l’interface actuelle.
3. Le modèle analyse cette capture et détermine l’action suivante : cliquer sur un bouton, saisir du texte ou faire défiler la page.
4. L’action est exécutée à l’écran.
5. Une nouvelle capture d’écran est prise puis renvoyée au modèle.
6. Les étapes 3 à 5 se répètent jusqu’à ce que la tâche soit terminée.

Chaque itération consomme des tokens, car le modèle traite à la fois la capture d’écran, sous forme de tokens d’image, et le texte, sous forme de tokens de prompt.

Une tâche simple en trois étapes peut consommer entre 5 000 et 15 000 tokens. Un workflow complexe de vingt étapes peut dépasser 100 000 tokens.

Les principaux fournisseurs de Computer Use en 2026

Anthropic : Claude Computer Use

Anthropic a lancé Computer Use en octobre 2024 et propose l’une des API les plus matures dans ce domaine. Claude peut analyser des captures d’écran, utiliser une souris et un clavier virtuels et enchaîner plusieurs actions. L’API prend également en charge l’utilisation d’outils en complément du contrôle de l’écran, ce qui permet de combiner des appels API structurés avec une automatisation visuelle.

Claude Computer Use est particulièrement adapté aux tâches complexes comportant plusieurs étapes, lorsque le modèle doit naviguer dans des interfaces qu’il ne connaît pas. Il obtient de bons résultats sur le benchmark OSWorld, qui évalue les modèles sur des tâches informatiques réelles.

Google : Gemini 3.5 Flash Computer Use

Google a ajouté la fonctionnalité Computer Use à Gemini 3.5 Flash au milieu de l’année 2026. Cette solution est plus rapide et moins coûteuse que Claude pour les tâches d’automatisation simples. Sa fenêtre de contexte d’un million de tokens permet à Gemini de traiter de longs historiques d’actions sans perdre le contexte.

Gemini Computer Use constitue un choix pertinent pour les tâches répétitives et à fort volume dans un navigateur, lorsque la vitesse et le coût sont plus importants que la gestion des cas limites.

OpenAI : modèle CUA avec Operator

Le Computer-Using Agent, ou modèle CUA, d’OpenAI alimente le produit Operator. Il s’intègre à l’écosystème ChatGPT et peut automatiser des tâches dans différentes applications web. Le modèle CUA est conçu pour des usages d’automatisation grand public, comme la réservation de voyages, le remplissage de formulaires et la gestion de comptes.

Open source : Browser-use et Stagehand

Pour les équipes qui souhaitent conserver davantage de contrôle, deux solutions open source se distinguent.

• ‍Browser-use est une bibliothèque Python qui ajoute des capacités d’automatisation de navigateur à n’importe quel LLM. Vous choisissez votre propre modèle, tandis que Browser-use gère la boucle entre les captures d’écran et les actions.‍
• Stagehand, développé par Browserbase, est un framework orienté production intégrant la gestion des sessions, la rotation des proxys et la récupération après erreur. Il fonctionne avec n’importe quel LLM via l’API d’Eden AI.

Cost Comparison: What Computer Use Actually CostsComparaison des coûts : combien coûte réellement le Computer Use ?

Le Computer Use est plus coûteux que les appels de chat classiques en raison des tokens d’image. Voici une estimation réaliste des coûts :

Le principal facteur de coût est le traitement des images. Chaque capture d’écran en résolution 1280 × 720 consomme environ 1 000 à 2 000 tokens d’image.

Une tâche de vingt étapes nécessite donc l’envoi de vingt captures d’écran. Pour réduire les coûts, utilisez une résolution d’image plus faible lorsque les détails visuels précis ne sont pas nécessaires.

Créer un agent navigateur avec Eden AI

Eden AI permet d’appeler différents fournisseurs de Computer Use à travers une API unifiée. Voici comment créer un agent navigateur simple :

import os
import urllib.request
import json

headers = {
    "Authorization": "Bearer " + os.environ["EDENAI_API_KEY"],
    "Content-Type": "application/json"
}

# Start a computer use session with Claude
payload = json.dumps({
    "model": "anthropic/claude-sonnet-4-6",
    "messages": [
        {
            "role": "user",
            "content": "Go to example.com and click the 'More information' link"
        }
    ],
    "tools": [
        {
            "type": "computer_use",
            "display_width_px": 1280,
            "display_height_px": 720
        }
    ],
    "max_tokens": 4096
}).encode()

req = urllib.request.Request(
    "https://api.edenai.run/v3/chat/completions",
    data=payload,
    headers=headers,
    method="POST"
)

with urllib.request.urlopen(req) as resp:
    result = json.loads(resp.read())
    print(result["choices"][0]["message"]["content"])

‍

Le même code fonctionne avec Gemini en remplaçant simplement le nom du modèle par google/gemini-2.5-flash. Eden AI gère l’authentification, la facturation et les différences techniques entre les fournisseurs.

Quand utiliser le Computer Use plutôt qu’une API classique ?

Le Computer Use n’est pas toujours la solution la plus adaptée.

Utilisez le Computer Use lorsque :

• Le site ou l’application cible ne dispose d’aucune API et doit être automatisé.
• La tâche nécessite une compréhension visuelle, par exemple pour lire des graphiques ou interpréter une mise en page.
• Vous développez des tests automatisés reproduisant le comportement d’un véritable utilisateur.
• Vous devez interagir avec un logiciel ancien qui ne propose qu’une interface graphique.

N’utilisez pas le Computer Use lorsque :

• La plateforme cible dispose d’une API structurée, comme une API REST ou GraphQL. Les appels API sont plus rapides, moins coûteux et plus fiables.
• Vous souhaitez uniquement extraire du texte depuis une page. Utilisez plutôt un scraper web ou un outil OCR, c’est-à-dire un logiciel de reconnaissance optique de caractères capable de lire du texte dans des images.
• La tâche consiste simplement à transformer du texte. Un appel de chat classique peut coûter jusqu’à 100 fois moins cher.

Modèles d’architecture pour le Computer Use en production

Modèle 1 : API hybride et Computer Use

Utilisez des appels API structurés pour 80 % du workflow et le Computer Use uniquement pour les étapes ne disposant d’aucune API. Cette approche réduit les coûts en tokens tout en permettant d’automatiser l’ensemble du processus.

Modèle 2 : chaîne de fallback

Commencez par utiliser le fournisseur le plus rapide et le moins cher, comme Gemini. S’il échoue ou ne parvient pas à comprendre l’interface, basculez vers un fournisseur plus performant, comme Claude. Eden AI permet de configurer ce fonctionnement grâce à sa fonctionnalité de fallback.

payload = {
    "model": "google/gemini-2.5-flash",
    "fallbacks": ["anthropic/claude-sonnet-4-6"],
    "messages": [
        {"role": "user", "content": "Navigate to the settings page and enable 2FA"}
    ],
    "tools": [{"type": "computer_use", "display_width_px": 1280, "display_height_px": 720}]
}

‍

Modèle 3 : validation humaine

Pour les actions sensibles, comme l’envoi d’un paiement ou la suppression de données, mettez l’automatisation en pause et demandez à un humain de confirmer l’opération avant que le modèle n’exécute la dernière étape. Ajoutez une étape de vérification dans la boucle de votre agent.

Sécurité et limites

Les agents de Computer Use peuvent commettre des erreurs. Les problèmes les plus fréquents incluent :

• Erreurs de clic : le modèle clique sur le mauvais bouton parce que la capture d’écran n’est pas suffisamment claire.
• Boucles répétitives : l’agent reste bloqué et répète continuellement les mêmes actions.
• Éléments hallucinés : le modèle pense voir un bouton ou un élément qui n’existe pas.
• Élévation des privilèges : l’agent accède à des pages d’administration ou à des paramètres auxquels il ne devrait pas avoir accès.

Exécutez toujours les agents de Computer Use dans des environnements isolés, comme des machines virtuelles ou des sessions de navigateur cloisonnées. Ne leur donnez jamais accès à des identifiants de production ou à des données sensibles sans mettre en place des couches de vérification supplémentaires.

Conclusion

Les API Computer Use ouvrent une nouvelle catégorie d’automatisation : celle des agents d’IA capables d’utiliser n’importe quel logiciel à travers une interface visuelle.

En 2026, Claude, Gemini et OpenAI proposent tous des fonctionnalités de Computer Use à différents niveaux de prix.

Pour une utilisation en production, combinez le Computer Use avec des API structurées, configurez des chaînes de fallback entre plusieurs fournisseurs et exécutez toujours vos agents dans des environnements isolés.

FAQ sur les API Computer Use en 2026