IA gravée dans le silicium : l'acquisition de Taalas par AMD et la frontière de l'inférence matérielle

Ce que Taalas fait différemment

Le matériel IA traditionnel utilise des GPU génériques (unités de traitement graphique, des puces qui gèrent de nombreux types de calculs) qui exécutent n'importe quel modèle que vous chargez dessus. Taalas adopte l'approche opposée. Leur puce HC1 (Hardcore 1) grave physiquement les poids et l'architecture d'un modèle spécifique dans la disposition du silicium.

Le résultat est un gain de performance spectaculaire pour ce modèle spécifique. La puce HC1, optimisée pour Llama 8B, atteint 17 000 tokens par seconde. Un GPU standard pourrait produire 200 à 500 tokens par seconde pour le même modèle. Le compromis est que la puce ne peut exécuter que le modèle pour lequel elle a été conçue.

Spécifications techniques

Pourquoi AMD a fait ce mouvement

L'inférence IA est maintenant l'un des segments à la croissance la plus rapide du marché du matériel IA. À mesure que les modèles passent des laboratoires de recherche aux applications de production, le coût et la vitesse de leur exécution (inférence) deviennent plus importants que le coût de leur entraînement.

Les lignes de GPU MI300 et MI400 existantes d'AMD concurrencent NVIDIA dans l'espace générique. L'acquisition de Taalas ajoute une arme spécialisée pour les charges de travail d'inférence à haut débit où le modèle est connu à l'avance.

Ce que cela signifie pour les développeurs IA

Pour la plupart des développeurs, l'acquisition de Taalas ne changera pas la façon dont vous appelez les modèles IA aujourd'hui. Le matériel d'inférence vit dans les centres de données opérés par les fournisseurs de cloud et les hébergeurs de modèles.

Cependant, l'acquisition signale la direction de l'industrie :

• Des coûts d'inférence plus bas à mesure que le matériel spécialisé réduit le calcul nécessaire par token
• Des temps de réponse plus rapides pour les modèles populaires déployés sur des puces câblées
• Plus d'options de fournisseurs à mesure que différentes entreprises d'hébergement adoptent différentes stratégies matérielles
• L'optimisation spécifique au modèle devient un avantage concurrentiel au niveau matériel

La couche logicielle reste importante

Même avec du matériel spécialisé, les développeurs doivent toujours gérer plusieurs fournisseurs de modèles, gérer les replis en cas de panne d'un fournisseur, et comparer les coûts entre les options.

Eden AI route vos requêtes vers le meilleur fournisseur disponible pour votre cas d'utilisation. Que le modèle s'exécute sur un ASIC Taalas ou un GPU standard est transparent pour vous.

import requests
import os

headers = {
    "Authorization": "Bearer " + os.environ["EDENAI_API_KEY"],
    "Content-Type": "application/json"
}

# Meme appel API quel que soit le materiel sous-jacent
payload = {
    "model": "meta/llama-3.1-8b-instruct",
    "messages": [
        {"role": "user", "content": "Explique l'inference materielle en un paragraphe"}
    ],
    "max_tokens": 200,
    "fallbacks": ["google/gemma-2-9b"]
}

response = requests.post(
    "https://api.edenai.run/v3/chat/completions",
    headers=headers,
    json=payload
)

print(response.json()["choices"][0]["message"]["content"])

Conclusion

L'acquisition de Taalas par AMD montre que l'industrie du matériel IA se divise en pistes génériques et spécialisées. Les puces câblées comme la HC1 offrent des gains de vitesse massifs pour des modèles spécifiques. Pour les développeurs, le point clé est que les coûts d'inférence continueront de baisser et les options de fournisseurs continueront de se multiplier. Vous pouvez trouver des modèles open-weight de pointe chez Eden AI. Connectez-vous à la plateforme pour tester vous-même.

FAQ