Suivre les jetons d’IA

Les principaux systèmes d’entreprise – progiciels de gestion intégrés (PGI), plateformes de gestion du capital humain, outils de gestion de la relation client et solutions marketing – intègrent rapidement des capacités agentiques. Historiquement facturés selon le nombre d’utilisateurs ou de transactions, ces produits évoluent vers des modèles fondés sur la consommation de jetons. À mesure que l’utilisation des agents gagne en maturité, les coûts liés aux jetons deviendront visibles, soit explicitement, soit dans les modalités contractuelles. Les chefs des technologies doivent s’attendre à ce que l’exposition aux coûts associés aux jetons devienne un enjeu central dans les négociations liées aux logiciels d’entreprise.

Pour les solutions reposant sur des API, la plupart des organisations amorcent leurs expérimentations en infonuagique, notamment en raison de la présence des données dans le nuage, des applications natives du nuage et de l’accès rapide à l’innovation. Toutefois, le choix d’un modèle ne constitue plus seulement une décision technologique ; il s’agit désormais aussi d’une décision économique. Le coût par million de jetons varie considérablement selon les catégories de modèles, et ces écarts se multiplient rapidement lorsque les volumes augmentent.

Les environnements hébergés à l’interne offrent souvent aux chefs des technologies le plus haut niveau de contrôle sur la pile native de l’IA ainsi que sur l’économie des jetons. Ils exigent toutefois des investissements stratégiques en immobilisations afin de construire ou d’adapter des infrastructures prêtes pour l’IA. Pour les charges de travail prévisibles et à volume élevé, ce niveau de contrôle peut améliorer sensiblement les paramètres économiques unitaires.

Le choix du modèle peut avoir une incidence directe sur le coût par million de jetons ainsi que sur la stratégie d’hébergement retenue.

Le marché est actuellement animé par les discussions entourant l’utilisation de modèles ouverts, fermés, dérivés ou propriétaires pour soutenir le développement de solutions d’IA. À mesure que de nouveaux fournisseurs font leur entrée sur le marché et que les acteurs établis ajustent leurs stratégies, les modèles ouverts réduisent rapidement l’écart qui les sépare des modèles de pointe ou des modèles fermés, qui ont jusqu’à présent dominé les programmes d’IA.²

La manière la plus sûre de perdre le contrôle de l’économie des jetons consiste à traiter toutes les requêtes de la même façon. Les systèmes d’IA reposent sur un arbitrage constant entre la précision, le temps de réponse et le coût, et de nombreuses charges de travail en entreprise ne nécessitent pas les capacités de raisonnement des modèles les plus avancés.

L’acheminement intelligent des requêtes vers différents grands modèles de langage (LLM) s’impose progressivement comme un mécanisme de contrôle essentiel à l’échelle de l’entreprise. En associant dynamiquement la complexité d’une requête au modèle le plus simple capable de produire le résultat attendu, les chefs des technologies peuvent agir directement sur la demande, les délais de réponse et la consommation de jetons en temps réel. Les modèles de raisonnement les plus coûteux peuvent ainsi être réservés aux tâches à forte valeur ajoutée, tandis que les demandes courantes peuvent être prises en charge par des modèles plus petits ou mieux adaptés à un cas d’utilisation précis. Il en résulte une pile d’intelligence artificielle à plusieurs niveaux qui aligne les coûts sur la valeur d’affaires, plutôt que de consommer des jetons sans discernement.

Au-delà de l’acheminement des requêtes, les chefs des technologies peuvent également recourir à plusieurs leviers d’efficacité, notamment l’optimisation des requêtes, la mise en cache, le traitement par lots et la limitation des fenêtres de contexte. Ces techniques ont rarement une incidence sur l’expérience utilisateur, mais elles peuvent réduire considérablement la consommation de jetons à grande échelle.

L’économie des jetons peut être gouvernée, mais uniquement si les dépenses associées aux jetons sont considérées comme un actif financier à gérer et non comme un simple sous-produit de l’expérimentation. La surveillance continue de la consommation de jetons, des heures GPU, du stockage, du transfert de données sortantes et de la consommation d’énergie est désormais une pratique courante.

Pour aller plus loin, les chefs des technologies devraient également associer les données de télémétrie technique à des mécanismes de contrôle financier, notamment des mécanismes de refacturation interne, des plafonds d’utilisation et des prévisions fondées sur des scénarios représentatifs des charges de travail réelles. Sans gouvernance adéquate, les dépenses associées aux jetons augmentent discrètement. Lorsqu’elles sont encadrées efficacement, elles peuvent toutefois devenir prévisibles et justifiables, même dans un contexte de volatilité.

Les contrats méritent le même niveau d’attention. Les clauses d’indexation fondées sur le volume de jetons, les engagements minimaux regroupés, les frais liés à la résidence des données et les niveaux de licence restrictifs peuvent rapidement réduire la flexibilité de l’organisation. L’économie des jetons devrait donc être intégrée aux stratégies d’approvisionnement et de gouvernance des fournisseurs, ce qui renforce l’importance d’architectures hybrides et modulaires qui évitent les décisions difficiles à renverser.

Les choix liés aux infrastructures influencent directement l’économie des jetons à grande échelle. Les chefs des technologies et les leaders des infrastructures peuvent envisager un approvisionnement en GPU auprès de multiples fournisseurs afin d’accroître la résilience et la flexibilité. Les fournisseurs de néonuages offrent des solutions de rechange aux hyperscalers (grands fournisseurs infonuagiques mondiaux) grâce à des modèles de GPU comme service à haute performance, tandis que les usines d’IA hébergées à l’interne procurent davantage de contrôle et une plus grande proximité avec les données pour certains cas d’utilisation.

Sur le plan architectural, la création d’une usine d’IA soulève plusieurs décisions importantes, notamment le choix des stratégies de refroidissement liquide, des sources d’alimentation électrique et de refroidissement ainsi que des technologies réseau, comme InfiniBand ou Ethernet. Le stockage et les réseaux peuvent tous deux devenir des goulots d’étranglement qui limitent l’utilisation optimale des GPU.

Il faut également déterminer les logiciels nécessaires à la mise en œuvre d’une stratégie d’IA hybride s’étendant aux hyperscalers, aux néonuages et aux environnements hébergés à l’interne.

Les dépenses en immobilisations et les dépenses d’exploitation façonnent directement les paramètres économiques unitaires des jetons d’IA : pour les charges de travail prévisibles et à volume élevé, une infrastructure d’IA hébergée à l’interne peut offrir des paramètres économiques unitaires nettement plus avantageux à long terme. Cette approche exige toutefois des investissements initiaux en capital. Dans un contexte où les budgets TI demeurent stables, une réaffectation du capital est souvent nécessaire pour dégager des gains d’efficacité.

Les seuils de volume de jetons déterminent le moment où les paramètres économiques associés à la propriété deviennent plus avantageux que ceux liés à la consommation de services : selon l’analyse de Deloitte, de nombreuses organisations atteignent des points d’inflexion où les paramètres économiques associés à la propriété d’une infrastructure deviennent plus avantageux que ceux d’un modèle fondé sur la consommation. Il est essentiel de comprendre ces seuils. La traduction de seuils techniques en points d’équilibre financiers constitue souvent un élément déterminant d’une prise de décision éclairée.

Les choix architecturaux déterminent le niveau de risque financier et de flexibilité associé à l’économie des jetons d’IA : des architectures hybrides bien conçues permettent d’atténuer à la fois les risques liés aux dépenses et la rigidité stratégique, tout en facilitant l’adaptation à l’évolution des coûts technologiques et de la demande d’affaires.

Les jetons d’IA constituent un moteur direct de productivité et de création de valeur mesurable : les jetons ne sont pas de simples frais généraux. Chacun contribue directement à l’automatisation, à l’amélioration de la productivité ou à l’expérience client. Ils doivent être gouvernés avec rigueur, mais aussi faire l’objet d’investissements réfléchis, appuyés par une discipline FinOps permettant de démontrer clairement le rendement du capital investi.