Démo IA : comment distinguer une démonstration convaincante d'un projet viable

Trente minutes de démonstration, un chatbot qui répond en deux secondes, un agent qui trie quinze mails, un devis qui sort tout seul. La salle est conquise. Six mois plus tard, le projet est arrêté, le budget est passé en charge, et personne ne sait dire ce qui a raté. Le problème ne vient presque jamais de la démo elle-même. Il vient de ce qu'on lui a demandé de prouver.
Une démonstration n'est pas une preuve technique, c'est un argumentaire commercial. Elle montre ce que le prestataire a su préparer, dans les conditions qu'il a choisies. Votre entreprise, elle, vivra avec des données sales, des cas limites et des utilisateurs pressés. Ce guide donne un protocole pour transformer une démo en test, et des questions assez précises pour faire tomber les décors.
Key Takeaways
- Une démo montre ce que le prestataire a préparé, pas ce que votre entreprise obtiendra.
- Le seul test qui vaut quelque chose se fait sur vos données, avec vos cas difficiles, piloté par la personne qui utilisera l'outil.
- Trois chiffres à exiger avant de signer : coût par exécution, taux d'erreur mesuré sur un échantillon réel, temps de reprise humaine.
- Selon Gartner (2024), au moins 30 % des projets d'IA générative devaient être abandonnés après la preuve de concept avant la fin 2025, pour cause de données médiocres, de contrôles de risque insuffisants, de coûts qui dérapent ou de valeur métier floue.
- Un pilote payant, avec des critères de réussite écrits avant de commencer, protège mieux qu'un POC gratuit et flatteur.
Ce qu'une démo prouve vraiment
Une bonne démonstration prouve trois choses, et il faut se contenter de ces trois-là. Elle prouve que le cas d'usage est techniquement possible quelque part. Elle prouve que le prestataire sait construire une interface qui fonctionne au moins une fois. Elle prouve que vous êtes capable d'imaginer le gain, ce qui n'est pas rien : beaucoup de projets échouent faute de cas d'usage clair, pas faute de technologie.
Une démonstration ne prouve aucune des cinq choses suivantes, et ce sont précisément celles qui décident de la réussite.
Elle ne prouve pas que vos données sont exploitables. Un modèle qui lit parfaitement dix contrats bien scannés peut s'effondrer sur les deux cents contrats de votre archives, avec leurs avenants manuscrits et leurs annexes photographiées.
Elle ne prouve pas que l'outil tient la charge et les cas bizarres. Une démo traite trois documents. Votre production en traite quatre cents par jour, dont une minorité d'exceptions qui consomme l'essentiel du temps de vos équipes.
Elle ne prouve pas que le coût par exécution reste acceptable quand le volume arrive. Les appels à un modèle facturés à l'usage se multiplient vite, et la supervision humaine aussi.
Elle ne prouve pas que vos équipes vont s'en servir. Un outil adopté à 20 % produit 20 % du gain attendu, tout en coûtant 100 % du prix.
Elle ne prouve pas que quelqu'un maintiendra le système dans dix-huit mois, quand le fournisseur du modèle changera son API ou son tarif.
Les cinq illusions d'une démonstration
La plupart des démos d'IA reposent sur les mêmes ressorts. Les reconnaître permet de les neutraliser sans agressivité.
Les données ont été préparées
C'est la plus courante et la plus difficile à voir. Les documents présentés ont été triés, parfois reformatés, quelqu'un a vérifié que le modèle les lirait bien. Demandez un document que vous venez de sortir de votre propre système, sans passer par le prestataire, et regardez la différence.
Les cas ont été choisis
Un agent qui répond correctement à quinze questions ne dit rien du seizième cas. La sélection des exemples est le geste le plus naturel du monde en démonstration, et le plus coûteux pour vous.
Le temps humain est masqué
Un devis qui sort en dix secondes a souvent été préparé en amont par trente minutes de paramétrage humain. Un agent qui rédige une réponse parfaite a parfois été relu avant l'envoi. Demandez qui intervient, à quel moment, et combien de temps.
La latence est cachée
Sur trois requêtes, une réponse en huit secondes paraît instantanée. Sur quarante appels dans une journée de travail, elle devient une gêne réelle, et une raison d'abandonner l'outil.
L'interface fait le travail
Un formulaire bien conçu peut donner l'impression d'une intelligence qui n'existe pas : les champs guident la saisie, les options limitent les réponses possibles, l'utilisateur comble les trous. Demandez à voir la sortie brute du modèle, avant toute mise en forme.
| Ce que vous voyez | Ce qu'il faut demander |
|---|---|
| Dix documents traités parfaitement | Vos deux cents documents, dont trois que vous savez pénibles |
| Réponse en deux secondes | Le temps moyen et le pire cas sur cinquante exécutions |
| Aucune erreur affichée | Le journal des erreurs, ou son absence assumée |
| Un parcours fluide | Qui corrige quand la sortie est fausse, et à quel coût |
Le protocole pour tester une démo sérieusement
Un test utile tient en une heure et demie, et il ne demande aucune compétence technique.
Préparez vos propres cas avant la réunion. Prenez dix exemples réels de la tâche visée, dont trois que vous savez difficiles : le document raturé, le client qui écrit en trois messages, le dossier incomplet. Numérotez-les. Vous noterez le résultat de chacun pendant la démo, pas après.
Imposez vos données brutes. Pas un export propre, pas un PDF retapé : le fichier tel qu'il arrive dans votre boîte. C'est le seul moyen de voir comment l'outil se comporte face au désordre réel.
Faites piloter par l'utilisateur, pas par le commercial. La personne qui passera huit heures par semaine dans l'outil repère en dix minutes les frictions qu'un dirigeant ne verra jamais. Sa réaction vaut plus que n'importe quel tableau de bord.
Chronométrez, y compris les à-côtés. Le temps de préparation, le temps de correction, le temps de vérification. Le gain réel est la différence entre le temps total d'avant et le temps total d'après, pas le temps de la réponse du modèle.
Demandez les erreurs. Un prestataire qui n'a jamais vu son système se tromper n'a pas encore été testé. La bonne réponse à « qu'est-ce qui rate ? » est une liste précise de cas, pas « rien pour l'instant ».
Sortez avec un écrit. Deux colonnes : ce qui a fonctionné sur vos dix cas, ce qui a échoué. Ce document vaut mieux que le compte rendu du prestataire, et il servira de base au pilote.
Les dix questions à poser pendant la démo
Ces questions ne piègent personne. Elles séparent simplement les prestataires qui ont déjà livré en production de ceux qui savent faire de belles démos.
- Sur quelles données cette démo a-t-elle été construite, et depuis combien de temps ?
- Combien de vos clients utilisent déjà ce système en production, sur un volume comparable au nôtre ?
- Que se passe-t-il quand le modèle n'est pas sûr ? L'outil le dit, ou invente ?
- Qui relit les sorties aujourd'hui, et combien de temps cela prend-il ?
- Quel est le coût variable par exécution, modèle et hébergement compris ?
- Que se passe-t-il si le fournisseur du modèle double son tarif ou change son API ?
- Comment nos données sortent-elles de chez nous, et où sont-elles stockées ?
- Qui corrige le système quand il se trompe sur un cas nouveau, et sous quel délai ?
- Quelle part du travail reste manuelle après déploiement, honnêtement ?
- Si nous arrêtons dans un an, que récupérons-nous, et à quel prix ?
Les réponses 3, 5 et 9 éliminent à elles seules la majorité des propositions trop optimistes. Un prestataire sérieux les attend et y répond sans détour. Si l'une de ces questions provoque un silence gêné, le sujet n'est plus la technologie.
Les chiffres à exiger avant de signer
Un devis de projet d'IA se juge sur des ordres de grandeur, pas sur un prix global. Quatre valeurs suffisent à qualifier une proposition.
Le coût par exécution, en centimes ou en euros, modèle, hébergement et stockage compris. Sans ce chiffre, vous ne pouvez pas savoir si l'outil reste rentable à votre volume réel.
Le taux d'erreur mesuré sur un échantillon, avec la taille de l'échantillon et la définition de l'erreur. « 95 % de précision » ne veut rien dire si personne ne précise ce qu'est une erreur, ni sur combien de cas.
Le temps de reprise humaine, c'est-à-dire le temps passé par une personne à vérifier ou corriger chaque sortie. C'est souvent le poste qui annule le gain.
Le coût de fonctionnement mensuel : supervision, mises à jour, surveillance des coûts d'API, corrections liées aux évolutions du modèle. Un système d'IA n'est pas un logiciel figé, il se dérègle quand le fournisseur change de version.
Ce dernier point explique une partie des abandons décrits par Gartner. Une preuve de concept mesure une faisabilité, pas un coût d'exploitation. Les deux se confondent facilement dans un comité de direction pressé, et l'écart apparaît au bout de six mois.
Ce que vous payez réellement dans un POC, un pilote ou un MVP n'est d'ailleurs pas la même chose : ce que vous payez dans un POC, un pilote ou un MVP détaille les trois formats et leurs pièges tarifaires.
Démo réussie, projet raté : les trois causes les plus fréquentes
Quand un projet démarre bien puis s'enlise, la cause est presque toujours l'une de ces trois.
Les données de production ne ressemblent pas à celles de la démo. Le pilote tourne sur un dossier propre, la mise en service découvre les doublons, les champs vides et les formats hérités de trois logiciels successifs. Cette cause est la plus fréquente, et la plus facile à anticiper : faites tourner le pilote sur un échantillon non nettoyé, tout de suite.
Le processus n'a pas été modifié. On ajoute un outil à une organisation qui n'a pas changé ses règles, ses délais ni ses responsabilités. L'outil produit alors un résultat que personne n'utilise, ou que quelqu'un recontrole intégralement par prudence. Le gain attendu disparaît dans la double vérification.
Personne n'est désigné pour maintenir le système. Le prestataire livre, la facture est payée, le référent interne change de poste. Six mois plus tard, le modèle a changé de version, les prompts ne donnent plus les mêmes résultats, et plus personne ne sait pourquoi l'outil s'est mis à répondre à côté.
Un audit court, avant de signer, permet de traiter les trois : il regarde les données réellement disponibles, décrit le processus tel qu'il est aujourd'hui, et nomme un responsable du maintien en conditions opérationnelles. C'est le rôle d'un audit et cadrage du projet IA, pas d'une démonstration supplémentaire.
FAQ
Une démo gratuite suffit-elle pour décider ?
Non, et ce n'est pas une question de prix. Une démo gratuite est courte, préparée par le prestataire, sur ses données. Elle peut confirmer qu'un cas d'usage existe, elle ne peut pas trancher sur la faisabilité chez vous. Utilisez-la pour présélectionner deux ou trois prestataires, puis passez à un test sur vos données.
Combien de temps doit durer un pilote avant de décider ?
Assez longtemps pour couvrir une variation réelle d'activité : un cycle de facturation, une période de pointe, un mois comptable. Un pilote de deux semaines en période calme ne teste que la partie facile. Prévoyez aussi les critères de réussite par écrit avant le démarrage, sinon la décision se prendra à l'impression.
Faut-il faire tester la démo par les équipes avant de signer ?
Oui, et pas en observateur. La personne qui utilisera l'outil doit tenir la souris. Un dirigeant juge la promesse, un opérateur juge la friction. Les deux avis comptent, mais seul le second prédit l'adoption.
Que faire si la démo échoue sur nos données ?
D'abord vérifier si l'échec vient du cas ou du système : un cas mal défini échoue partout. Si l'échec se répète sur des cas comparables, la réponse est utile : elle vous évite un projet. Un prestataire honnête vous le dira avant vous, et proposera un autre périmètre plutôt qu'un argument supplémentaire.
Peut-on demander une démo sur ses propres données avant de signer un devis ?
C'est une demande normale, et un prestataire qui la refuse en bloque la discussion plus qu'il ne la protège. Il est légitime qu'il facture ce travail, ou qu'il le limite à quelques cas, ou qu'il demande un accord de confidentialité. Ce qui n'est pas normal, c'est de ne jamais pouvoir sortir des données de démonstration.
Conclusion
Une démo d'IA se juge à ce qu'elle refuse de montrer. Les données préparées, les cas choisis, le temps humain masqué : trois indices qui ne demandent aucune expertise technique pour être repérés. Le protocole décrit ici tient dans une réunion et demie, et il évite l'essentiel des projets qui s'arrêtent au bout de six mois.
Avant de signer, exigez vos données, vos cas difficiles, vos utilisateurs aux commandes, et quatre chiffres : coût par exécution, taux d'erreur mesuré, temps de reprise humaine, coût de fonctionnement. Si ces éléments manquent, ce n'est pas une preuve qui manque, c'est une proposition qui n'est pas prête.
Vous préparez un projet d'IA et vous voulez un avis avant de vous engager ? parlons de votre cas d'usage. Nous cadrons le besoin, testons la faisabilité sur vos données réelles et vous disons ce qui tiendra en production. Pour situer les offres, nos prestations d'agents IA décrivent ce que nous construisons, et les signaux d'un prestataire IA peu sérieux complètent ce guide côté fournisseur.


