Les incidents commerciaux liés à l’IA peuvent avoir de graves conséquences pour les entreprises, il est donc nécessaire de tester les systèmes d’apprentissage automatique très soigneusement avant de les commercialiser. Sinon, de gros investissements dans de nouvelles technologies peuvent se terminer par un désastre financier et réputationnel majeur.
Alors, comment éviter les incidents commerciaux lors de la mise en œuvre de l’intelligence artificielle ? Bien que le premier conseil puisse sembler trop simple pour fonctionner, il est : “Faites attention à la qualité des données !”
Le deuxième conseil concerne des tests approfondis dans un environnement fermé avant de rendre l’outil public. Vous ne devez pas seulement tester la performance technique de l’outil, mais aussi vérifier son :
Même les géants du domaine de l’intelligence artificielle ne suivent pas ce conseil aujourd’hui, en lançant des chatbots dans le monde étiquetés comme “expériences précoces” ou “projets de recherche”. Cependant, à mesure que la technologie mûrit et que les lois régissant l’utilisation de l’intelligence artificielle entrent en vigueur, ces problèmes deviendront plus pressants.
La liste des incidents commerciaux liés à l’utilisation de l’intelligence artificielle commence par un cas de 2015. C’est à ce moment-là que l’application Google Photos, qui utilisait une version précoce de l’intelligence artificielle pour la reconnaissance d’images (vision par ordinateur), a étiqueté incorrectement des photos de personnes noires comme des photos de gorilles. Cet incident commercial s’est produit parce que l’ensemble de données d’entraînement utilisé pour enseigner l’algorithme contenait trop peu de photos de personnes noires.
De plus, Google a rencontré un problème similaire avec une caméra intelligente Nest, qui a mal identifié certaines personnes à la peau foncée comme des animaux. Ces incidents montrent que les systèmes de vision par ordinateur ont encore du mal à reconnaître les caractéristiques des différentes races.
En 2023, iTutor Group a accepté de payer 365 000 $ pour régler un procès concernant l’utilisation d’un logiciel de recrutement discriminatoire. Il a été constaté que le logiciel avait automatiquement rejeté les candidates de plus de 55 ans et les candidates de plus de 60 ans, sans tenir compte de leur expérience ou de leurs qualifications.
Amazon a également connu des incidents commerciaux similaires. En 2014, l’entreprise travaillait sur une IA pour aider au processus de recrutement. Le système avait du mal à évaluer les CV des candidates parce qu’il apprenait à partir de données comprenant principalement des documents soumis par des hommes. En conséquence, Amazon a abandonné le projet de mise en œuvre de l’intelligence artificielle dans le processus.
Ces cas montrent que l’automatisation du processus de recrutement comporte le risque de perpétuer des biais et de traiter les candidates de manière injuste.
Source : DALL·E 3, prompt : Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)
Un autre cas est très contemporain. En 2023, l’avocat Steven A. Schwartz a utilisé ChatGPT pour trouver des affaires juridiques passées pour un procès contre la compagnie aérienne Avianca. Cependant, il s’est avéré qu’au moins six des affaires fournies par l’IA étaient fausses – elles contenaient des noms, des numéros de cas et des citations incorrects.
Cela s’est produit parce que les grands modèles de langage (LLM) hallucinent, c’est-à-dire qu’ils créent des réponses probables lorsqu’ils ne peuvent pas trouver les bons faits. Il est donc nécessaire de vérifier leurs réponses à chaque fois. Et Schwartz a sauté cette étape. C’est pourquoi le juge l’a condamné à une amende de 5 000 $ pour “négligence grave”.
Selon un recours collectif de 2021, l’application de mesure de l’oxygène dans le sang sur l’Apple Watch ne fonctionne pas correctement pour les personnes à la peau plus foncée. Apple affirme avoir testé l’application sur une “large gamme de types et de teintes de peau”, mais les critiques disent que les dispositifs technologiques ne sont toujours pas conçus en tenant compte des personnes à la peau foncée.
Source : DALL·E 3, prompt : Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)
Zillow, une entreprise immobilière, a lancé Zillow Offers, un programme pour acheter des maisons et les revendre rapidement, en 2018. CNN a rapporté que Zillow avait acheté 27 000 maisons depuis son lancement en avril 2018, mais n’en avait vendu que 17 000 d’ici la fin septembre 2021. Zillow a déclaré que l’incident commercial était causé par son utilisation de l’intelligence artificielle. L’algorithme avait prédit incorrectement les prix des maisons, ce qui a conduit Zillow à surpayer pour ses achats. Bien que l’entreprise ait immédiatement fermé le programme, elle a dû licencier 25 % de son personnel. En achetant involontairement des maisons à des prix supérieurs aux estimations actuelles des prix de vente futurs, l’entreprise a enregistré une perte de 304 millions de dollars.
En 2016, Microsoft a lancé un chatbot IA expérimental appelé Tay. Il était censé apprendre en interagissant avec les utilisateurs de Twitter (maintenant X). En 16 heures, Tay a “appris” à publier des tweets offensants, racistes et sexistes. Les utilisateurs de Twitter ont délibérément provoqué le bot, qui n’avait pas les mécanismes de sécurité appropriés utilisés dans les chatbots d’aujourd’hui, tels que ChatGPT, Microsoft Copilot et Google Bard. Microsoft a rapidement désactivé le bot et s’est excusé pour l’incident, mais Tay est l’un des plus grands incidents commerciaux de Microsoft.
Un incident de chatbot s’est également produit chez Google, qui a lancé un bot nommé Meena en 2020. Meta (anciennement Facebook) n’a également pas réussi à éviter une erreur similaire. En août 2022, elle a lancé un nouveau chatbot IA appelé BlenderBot 3, qui était conçu pour discuter avec les gens et apprendre de ces interactions.
Quelques jours après son lancement, des rapports ont fait état du chatbot faisant des déclarations offensantes, racistes et factuellement incorrectes dans des conversations. Par exemple, il a affirmé que Donald Trump avait remporté l’élection présidentielle américaine de 2020, a propagé des théories du complot antisémites et a critiqué Facebook.
Si vous aimez notre contenu, rejoignez notre communauté de abeilles occupées sur Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.
Expert en JavaScript et instructeur qui forme les départements informatiques. Son objectif principal est d'améliorer la productivité de l'équipe en enseignant aux autres comment coopérer efficacement lors du codage.
Les entreprises luttent pour gérer une vaste quantité de contenu publié en ligne, des publications…
À l'ère de la transformation numérique, les entreprises ont accès à une quantité sans précédent…
Saviez-vous que vous pouvez obtenir l'essence d'un enregistrement de plusieurs heures d'une réunion ou d'une…
Imaginez un monde où votre entreprise peut créer des vidéos engageantes et personnalisées pour n'importe…
Pour tirer pleinement parti du potentiel des grands modèles de langage (LLMs), les entreprises doivent…
En 2018, Unilever avait déjà entrepris un voyage conscient pour équilibrer les capacités d'automatisation et…