6 plus grands incidents commerciaux causés par l’IA | IA dans les affaires #58

Comment éviter les incidents commerciaux lors de la mise en œuvre de l’IA ?

Les incidents commerciaux liés à l’IA peuvent avoir de graves conséquences pour les entreprises, il est donc nécessaire de tester les systèmes d’apprentissage automatique très soigneusement avant de les commercialiser. Sinon, de gros investissements dans de nouvelles technologies peuvent se terminer par un désastre financier et réputationnel majeur.

Alors, comment éviter les incidents commerciaux lors de la mise en œuvre de l’intelligence artificielle ? Bien que le premier conseil puisse sembler trop simple pour fonctionner, il est : “Faites attention à la qualité des données !”

Le deuxième conseil concerne des tests approfondis dans un environnement fermé avant de rendre l’outil public. Vous ne devez pas seulement tester la performance technique de l’outil, mais aussi vérifier son :

• conformité éthique — l’objectif des tests est de réduire les biais et les stéréotypes reproduits par l’IA,
• conformité légale — vérifier que les données utilisées par les outils d’IA, ainsi que le contenu qu’ils génèrent, respectent les lois du pays.

Même les géants du domaine de l’intelligence artificielle ne suivent pas ce conseil aujourd’hui, en lançant des chatbots dans le monde étiquetés comme “expériences précoces” ou “projets de recherche”. Cependant, à mesure que la technologie mûrit et que les lois régissant l’utilisation de l’intelligence artificielle entrent en vigueur, ces problèmes deviendront plus pressants.

Google Photos

La liste des incidents commerciaux liés à l’utilisation de l’intelligence artificielle commence par un cas de 2015. C’est à ce moment-là que l’application Google Photos, qui utilisait une version précoce de l’intelligence artificielle pour la reconnaissance d’images (vision par ordinateur), a étiqueté incorrectement des photos de personnes noires comme des photos de gorilles. Cet incident commercial s’est produit parce que l’ensemble de données d’entraînement utilisé pour enseigner l’algorithme contenait trop peu de photos de personnes noires.

De plus, Google a rencontré un problème similaire avec une caméra intelligente Nest, qui a mal identifié certaines personnes à la peau foncée comme des animaux. Ces incidents montrent que les systèmes de vision par ordinateur ont encore du mal à reconnaître les caractéristiques des différentes races.

Incidents commerciaux : Discrimination par âge

En 2023, iTutor Group a accepté de payer 365 000 $ pour régler un procès concernant l’utilisation d’un logiciel de recrutement discriminatoire. Il a été constaté que le logiciel avait automatiquement rejeté les candidates de plus de 55 ans et les candidates de plus de 60 ans, sans tenir compte de leur expérience ou de leurs qualifications.

Amazon a également connu des incidents commerciaux similaires. En 2014, l’entreprise travaillait sur une IA pour aider au processus de recrutement. Le système avait du mal à évaluer les CV des candidates parce qu’il apprenait à partir de données comprenant principalement des documents soumis par des hommes. En conséquence, Amazon a abandonné le projet de mise en œuvre de l’intelligence artificielle dans le processus.

Ces cas montrent que l’automatisation du processus de recrutement comporte le risque de perpétuer des biais et de traiter les candidates de manière injuste.

Source : DALL·E 3, prompt : Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

ChatGPT invente de faux précédents judiciaires

Un autre cas est très contemporain. En 2023, l’avocat Steven A. Schwartz a utilisé ChatGPT pour trouver des affaires juridiques passées pour un procès contre la compagnie aérienne Avianca. Cependant, il s’est avéré qu’au moins six des affaires fournies par l’IA étaient fausses – elles contenaient des noms, des numéros de cas et des citations incorrects.

Cela s’est produit parce que les grands modèles de langage (LLM) hallucinent, c’est-à-dire qu’ils créent des réponses probables lorsqu’ils ne peuvent pas trouver les bons faits. Il est donc nécessaire de vérifier leurs réponses à chaque fois. Et Schwartz a sauté cette étape. C’est pourquoi le juge l’a condamné à une amende de 5 000 $ pour “négligence grave”.

Incidents commerciaux : Apple Watch qui ne fonctionne pas correctement sur les personnes à la peau plus foncée

Selon un recours collectif de 2021, l’application de mesure de l’oxygène dans le sang sur l’Apple Watch ne fonctionne pas correctement pour les personnes à la peau plus foncée. Apple affirme avoir testé l’application sur une “large gamme de types et de teintes de peau”, mais les critiques disent que les dispositifs technologiques ne sont toujours pas conçus en tenant compte des personnes à la peau foncée.

Source : DALL·E 3, prompt : Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Zillow dans l’immobilier

Zillow, une entreprise immobilière, a lancé Zillow Offers, un programme pour acheter des maisons et les revendre rapidement, en 2018. CNN a rapporté que Zillow avait acheté 27 000 maisons depuis son lancement en avril 2018, mais n’en avait vendu que 17 000 d’ici la fin septembre 2021. Zillow a déclaré que l’incident commercial était causé par son utilisation de l’intelligence artificielle. L’algorithme avait prédit incorrectement les prix des maisons, ce qui a conduit Zillow à surpayer pour ses achats. Bien que l’entreprise ait immédiatement fermé le programme, elle a dû licencier 25 % de son personnel. En achetant involontairement des maisons à des prix supérieurs aux estimations actuelles des prix de vente futurs, l’entreprise a enregistré une perte de 304 millions de dollars.

Le chatbot raciste de Microsoft

En 2016, Microsoft a lancé un chatbot IA expérimental appelé Tay. Il était censé apprendre en interagissant avec les utilisateurs de Twitter (maintenant X). En 16 heures, Tay a “appris” à publier des tweets offensants, racistes et sexistes. Les utilisateurs de Twitter ont délibérément provoqué le bot, qui n’avait pas les mécanismes de sécurité appropriés utilisés dans les chatbots d’aujourd’hui, tels que ChatGPT, Microsoft Copilot et Google Bard. Microsoft a rapidement désactivé le bot et s’est excusé pour l’incident, mais Tay est l’un des plus grands incidents commerciaux de Microsoft.

Un incident de chatbot s’est également produit chez Google, qui a lancé un bot nommé Meena en 2020. Meta (anciennement Facebook) n’a également pas réussi à éviter une erreur similaire. En août 2022, elle a lancé un nouveau chatbot IA appelé BlenderBot 3, qui était conçu pour discuter avec les gens et apprendre de ces interactions.

Quelques jours après son lancement, des rapports ont fait état du chatbot faisant des déclarations offensantes, racistes et factuellement incorrectes dans des conversations. Par exemple, il a affirmé que Donald Trump avait remporté l’élection présidentielle américaine de 2020, a propagé des théories du complot antisémites et a critiqué Facebook.

Si vous aimez notre contenu, rejoignez notre communauté de abeilles occupées sur Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.