L’IA est-elle toujours un outil au service de la performance au travail ?

L’IA permet-elle d’améliorer la qualité de notre travail ? Ça dépend de la nature des tâches pour lesquelles on sollicite son aide. La réponse semble évidente, mais devient plus intéressante lorsqu’on se penche sur les résultats d’une étude fouillée menée par le cabinet de conseil BCG et les chercheurs de l’université d’Harvard, publiée le 15 septembre.

Pour tirer leurs conclusions, les chercheurs ont comparé les fruits du travail de trois panels : des consultants œuvrant seuls, des consultants utilisant GPT-4 et des consultants utilisant GPT-4 après avoir été formés à cette technologie.

Productivité accrue et qualité supérieure pour les tâches classiques

Les différents groupes ont dû réaliser des tâches diverses qu’ils ont l’habitude d’effectuer : des plus classiques (trouver une nouvelle idée de produit, créer un slogan publicitaire, rédiger un communiqué de presse…) aux plus complexes (préparer un document pour conseiller un PDG sur sa stratégie…).

Premier constat : sur les 18 tâches considérées comme classiques (de la conception d’une idée de produit au lancement de ce produit), les consultants se sont révélés plus performants lorsqu’ils étaient secondés par l’IA. Ils ont accompli 12,2% de tâches en plus et les ont effectuées 25,1% plus rapidement que l’échantillon travaillant sans GPT-4. Au-delà d’une productivité accrue, les groupes aidés par l’IA ont également fourni un travail de qualité 40% supérieure à celui de leurs autres collègues. Pour cette première catégorie de tâches, l’étude démontre que l’IA peut améliorer, voire se substituer au travail humain.

Des performances moindres pour les problèmes complexes

En revanche, pour un problème plus complexe (conseiller un PDG sur sa stratégie d’entreprise), les humains sans IA ont obtenu des résultats satisfaisants dans 80% des cas, contre 60 à 70% pour les groupes s’appuyant sur GPT-4.  « L’humain se fait tromper par la capacité de persuasion de l’intelligence artificielle, constate François Candelon, directeur associé senior au BCG et coauteur de l’étude, interviewé par l’ADN. C’est peut-être lié au fait que plus vous l’utilisez, plus vous avez l’impression de maîtriser l’outil et plus vous baissez la garde. » Pour ce deuxième type de tâches, l’IA se révèle au mieux inutile, au pire source d’imprécision ou d’erreur.

Autre enseignement : le groupe formé au prompt (l’art de formuler des requêtes pertinentes) n’a pas obtenu de résultats significativement meilleurs que le groupe sans formation. Bien connaître les capacités de l’IA s’avère donc plus important que de savoir « lui parler ».

Des idées moins diversifiées que celles imaginées par les humains

Les auteurs soulignent donc l’importance d’utiliser l’IA à bon escient, de remettre en question les résultats fournis par cette technologie, tout continuant d’exercer son esprit critique dans le cadre de ces tâches plus complexes. Ils précisent aussi que si ChatGPT fournit parfois des résultats meilleurs que ceux obtenus par la main de l’homme, ses idées sont souvent moins variées que celles imaginées par les humains.

Il est donc plus pertinent de raisonner en termes de tâches que de métiers si l’on souhaite intégrer l’IA générative à notre quotidien de travail. Tout en gardant à l’esprit que « des tâches insoupçonnées, comme la génération d’idées nouvelles, sont simples pour l’IA, tandis que d’autres, à première vue plus accessibles pour elles (comme des calculs mathématiques basiques), représentent des défis pour certains large langage models (LLMs) », expliquent les chercheurs.