PwC MO presenteerde rapporten over AI vol fouten van AI zelf

PwC Middle East heeft meerdere rapporten over AI en elektrische voertuigen gepubliceerd met onjuiste bronvermeldingen, verzonnen wetenschappelijke verwijzingen en niet-verifieerbare informatie. Dat meldt de Financial Times, op basis van onderzoek van AI-detectiebedrijf GPTZero.

De fouten zijn aangetroffen in vier zogenoemde thought leadership-rapporten van PwC Midden-Oosten, die bedoeld zijn voor de adviestak van het bedrijf. Volgens de onderzoekers vertonen de rapporten duidelijke kenmerken van door AI gegenereerde teksten, waaronder hallucinaties: verzonnen feiten, foutieve bronvermeldingen en verwijzingen naar niet-bestaande webpagina’s en wetenschappelijke publicaties.

Luchtkwaliteit in Riyad

Een van de opvallendste voorbeelden is een wetenschappelijk artikel over de luchtkwaliteit in Riyad dat volgens GPTZero nooit heeft bestaan. Ook verschillende voetnoten verwijzen naar irrelevante of onvindbare bronnen. In één geval wordt zelfs een blog van een tiener met slechts enkele honderden volgers aangehaald als bron voor een succesverhaal over AI bij zakenbank JPMorgan.

Volgens GPTZero wijzen ook inconsistenties in de bronvermeldingen op het gebruik van generatieve AI. Zo wordt in één rapport drie keer dezelfde statistiek over verkeersongelukken genoemd, telkens met een andere of ontbrekende bronvermelding. Ook bevat een url in een van de rapporten de aanduiding utm_source=chatgpt.com, wat suggereert dat de informatie via ChatGPT is verkregen.

Bronvermeldingen aanpassen

PwC Midden-Oosten laat weten de juistheid van zijn publicaties serieus te nemen en een beperkt aantal bronvermeldingen in de betrokken rapporten aan te passen. Het bedrijf benadrukt dat het interne kwaliteitscontroles hanteert voor onderzoek en het verantwoord gebruik van AI, maar gaf geen verklaring voor het ontstaan van de fouten.

Het incident is pijnlijk voor PwC, dat net als andere grote accountants- en advieskantoren bedrijven adviseert over de veilige en verantwoorde inzet van kunstmatige intelligentie. Eerder moesten ook concurrenten EY en KPMG rapporten intrekken nadat daarin vergelijkbare AI-gegenereerde fouten waren ontdekt.