IBM’s Watson mag niet ongeremd leren – dan kreeg hij maar foute gedachten!

Dat mag en moet namelijk bij schaken en het go-spel, maar natuurlijk niet in streng protocollaire omgevingen als compliance-monitoring of het ziekenhuis, aldus IBM tijdens de Computing Big Data & Analytics Summit 2016 in London.

 

IBM’s Watsonsystemen worden geleverd met de deep-learning functie ‘on hold’ zo blijkt. Slechts één keer per maand wordt het systeem toegestaan een nieuw trainingsplan tot zich te nemen, zodat het alleen de gewenste dingen en reacties leert. “We zijn bang dat we anders de controle over het systeem verliezen,” verklaarde IBM’s  CTO Europe Duncan Anderson.

 

Daarom wordt de leerfunctie slechts gecontroleerd geactiveerd. Het doel is immers, aldus IBM, om “een passend antwoord te krijgen op vragen die je aan het systeem stelt, een antwoord dat past bij de verwachtingen van de organisatie, zeker in streng gereguleerde omgevingen als de gezondheidszorg of de financiële dienstverlening. Je kunt je in die omgevingen niet veroorloven dat het systeem er maar op los leert, en ineens antwoorden gaat geven in richtingen die niemand verwacht, laat staan die niemand wil.”

 

En zo wordt ook Watson onderworpen aan ons repressieve onderwijssysteem, dat cliënten traint om alleen de  ‘correcte’ antwoorden te geven op door de leraar gestelde vragen…

 

Dat de angst van IBM niet geheel irreëel is, blijkt overigens uit het feit dat ook Microsoft al enige reputatieschade geleden heeft door een al te gretig zelflerend computersysteem.