Kunstig intelligens skal kunne forklare sine anbefalinger til mennesker, hvis vi skal have tillid til den

Det siges, at raketvidenskab er voldsomt kompliceret, men selv champagneberusede familiefædre lykkes med at oplyse himlen med raketter nytårsaften. Komplikationerne og behovet for avanceret raketvidenskab opstår, når vi gerne vil placere mennesker øverst på raketter, der skal sendes ud i rummet. Med mennesker i centrum stilles der nemlig massive krav til sikkerhed og kontrol.

Ligesom med nytårsraketterne kræver det ikke raketvidenskab at komme i gang med at bruge kunstig intelligens til mange typer af løsninger. Men når kunstig intelligens bliver bygget på data fra mennesker og kan påvirke menneskers liv, skal vi også her sætte mennesket i centrum og stille øgede krav til sikkerhed og pålidelighed. Samtidig er det afgørende, at den kunstige intelligens kan begrunde sine valg og anbefalinger, så den almindelige bruger af en løsning kan forstå dem.

Det mener Peter Damm, som er leder af Center for Applied AI (kunstig intelligens) i KMD.

”Når vi taler om pålidelighed i forhold til it-systemer, så handler det om tillid. Som brugere skal vi have tillid til, at systemet opfører sig som forventet, hver eneste gang vi bruger det. Samtidig skal vi kunne forstå, hvad der foregår, og det gælder ikke mindst, når systemet anvender kunstig intelligens. Hvis systemet kommer med en anbefaling, så skal et menneske kunne relatere til den anbefaling og skal kunne forstå, hvor den anbefaling kommer fra. Kun på den måde kan man skabe den nødvendige tillid til brugen af kunstig intelligens,” tilføjer han.

Behovet for en ’forklarbar kunstig intelligens’ er voksende

KMD har arbejdet med kunstig intelligens i flere it-løsninger og deltager også i forskningsprojektet EcoKnow, hvor kunstig intelligens skal hjælpe arbejdsløse hurtigere tilbage i job. Samtidig har man et tæt samarbejde om udviklingen af kunstig intelligens med ejeren NEC’s laboratorier i Tyskland. Erfaringerne viser, at behovet for en kunstig intelligens, der kan forklare sine anbefalinger, er voksende, forklarer Peter Damm.

Som sagsbehandler i et jobcenter kan man fx opleve, at den kunstige intelligens i systemet kan komme med en vurdering og en anbefaling: Den kunstige intelligens vurderer, at en sag kommer til at tage ekstra lang tid, men foreslår en given aktivitet, som kan mindske tidsforbruget. Den påstand kan være svær at forstå og stole på uden yderligere forklaring. Derfor skal den kunstige intelligens kunne forklare, hvorfor denne anbefaling eller forudsigelse er opstået. Og det skal kunne forklares, så sagsbehandleren forstår det.

”Derfor skal den kunstige intelligens kunne forstå den kontekst, som sagsbehandleren sidder i. Det vil sige, at systemet skal kunne understøtte sin beslutning baseret på den domæneviden, som sagsbehandleren sidder med. Systemet skal kunne tale brugerens sprog. Derfor skal vi bygge domæneviden direkte ind i it-systemet. Det er vi gode til i normale it-systemer, og nu skal domæneviden, forståelse af verden og kontekst også bygges ind i avancerede it-systemer med kunstig intelligens,” siger Peter Damm.

Præcis hvordan den nødvendige domæneviden skal bygges ind i den kunstige intelligens forsker Peter Damm og hans kolleger stadig i. Udgangspunktet er matematiske værktøjer som ’vidensgrafer’, som gør det muligt at forbinde delmængder af viden med andre dele og på den måde skabe store netværk af viden. Graferne kan også udlede nye sammenhænge, og disse egenskaber skal bruges til at koble domæneviden sammen med mulige forklaringer.

”Det er dog afgørende at sige, at sagsbehandleren altid har det sidste ord og kan træffe sine egne beslutninger med eller uden den kunstige intelligens i ryggen. Pointen er, at sagsbehandleren altid vil kunne træffe beslutningen på et mere oplyst grundlag, uanset om han følger anbefalingen eller ej,” understreger Peter Damm.

Kunstig intelligens skal også kunne håndtere en foranderlig verden

Den generelle brug af kunstig intelligens er ikke længere noget nyt og har været brugt i mange forskellige løsninger. Specielt såkaldt dybe neurale netværk har været succesfulde, men den næste generation af kunstig intelligens skal kunne noget andet på grund af den menneskelige faktor.

”De dybe neurale netværk har virket godt, fordi systemerne har været baseret på ensartede datasæt. Her har man kunne bruget ’pæne’ data til at træne de modeller, som udgør den kunstige intelligens, der fx kan sammenligne billeder, håndtere fakturaer eller vise os relevante annoncer på nettet,” siger Peter Damm.

”Men når man sætter mennesker i centrum, fordi den kunstige intelligens får indflydelse på afgørende ting i menneskers liv, så bliver det svært. Dels fordi data bliver personhenførbare, dels fordi data om mennesker generelt er uhomogene – og fordi de unikke karaktertræk forandres over tid. Mennesker skaber data i en verden, som er foranderlig, men det håndterer de eksisterende dybe neurale netværk ikke så godt. Den næste generation af kunstig intelligens, som kaldes ’Explainable AI’ eller ’forklarbar kunstig intelligens’ kombinerer derfor ofte flere modeller i én for at kunne håndtere det problem bedre,” forklarer han.

Den sorte boks skal gøres transparent uden at afsløre personlige informationer

De kombinerede eller hybride modeller give også mulighed for at gøre systemets forklaringer lette at forstå ved at åbne ’maskinen’ op.

”I de mest succesfulde kunstige intelligenser, som bygger på dybe neurale netværk, er beregningerne så komplekse, at de opleves som skjulte. Ofte ved man reelt ikke, hvordan eller hvorfor modellerne i systemet virker, og derfor bliver systemet kaldt for en ’black box’. Vores fokus er at åbne denne sorte boks op og gøre det synligt, hvad der foregår i den,” siger Peter Damm.

I arbejdet med at skabe den nødvendige transparens bliver maskinen fodret med anonymiserede eller syntetiske data, så man ikke kan identificere specifikke personer.

”Vores modeller bygges på fuldt ud anonymiserede data, hvor vi har analyseret data på en måde, hvor vi ikke mister de statistiske mønstre. Hvis data anonymiseres, så mønstrene i en vis grad mistes, så bliver modellerne også mindre præcise. Samtidig mister vi også præcision, hvis vi gør modellen mindre kompleks, så dens forudsigelser kan forklares,” siger Peter Damm.

”Vores mål er at bevare den høje præcision, men stadig gøre det muligt at forklare brugerne, hvordan anbefalingerne er blevet til. Vi mister måske en smule præcision, fordi det skal være til at forklare. Men det er det værd, fordi det er afgørende at opnår brugernes tillid til den kunstige intelligens, så de faktisk også ønsker at bruge den,” påpeger han.