Billede: Udsnit fra datatilsynet.dk og Shutterstock-foto
Det er ulovligt for jobcentre at benytte sig af profileringsværktøjet ’Asta’, som it-virksomheden Schultz står bag. Otte ud af 59 mulige kommuner benyttede sig af programmet, og de er alle stoppet nu, oplyser Schultz.
”Vi har inden sommerferien været i dialog med de af vores kunder, som benytter sig af profileringsalgoritmen til forudsigelse af risiko for langtidsledighed. Vi forventer derfor ikke at anvende komponenten, indtil at der måtte foreligge en anden vurdering,” skriver Schultz til NB-Beskæftigelse.
Nedlægningen af Asta sker på baggrund af kritik fra Datatilsynet, der efter en henvendelse fra Styrelsen for Arbejdsmarked og Rekruttering (STAR), har vurderet, at AI-profileringsværktøjet brød GDPR-reglerne.
”Datatilsynet vurderer, at borgerens samtykke ikke kan danne grundlag for behandling i henhold til databeskyttelsesforordningen (GDPR), eftersom borgerens samtykke i den pågældende kontekst ikke kan anses for frivilligt,” skrev de en pressemeddelelse tilbage i juli.
Ikke frivilligt samtykke
I Schultz’ produktbeskrivelse fremgår det, at Asta har til formål at foretage en maskinel analyse af, hvad risikoen er for, at nyledige dagpengemodtagers kontaktforløb med jobcenteret bliver langvarigt.
Informationerne, som programmet henter, drejer sig om borgerens CV, joblog, tidligere kontaktforløb og eventuelle udeblivelser samt stamdata, som alder, køn og tolkebehov.
I en udtalelse fra Datatilsynet henviser de til databeskyttelsesforordningens artikel 6, stk. 1, litra a og uddyber, at samtykke normalt ikke anses for at være afgivet frivilligt, hvis der er klar skævhed mellem den registrerede og den dataansvarlige.
”Ved behandling af oplysninger om den registrerede i den kontekst, som der her spørges ind til, hvor der er tale om en offentlig myndighed, og hvor den offentlige myndighed har kontrol over den registreredes forsørgelsesgrundlag, vil et samtykke efter Datatilsynets opfattelse sjældent kunne anses for frivilligt og dermed udgøre et gyldigt behandlingsgrundlag,” skrev de.
Ikke første rap over nalderne
Det er ikke første gang, at Datatilsynet kritiserer Schultz. Tilbage i 2019 modtog Datatilsynet anmeldelser fra en række kommuner om Schultz Expose, der er et system, som indsamler data til jobcenterlederne.
I forbindelse med en opdatering af systemet blev en sikkerhedskomponent deaktiveret. Den skulle sikre, at kun relevante oplysninger om borgere kunne tilgås. Opdateringen forløb ikke som forventet, så derfor blev sikkerhedskomponenten ikke genaktiveret.
Det betød, at brugerne af Schultz Expose uretsmæssigturetmæssigt havde adgang til beskæftigelsesrelaterede oplysninger om cirka 1,5 millioner borgere fra andre kommuner.
AI-værktøjer kan bryde diskriminationslov
Det er ikke kun i Danmark, der er fokus på reguleringer af AI-profileringsværktøjer. I USA forventer advokater, at der vil komme flere retssager imod kunstig intelligens, der bryder med ’Americans with Disabilities Act of 1990’, også kaldet ADA, som er en borgerrettighedslov, der forbyder diskrimination baseret på handicap. Det skriver Law.com.
ADA pålægger arbejdsgiveren ansvaret for, at rekrutteringsredskaber ikke diskriminerer borgere, der lider af et handicap. Eksempelvis kunne det være værktøjer inden for videointerviews, der tager højde for, hvor hurtigt, man taler, eller bestemte ansigtsudtryk, der kan gøre det svært for nogle borgere at passe ind i normerne, som algoritmerne forventer.
Joseph C. O’Keefe, der er partner i det internationale advokatfirma Proskauer, siger derfor også, at det kun er et spørgsmål om tid, før der kommer flere retssager, i takt med at arbejdsgivere og advokater bliver mere opmærksomme på problemerne.
“I’m certain that we’re going to see states and other municipalities coming down with similar laws. And this issue obviously is just not facing the U.S. In the EU, there’s proposed regulations of AI tools. In Canada, there’s proposed regulations of AI tools, and that’s all well moving and in process as we speak. So this is clearly an area in which there’s going to be a lot more scrutiny of these tools and employers have to proceed carefully,” siger han til Law.com.
Du kan læse mere om AI på K-NEWS - eksempelvis hvordan trafikkameraer med indlejret kunstig intelligens mindsker antallet af ulykker og dræbte i trafikken, men deres automatiske udstedte bøder rammer socialt skævt.