En bättre strategi
Med tanke på hur omfattande användningen av AI är, är det högst tveksamt att bara myndigheter skulle ha kompetens och möjlighet att verifiera att företag följer en sådan lag som föreslås av kommissionen. Men det är bara en av bristerna i kommissionens förslag till strategi. Marcel Kolaja föreslår – i enlighet med piraternas politik – ett antal åtgärder.
Transparenskrav
När ADM/AI används för dynamisk prissättning finns en tydlig risk för diskriminering. Ett tydligt sådant fall fick vi för ett par år sedan när en hotellbokningsplattform implementerade dynamisk prissättning på ett sätt som ledde till att användare av dyrare mobiltelefoner fick högre priser visade för sig. Ett annat exempel på en dylik situation finns inom plattformar för arbetssökande. Ifall en AI som tränats på diskriminerande datamängder ska sortera bland tusentals CV:n får vi lätt en situation där flera sökande från t.ex. minoritetsgrupper väljs bort utan grund.
Att AI-system är transparenta är en nyckel till konsumentskydd i det digitala samhället. Användare av digital teknik är idag ofta omedvetna om att ADM/AI används i relation till dem och därmed inte heller på vakt på eventuella risker. Både privata och offentliga aktörer som använder ADM/AI-system bör på ett tydligt sätt informera berörda parter på förhand för att undvika diskriminerande beslut från deras AI.
AI ska designas på ett transparent sätt så att det är möjligt för människor att granska hur systemet fungerar. Det pågår en hel del forskning och arbete runt att göra dagens ”black-box”-AI förståelig, åtminstone i efterhand. Detta behövs för möjligheten till mänsklig tillsyn av AI som används i risksituationer.
Bevisbörda vid tvister
Givet att AI-system är otroligt komplicerade och idag dessutom ofta dolda bakom oläslig kod kan inte bevisbördan ligga på den person som hävdar sig ha kommit till skada av systemet. Den som tillhandahåller AI-systemet är den som bör vara ansvarig för att visa att deras system t.ex. inte bygger på diskriminerande datamängder.
Både kod och data som används vid träning av AI för riskbruk ska släppas under öppna licenser som GPL och CC0, och kvalitéskrav på träningsdata bör införas. Det är sätt att garantera den öppenhet som krävs för att lösa tvister.
Så långt det är möjligt bör de som berörs av beslut från ADM/AI också ha tillgång till mänsklig tillsyn som kan verifiera tagna beslut och undersöka gränsfall.
Användande av fri och open source mjukvara
Kommissionen borde ha lagt ett betydligt mer ambitiöst förslag om att förespråka användningen av fri och open source mjukvara. Det vore att i ett slag skapa höga krav på transparens och ge möjlighet till granskning för utomstående forskare och andra.
Riskanalys gällande grundläggande rättigheter
Slutligen bör man vid reglering av ADM/AI också ta i beaktande den effekt på grundläggande rättigheter på nätet som automatiska system för filtrering och moderering får. Nya tekniker och plattformar revolutionerar kontinuerligt hur medborgare får tillgång till och sprider information på nätet. Filter i olika former – både de som sätts upp frivilligt av företag, och de som lagen kräver – bör medföljas av riskanalyser rörande yttrandefrihet, privatliv och dataskydd.
Framåt
Marcel Kolaja kommer fortsätta arbeta med EU:s politik kring AI. Han representerar den gröna gruppen i utskottet för den inre marknaden och konsumentskydd i frågorna om civilrättsligt och straffrättsligt ansvar vid användning av AI och myndigheters användning av AI vid brottsutredningar.
För den som vill kommentera kommissionens förslag är deadline 19 maj.
Läs mer om parlamentets resolution och kommissionens strategi på Marcel Kolajas blogg. Följ Marcel Kolaja på Twitter eller Mastodon.
En bättre strategi
Med tanke på hur omfattande användningen av AI är, är det högst tveksamt att bara myndigheter skulle ha kompetens och möjlighet att verifiera att företag följer en sådan lag som föreslås av kommissionen. Men det är bara en av bristerna i kommissionens förslag till strategi. Marcel Kolaja föreslår – i enlighet med piraternas politik – ett antal åtgärder.
Transparenskrav
När ADM/AI används för dynamisk prissättning finns en tydlig risk för diskriminering. Ett tydligt sådant fall fick vi för ett par år sedan när en hotellbokningsplattform implementerade dynamisk prissättning på ett sätt som ledde till att användare av dyrare mobiltelefoner fick högre priser visade för sig. Ett annat exempel på en dylik situation finns inom plattformar för arbetssökande. Ifall en AI som tränats på diskriminerande datamängder ska sortera bland tusentals CV:n får vi lätt en situation där flera sökande från t.ex. minoritetsgrupper väljs bort utan grund.
Att AI-system är transparenta är en nyckel till konsumentskydd i det digitala samhället. Användare av digital teknik är idag ofta omedvetna om att ADM/AI används i relation till dem och därmed inte heller på vakt på eventuella risker. Både privata och offentliga aktörer som använder ADM/AI-system bör på ett tydligt sätt informera berörda parter på förhand för att undvika diskriminerande beslut från deras AI.
AI ska designas på ett transparent sätt så att det är möjligt för människor att granska hur systemet fungerar. Det pågår en hel del forskning och arbete runt att göra dagens ”black-box”-AI förståelig, åtminstone i efterhand. Detta behövs för möjligheten till mänsklig tillsyn av AI som används i risksituationer.
Bevisbörda vid tvister
Givet att AI-system är otroligt komplicerade och idag dessutom ofta dolda bakom oläslig kod kan inte bevisbördan ligga på den person som hävdar sig ha kommit till skada av systemet. Den som tillhandahåller AI-systemet är den som bör vara ansvarig för att visa att deras system t.ex. inte bygger på diskriminerande datamängder.
Både kod och data som används vid träning av AI för riskbruk ska släppas under öppna licenser som GPL och CC0, och kvalitéskrav på träningsdata bör införas. Det är sätt att garantera den öppenhet som krävs för att lösa tvister.
Så långt det är möjligt bör de som berörs av beslut från ADM/AI också ha tillgång till mänsklig tillsyn som kan verifiera tagna beslut och undersöka gränsfall.
Användande av fri och open source mjukvara
Kommissionen borde ha lagt ett betydligt mer ambitiöst förslag om att förespråka användningen av fri och open source mjukvara. Det vore att i ett slag skapa höga krav på transparens och ge möjlighet till granskning för utomstående forskare och andra.
Riskanalys gällande grundläggande rättigheter
Slutligen bör man vid reglering av ADM/AI också ta i beaktande den effekt på grundläggande rättigheter på nätet som automatiska system för filtrering och moderering får. Nya tekniker och plattformar revolutionerar kontinuerligt hur medborgare får tillgång till och sprider information på nätet. Filter i olika former – både de som sätts upp frivilligt av företag, och de som lagen kräver – bör medföljas av riskanalyser rörande yttrandefrihet, privatliv och dataskydd.
Framåt
Marcel Kolaja kommer fortsätta arbeta med EU:s politik kring AI. Han representerar den gröna gruppen i utskottet för den inre marknaden och konsumentskydd i frågorna om civilrättsligt och straffrättsligt ansvar vid användning av AI och myndigheters användning av AI vid brottsutredningar.
För den som vill kommentera kommissionens förslag är deadline 19 maj.
Läs mer om parlamentets resolution och kommissionens strategi på Marcel Kolajas blogg. Följ Marcel Kolaja på Twitter eller Mastodon.
19 Februari presenterade EU-kommissionen sitt förslag för en europeisk strategi för AI. Ämnet kan låta som något obskyrt för teknikintresserade, men är något som har en daglig påverkan på människors vardag, vare sig det gäller att söka jobb, beställa mat, innehållsfilter på nätet eller annat.
Marcel Kolaja, tjeckisk EU-parlamentariker för Piratpartiet, har AI och reglering av teknik som ett av sina huvudområden. Han har därför bevakat kommissionens förslag noga och även arbetat inom parlamentet med att påverka det. Han har bloggat om det i två inlägg, som sammanfattas på svenska nedan.
Kommissionens förslag till strategi
Kommissionens strategiförslag definierar AI som en kombination av data och algoritmer, vilka ibland kan integreras med specifik hårdvara. Man påpekar att även om maskininlärd AI kan ta autonoma beslut som inte följer specifika instruktioner är deras beteende ändå definierat och begränsat av utvecklarna (främst genom att ha definierat vad AI:n försöker optimera) och de datamängder som den tränats på.
Strategins främsta målsättning är att skapa förutsättningar för framtagande av bättre AI i Europa, samtidigt som man tar hänsyn till de risker som medföljer och kan försvara vad man kallar för ”core European values” – jämlikhet, icke-diskriminering och ett skydd för privatlivet.
I förslaget begränsas situationer som bedöms som hög risk till fall där både området och appliceringen av AI innebär hög risk. I tidigare utkast har kommissionen även föreslagit kriterier som irreversibel påverkan på en individs liv som grund för att kalla en viss användning av AI för hög risk. Man har även varit inne på att nämna exceptionella områden där vissa regler alltid skulle gälla. Nu verkar dock kommissionen vara inne på att identifiera att området och appliceringen av AI ska innebära hög risk för att situationen ska vara en högrisk-situation.
”The EU Commission urgently needs to introduce a moratorium on mass surveillance through facial recognition and automated behavioral control, instead of paving the way for it through supposed ’regulation’. In a free society we cannot tolerate constant surveillance, mass false reports and systematic discrimination. Many advances in the field of artificial intelligence are fascinating. The fact that politicians can think of nothing else but to abuse this technology to monitor people at borders and in public places is scandalous. China is already using facial recognition, combined with the so-called social credit system, to control its citizens from outside. Such technology must never be used in a free society, as constant surveillance exerts pressure to conform and adapt. That is why we need this moratorium. Whoever demands ethical AI must ban unethical AI.”
Patrick Breyer, tysk EU-parlamentariker för Piratpartiet
AI används ofta av företag för att moderera innehåll på nätplattformar – till exempel genom hash-matchning, keyword-filter eller språkanalys – för att ta bort material som antingen bryter mot deras användaravtal eller är illegalt. Som en konsekvens av detta ser vi ofta diskriminering av vissa grupper, vars uppladdningar oftare raderas. Detta uppstår bland annat på grund av algoritmers svårigheter med kontext och träningsdatamängder som redan innehåller diskriminerande antaganden.
Kommissionen föreslår att företag ska lagra ”records, documents and data sets” under en begränsad tid och de ska bara göras tillgängliga till myndigheter på begäran.
En bättre strategi
Med tanke på hur omfattande användningen av AI är, är det högst tveksamt att bara myndigheter skulle ha kompetens och möjlighet att verifiera att företag följer en sådan lag som föreslås av kommissionen. Men det är bara en av bristerna i kommissionens förslag till strategi. Marcel Kolaja föreslår – i enlighet med piraternas politik – ett antal åtgärder.
Transparenskrav
När ADM/AI används för dynamisk prissättning finns en tydlig risk för diskriminering. Ett tydligt sådant fall fick vi för ett par år sedan när en hotellbokningsplattform implementerade dynamisk prissättning på ett sätt som ledde till att användare av dyrare mobiltelefoner fick högre priser visade för sig. Ett annat exempel på en dylik situation finns inom plattformar för arbetssökande. Ifall en AI som tränats på diskriminerande datamängder ska sortera bland tusentals CV:n får vi lätt en situation där flera sökande från t.ex. minoritetsgrupper väljs bort utan grund.
Att AI-system är transparenta är en nyckel till konsumentskydd i det digitala samhället. Användare av digital teknik är idag ofta omedvetna om att ADM/AI används i relation till dem och därmed inte heller på vakt på eventuella risker. Både privata och offentliga aktörer som använder ADM/AI-system bör på ett tydligt sätt informera berörda parter på förhand för att undvika diskriminerande beslut från deras AI.
AI ska designas på ett transparent sätt så att det är möjligt för människor att granska hur systemet fungerar. Det pågår en hel del forskning och arbete runt att göra dagens ”black-box”-AI förståelig, åtminstone i efterhand. Detta behövs för möjligheten till mänsklig tillsyn av AI som används i risksituationer.
Bevisbörda vid tvister
Givet att AI-system är otroligt komplicerade och idag dessutom ofta dolda bakom oläslig kod kan inte bevisbördan ligga på den person som hävdar sig ha kommit till skada av systemet. Den som tillhandahåller AI-systemet är den som bör vara ansvarig för att visa att deras system t.ex. inte bygger på diskriminerande datamängder.
Både kod och data som används vid träning av AI för riskbruk ska släppas under öppna licenser som GPL och CC0, och kvalitéskrav på träningsdata bör införas. Det är sätt att garantera den öppenhet som krävs för att lösa tvister.
Så långt det är möjligt bör de som berörs av beslut från ADM/AI också ha tillgång till mänsklig tillsyn som kan verifiera tagna beslut och undersöka gränsfall.
Användande av fri och open source mjukvara
Kommissionen borde ha lagt ett betydligt mer ambitiöst förslag om att förespråka användningen av fri och open source mjukvara. Det vore att i ett slag skapa höga krav på transparens och ge möjlighet till granskning för utomstående forskare och andra.
Riskanalys gällande grundläggande rättigheter
Slutligen bör man vid reglering av ADM/AI också ta i beaktande den effekt på grundläggande rättigheter på nätet som automatiska system för filtrering och moderering får. Nya tekniker och plattformar revolutionerar kontinuerligt hur medborgare får tillgång till och sprider information på nätet. Filter i olika former – både de som sätts upp frivilligt av företag, och de som lagen kräver – bör medföljas av riskanalyser rörande yttrandefrihet, privatliv och dataskydd.
Framåt
Marcel Kolaja kommer fortsätta arbeta med EU:s politik kring AI. Han representerar den gröna gruppen i utskottet för den inre marknaden och konsumentskydd i frågorna om civilrättsligt och straffrättsligt ansvar vid användning av AI och myndigheters användning av AI vid brottsutredningar.
För den som vill kommentera kommissionens förslag är deadline 19 maj.
Läs mer om parlamentets resolution och kommissionens strategi på Marcel Kolajas blogg. Följ Marcel Kolaja på Twitter eller Mastodon.