Förbjuden AI i EU – vilka system omfattas av AI-förordningen?

I vårt förra blogginlägg skrev vi om artificiell intelligens och dess enorma potential, men den bär också med sig risker. Vi har tidigare pratat om riskbaserade strategier, men nu ska vi gräva djupare i det som faktiskt är förbjudet. 

Det handlar om AI-system som bedöms ha en "oacceptabel risk" för människors rättigheter, säkerhet eller hälsa.

Varför förbjuds vissa AI-system enligt EU:s AI-förordning?

Grundprincipen är enkel: AI-system som bedöms vara ett tydligt hot mot grundläggande rättigheter, demokrati eller rättsstatsprincipen är förbjudna. Dessa system anses ha potential att orsaka så pass allvarlig skada att de inte kan tillåtas på den europeiska marknaden. Förbuden syftar till att:

• Skydda mänskliga rättigheter: Förhindra diskriminering, massövervakning och manipulation.
• Säkerställa demokratiska processer: Undvika otillbörlig påverkan på val eller medborgares engagemang.
• Upprätthålla rättsstatsprincipen: Se till att AI inte undergräver rättvisa och due diligence dvs. att utföra en grundlig och systematisk utredning eller granskning av information, fakta och risker innan man fattar ett viktigt beslut, ingår ett avtal, en transaktion eller påbörjar ett projekt. Målet är att få en så komplett bild som möjligt för att kunna fatta ett välgrundat och informerat beslut och därmed minimera riskerna.

Förbjuden AI enligt EU – exempel på “oacceptabel risk”

AI-förordningen listar specifika typer av AI-system som är strikt förbjudna inom EU. Här är några av de viktigaste:

• Social poängsättning (Social Scoring) av medborgare: Detta handlar om AI-system som bedömer eller klassificerar en persons pålitlighet utifrån deras sociala beteende eller personlighet. Ett välkänt exempel är system som liknar det som används i Kina, där medborgare får ett 'poängsystem' som påverkar deras möjlighet att få tillgång till tjänster, lån eller att resa. Den här typen av kontroll och diskriminering strider helt mot EU:s grundläggande värderingar.
  
  
• Manipulativa AI-system som kan orsaka skada: Förbudet gäller AI som använder subliminala tekniker (alltså tekniker som påverkar människor utan att de är medvetna om det) eller utnyttjar sårbarheter hos specifika grupper (t.ex. ålder, fysisk eller psykisk funktionsnedsättning) för att på ett materiellt skadligt sätt påverka deras beteende. Exempel kan vara AI som lurar barn att köpa något dyrt, eller system som utnyttjar en persons spelberoende.
  
  
• Biometriska identifieringssystem i realtid i offentliga utrymmen för brottsbekämpning: Detta handlar om att använda till exempel ansiktsigenkänning i realtid på offentliga platser för att identifiera personer. Sådan användning är som huvudregel förbjuden, eftersom den kan leda till massövervakning och innebär ett allvarligt intrång i privatlivet. Det finns vissa undantag, men de är mycket begränsade. Det betyder inte att all biometrisk identifiering är förbjuden – det är framför allt användning i realtid på offentliga platser för brottsbekämpning som omfattas av förbudet.
  
  
• Inhämtning av ansiktsbilder från internet eller CCTV-material för att bygga databaser för ansiktsigenkänning: Att "skrapa" (samla in) biometriska data, som ansiktsbilder, från offentligt tillgängliga källor (t.ex. sociala medier eller övervakningskameror) för att skapa stora databaser för ansiktsigenkänning är förbjudet. Syftet är att förhindra massiv och hemlig insamling av medborgares biometriska data (som är en känslig personuppgift).
  
  
• AI för prediktiv polisverksamhet baserad på profilering: Detta är AI-system som använder data om individer för att förutsäga brottsligt beteende, med undantag för att förutsäga en plats där ett brott är mer sannolikt att ske. Att en AI ska kunna bedöma att en specifik individ sannolikt kommer att begå ett brott är förbjudet, eftersom det leder till orättvis profilering och potentiell diskriminering.
  
  
• Känslomässiga igenkänningssystem på arbetsplatser och i utbildningsinstitutioner: AI som analyserar anställdas eller elevers känslor för att bedöma deras prestationer eller uppförande är förbjudet. Detta anses kränka integriteten och skapa en kontrollerande miljö.

Så undviker ni förbjuden AI i praktiken

I takt med att AI-lösningar blir alltmer integrerade i vardagliga system och tjänster, ökar risken för att förbjudna funktioner smyger sig in – ibland utan att man själv vet om det. Här är några steg för att minimera risken:

• Kartlägg användningen av AI i organisationen – inte bara system ni utvecklar, utan även verktyg ni köper in eller använder i molntjänster.
  
  
• Granska leverantörer och tredjepartssystem: Säkerställ att ni har tydliga garantier från era leverantörer att deras AI-system inte innehåller förbjudna komponenter.
  
  
• Ställ krav i upphandlingar och avtal: Lägg in villkor om att AI-system inte får innehålla förbjudna funktioner enligt AI-förordningen.
  
  
• Utbilda relevanta medarbetare i vad AI-förordningen innebär – särskilt vilka typer av AI som är förbjudna och varför.
  
  
• Dokumentera beslut och bedömningar: Om ni är osäkra på ett systems funktion, gör en strukturerad bedömning och dokumentera varför ni anser att det inte faller under förbudet.
  
  

Genom att arbeta proaktivt minskar ni inte bara risken för överträdelser och böter – ni stärker också förtroendet för er organisation både internt och externt.

Vad händer om du bryter mot AI-förbuden? Konsekvenser och böter

Att bryta mot dessa förbud är inte bara oetiskt, det är också extremt kostsamt. Böterna för att utveckla eller använda ett förbjudet AI-system kan uppgå till 35 miljoner euro eller 7% av ett företags globala årsomsättning, beroende på vilket belopp som är högst. Detta understryker hur allvarligt EU ser på dessa överträdelser.

Säker och etisk AI – därför sätter EU tydliga gränser

Förbuden är en hörnsten i EU:s strategi för att säkerställa att AI utvecklas och används på ett sätt som är mänskligt centrerat, etiskt och säkert. Genom att tydligt dra gränser för vad som är oacceptabelt säkrar vi en framtid där AI tjänar samhället istället för att hota det.

AI-förordningen skärper kraven – är ert dataskydd tillräckligt robust?

De nya förbuden visar tydligt hur viktigt det är med insyn, ansvar och kontroll – inte bara i AI-system, utan i all hantering av personuppgifter. För att leva upp till både nuvarande och framtida krav behövs ett genomtänkt och strukturerat dataskyddsarbete.

Med Privacy as a Service får ni stöd från våra jurister och dataskyddsexperter, verktyg för dokumentation och riskhantering, samt en tydlig arbetsmetod – Systematiskt Dataskyddsarbete (SDA). Tjänsten ger er trygghet i vardagen och stärker ert arbete med regelefterlevnad över tid.

Boka en demo.