Vi har en kedelig tendens til at tro på næsten alt, vi læser online, og den tendens er blevet forstærket med fremkomsten af generativ AI eller store sprogmodeller, om du vil. Men problemet er, at AI ikke er bedre end den data, de bygger deres svar på, og de data kan forurenes, hvilket kan give forkerte og farlige svar.
Vi snakker om dataforgiftning, der i bund og grund handler om at korrumpere de data, som AI-, og for den sags skyld også ML-, modeller bygger på. For at de kan fungere og blive bedre, kræver de data, der fortæller dem, hvordan verden er. Jo flere data AI kan trænes på, og jo mere alsidige de er, desto mere præcis bliver modellen. Derfor kræver en AI enorme mænger af data, når den skal trænes – ikke mindst i starten.
Det er så her, dataforgiftning kommer ind, for hvis datasættet ikke er bekræftet, er der risiko for et utroværdigt resultat. Hvis de cyberkriminelle får mulighed for at rode med da data, en AI-model baseres på, er der en stor risiko for, at den AI-model kan bruges til ondsindede formål – eller måske give svar, der viser sig at være decideret farlige.
Dataforgiftning – eller databaseforgiftning, som vi også kan kalde det – er blevet et meget udbredt våben for de cyberkriminelle, hvor de forsøger – og måske endda lykkes med – at ændre AI-modellens opførsel.
Det kan give enorme konsekvenser, der kan sprede sig ud til applikationer, underminere troværdighed og introducere systemiske risici for personer og organisationer.
Der er flere forskellige former for dataforgiftning, blandt andet:
- Datainjektion: Cyberkriminelle indsætter ondsindede datapunkter i træningsvideoerne for at få en AI-model til at ændre opførsel. Et godt eksempel er, når online-brugere ændrer Tay Twitter-botten til at lægge krænkende tweets op.
- Insider angreb: Et angreb, der fungerer som andre sikkerhedsangreb, der kommer på den ’rigtige side’ af firewall’en. Ofte ansatte, der misbruger deres adgang til at ændre en models træningssæt, et lille element ad gangen. En metode, der er specielt ondsindet, fordi den giver adgang til lovlige og følsomme data.
- Trigger injection: Her indsætter cyberbanditterne data i AI-modellens træningssæt og skaber en trigger – eller aftrækker. Det giver angriberne mulighed for at omgå modellens sikkerhed og manipulere dens output i visse situationer, bestemt af den indsatte aftrækker. Her er udfordringen at opdage det angreb, for at finde den trigger kan være meget vanskeligt. Ikke mindst fordi den kan ligge i dvale længe, inden den bliver aktiveret.
- Supply-chain-angreb: Denne type angreb kan være meget alvorlig. For AI-modellen bruger ofte tredjepart-komponenter, og ved at indføre sårbarheder i supply-chain-processen, kan de kriminelle kompromittere AI-modellens sikkerhed og gøre den sårbar over for at blive udnyttet.
Dataforgiftning er et stigende problem, som vi er nødt til at forholde os til, for i takt med, at AI bliver en stadig mere integreret del af virksomhedssystemer og mange løsninger til private, indsamler de stadig større mængder data. Selvom de ikke umiddelbart deler dem med andre, så er der en stor risiko for, at de data ender i de forkerte hænder eller misbruges, hvis AI’en kompromitteres af dataforgiftning.
Derfor er det vigtigt, at AI-udvikling sikres gennem løbende tjeks og audits for ikke at tale om et knivskarpt fokus på sikkerhed
