Flere vil ta i bruk KI-agenter. Få vet hvordan de skal sikre dem

Annonsørinnhold fra 

De virkelig store KI-gevinstene kan komme når autonome agenter utfører hele arbeidsprosesser uten mennesker mellom hvert ledd. Men da må man først løse et sikkerhetsproblem som berører tilgang, datakvalitet og kontroll. 

– Det er paradokset: Effekten får du når du lar agentene bestemme og være autonome. Samtidig må du kunne kontrollere dem, sier Sigrun Hansen Bock, avdelingsdirektør for bank og forsikring i Vivicta. 

Hittil har KI handlet mye om verktøy som hjelper ansatte med å skrive, analysere, programmere og sammenstille informasjon.

Mange organisasjoner er på vei inn i en ny fase av KI-bruken, der flere KI-agenter samarbeider om å gjennomføre oppgaver, også når det krever egne beslutninger underveis. 

Det er her Hansen Bock mener de store økonomiske gevinstene ligger. Men mens noen virksomheter ønsker å ta KI i bruk på stadig flere områder, nøyer andre seg med interne eksperimenter av frykt for å miste kontrollen.

– Det er den største bremseklossen for å ta ut effekter av KI. Mange tør ikke, fordi de ikke vet hvilke sikkerhetsmekanismer de må sette på, sier hun.  

Omkostningene ved bruk av feil data i agentbaserte beslutninger tas inn i risikovurderingene. 

Når maskinene får friere tøyler  

Hansen Bock trekker en parallell til den industrielle revolusjonen. I starten gjorde maskinene enkeltoperasjoner mer effektive, men folk måtte fortsatt flytte arbeidet mellom dem. Først da fabrikkene ble innrettet for samlebåndsproduksjon, kunne man fjerne mye av det manuelle arbeidet. 

KI står overfor en lignende overgang: fra enkeltoppgaver til sammenhengende, automatiserte arbeidsprosesser med beslutninger som må tas underveis. Men når mennesker ikke lenger kontrollerer hver overlevering, oppstår nye utfordringer. 

– De har ingen samvittighet, ingen tanke om at «dette er dumt», sier Hansen Bock om KI-agentene. 

Se for deg tre agenter som utfører hver sin del av en oppgave. Den første får instruksjoner om hva den kan og ikke kan gjøre, og sender arbeidet videre. Men hvordan sikrer man at de rette begrensningene legges på hvert enkelt ledd? Og hva skjer hvis agentene blir uenige om prioriteringene? 

I en vanlig organisasjon finnes det rutiner for å løfte slike spørsmål til en ansvarlig leder. Hvordan tilsvarende konflikter skal håndteres mellom selvstendige KI-agenter, er noe virksomhetene må løse. 

– Hvem har overblikket? Hvor skal vi mennesker komme inn i bildet? Er vi i stand til å nøste opp i en prosess som har gått i flere ledd, for å finne svakheter som burde vært rettet opp underveis, spør Hansen Bock. 

Det avgjørende er at man må kunne forstå og følge det som skjer mellom agentene. Beslutningene må kunne spores. Og før agentene slippes løs, må det være klart hvor grensene for selvstendigheten går. 

Gamle sikkerhetsprinsipper på nye områder 

Hansen Bock mener mange av svarene finnes i etablerte sikkerhetsprinsipper: identitetshåndtering, tilgangsstyring, logging og sporing. 

– Det er Zero Trust som gjelder. Den du møter, er ikke den den utgir seg for å være før den har identifisert seg. 

Prinsippet innebærer at identitet og tilgang må verifiseres. Hansen Bock mener dette må innarbeides også for KI-agenter som kommuniserer og utfører oppgaver på vegne av hverandre. Konteksten som KI-agentene opererer i, må følge overleveringen i prosessene. 

– Agentene må identifisere seg, fortelle hva de ønsker å gjøre, og motta og kvittere for at de har forstått oppgaven. 

Når det gjelder tilgangsstyring, skal ikke en agent ha større tilgang til systemer og data enn oppgaven krever.

Hansen Bock viser til erfaringene fra flere tiår med styring og kontroll i store, komplekse IT-økosystemer. Vivicta arbeider med cybersikkerhet, KI og digitale plattformer, og med hvordan virksomheter kan beholde kontroll over data, teknologi og kritiske tjenester. 

Men det gjelder ikke bare å tilpasse sikkerhetsløsningene til å håndtere KI-agentenes autonomi. Man må også ha kontroll på hva agentene bruker som beslutningsgrunnlag. 

Konsekvensene av manglende datakontroll  

Marianne Kruse-Madsen, leder for cybersikkerhet i Vivicta Norge, peker på et velkjent problem innen informasjonsforvaltning: Virksomheter sitter på store mengder data, men mangler ofte tydelig klassifisering, eierskap og oversikt over hvem som skal ha tilgang. 

KI kan raskt sammenstille informasjon som tidligere måtte hentes manuelt fra flere forskjellige kilder. 

– Gjør du det selv, tar det tid. Du søker i ulike kilder og spør folk, og du finner kanskje ikke alt. Med KI plugger du det inn, og sekunder senere har du et resultat på skjermen. 

Da er det viktig å unngå at data gjøres tilgjengelig uten at det er tilsiktet. Kruse-Madsen advarer både mot at opplysninger havner på avveie, og mot at resultatene blir misvisende når datagrunnlaget ikke er godt nok. 

– Har du for eksempel mye av samme type informasjon, men med veldig små avvik, er det ikke sikkert at KI produserer det riktige svaret. 

Hvis én agent baserer seg på feilaktig eller ufullstendig informasjon, kan neste agent bygge videre på feilen. Når flere ledd automatiseres, blir det derfor avgjørende å vite hva dataene inneholder, hvem som eier dem og hvordan de kan brukes. 

Kruse-Madsen har erfart at mange tar i bruk nye verktøy før nødvendige kontrollrutiner er på plass. 

– Jeg har sett flere tilfeller i saker vi har jobbet med, der vi har måttet stoppe opp og gå et par steg tilbake fordi nødvendig styring ikke var på plass. 

Hun understreker at problemet ikke bare handler om informasjonssikkerhet. Det handler også om å kunne stole på resultatene, særlig når de brukes til å ta beslutninger. 

– Hvis noen av kundene våre begynner å bruke dataene de får ut som beslutningsunderlag, og det er tvil om at resultatet er 100 prosent korrekt, men man stoler blindt på det, da er det ganske farlig. 

KI kan også styrke sikkerhetsarbeidet 

Parallelt med at KI skaper nye sikkerhetsutfordringer, kan teknologien bidra til å håndtere dem. 

Et mulig bruksområde er automatisert sårbarhetshåndtering, der systemer ikke bare oppdager problemer, men også gjennomfører korrigerende tiltak, rapporterer og kommer med forbedringsforslag.

Dette ligger tett opp til sikkerhetsarbeidet Vivicta driver med.

Det illustrerer også en av utfordringene ved autonome prosesser: Et system som får lov til å utbedre en sårbarhet på egen hånd, må ha klare grenser for hvilke handlinger det kan gjennomføre. 

Nettopp slike avveininger er det virksomhetene må gjøre når de skal bestemme hvor mye ansvar KI-agentene skal få. 

Kontrollør, ikke dørvokter 

Hansen Bock mener det kan være fornuftig å la agentene utføre deler av en prosess helt autonomt, og legge inn kontrollpunkter der risikoen er størst. 

– For å løse dette må vi være veldig gode på å instruere agentene, samt teste og kvalitetssikre resultatene, sier hun. 

– Kontrollmekanismen kan ikke sitte på hver eneste funksjon. 

Både hun og Kruse-Madsen understreker at det må gjøres et grundig arbeid med informasjon, risiko og tilgangsstyring.

Samtidig advarer Hansen Bock mot å gjøre menneskelig kontroll til en hindring som bare flytter problemene andre steder. 

For å hente ut gevinstene fra KI må sikkerheten bygges inn i prosessene. Når KI-agentene får større ansvar, blir evnen til å beholde styring og handlingsfrihet en forutsetning for å kunne ha tillit til teknologien. 

– Du skal være kontrollør, men ikke dørvokter. Står du og sperrer for én dør, vil KI-agentene prøve å komme gjennom en annen.