För verksamheter som lyder under säkerhetsskyddslagen är möjligheten att använda AI inte i första hand en fråga om förtroende. Det är en fråga om kontroll.
För it-system i Försvarsmakten gäller de Krav på säkerhetsfunktioner (KSF) som militära underrättelse- och säkerhetstjänsten (MUST) tagit fram. KSF definierar vad ett system ska klara och hur man bevisar att det faktiskt gör det. Det är ett ramverk byggt på verifiering, inte på tillit. Samma grundläggande principer gäller när AI introduceras i säkerhetskänsliga miljöer.
Lita inte på modellen
Vi kan betrakta en AI-modell i sin kärna som en black box med stokastiskt beteende som aldrig fullt ut kan förutspås. Detta är en förutsättning och inte ett problem som ska lösas. Systemet runt modellen måste därför konstrueras för att begränsa skadan av ett felaktigt eller manipulerat utfall snarare än att bara försöka förhindra det.
Det handlar om att minimera påverkan, blast radius, vad är det värsta som kan hända om modellen beter sig fel, eller om AI-systemet blir komprometterat och hur begränsar vi konsekvenserna? Grundprincipen är att begränsa AI-systemet med säkerhetsfunktioner som ligger utanför systemets egen räckvidd.
Konkret innebär det att AI-systemet alltid utgör ett eget subjekt, med lägsta möjliga behörighet och utan direkt åtkomst till andra känsliga system eller datakällor utöver vad det specifika användningsfallet kräver. Resultat från modellen behandlas som opålitliga indata som passerar protokoll, format- och innehållsvalidering innan de påverkar något nedströms. Mänsklig granskning är ett arkitekturellt krav, inte en frivillig rutin.
Lita inte på infrastrukturen
Separation är en förutsättning i säkerhetskänsliga system. Fysisk isolering av infrastrukturen sker med luftgap. Godkända säkerhetsfunktioner övervakar och säkerställer systemets yttre gränsytor och informationsflöden.
Informationsklassning är inte en teknisk detalj utan ytterst en styrningsfråga som avgör vilket skydd informationen och därmed hela lösningen måste ha. Etablerade styrmodeller används för att tillse att säkerhetsfunktioner för behörighetskontroll, säkerhetsloggning och intrångsdetektering upprätthålls även i ett AI-system: vem har tillgång till information, vad utbyts eller lagras i systemet, och kan ett pågående missbruk av systemet upptäckas?
Spårbarhet av alla aktiviteter sker på applikationsnivå. Logghändelser ska vara skyddade mot manipulation och tillräckliga för att fastställa händelsekedjor och exponering även då AI-tjänster är inblandade.
Lita inte på utfallet
Även i en isolerad miljö måste en AI-modells beteende verifieras löpande och inte bara vid driftsättning. Detta innebär strukturerad testning mot kända scenarion, men också att identifiera hur en angripare kan manipulera modellen till att agera utanför sitt avsedda användningsområde. Prompt injection, där inmatad data försöker styra om modellens beteende, är ett konkret hot som kräver tekniska filter och processuella kontroller i hela kedjan från indata till modellsvar.
Riskhanteringen kring försörjning och verifiering av AI-modeller bör vara en integrerad del i verksamhetens säkerhetsskyddsarbete och inte behandlas som ett separat it-projekt.
Verifiera allt
Det räcker inte att säkerhetsfunktionerna finns. De måste verifieras. Det måste finnas dokumentation som visar att de är korrekt implementerade och faktiskt ger avsedd effekt. En tydlig kedja visar detta från säkerhetskrav till teknisk implementation: arkitektur och design, processer för utveckling och förvaltning, testresultat och kontroll över hela mjukvarukedjan för AI-lösningen, inklusive vilka modeller som används och hur uppdateringar hanteras på ett kontrollerat sätt i en isolerad miljö. Detta är vad som krävs för att uppnå assurans i praktiken.
