Trend Micro: Stora språkmodeller kan hota förtroendet för offentlig sektor

Stora språkmodeller kan ge olika svar på samma fråga beroende på geografi, språk och lokala begränsningar. Det visar en ny omfattande undersökning från cybersäkerhetsbolaget Trend Micro, som nu varnar för ökade risker när AI används inom offentlig sektor utan tillräcklig styrning och kontroll.

Samma prompt, olika svar

Trend Micros undersökning bygger på tusentals upprepade tester av närmare 100 olika AI-modeller. Resultaten visar att stora språkmodeller, LLM, inte beter sig som traditionell programvara. Samma indata leder inte alltid till samma utdata. I stället påverkas svaren av faktorer som region, språk, censurregler och krav på datasuveränitet.

Detta innebär att AI-system som används för kommunikation, beslutsstöd eller vägledning riskerar att leverera inkonsekvent eller föråldrad information, även när de används på korrekt sätt.

Särskilt känsligt för myndigheter

Konsekvenserna bedöms vara särskilt allvarliga inom offentlig sektor, där AI-genererade svar lätt kan uppfattas som officiella riktlinjer eller faktabesked. Felaktig eller motstridig information i politiskt känsliga eller regulatoriska sammanhang kan snabbt underminera allmänhetens tillit.

Martin Fribrock, Sverigechef på Trend Micro, pekar på att resultaten visar tydliga risker.

– Våra tester visar att AI-system kan återge inkonsekvent eller gammal information i politiskt känsliga, regulatoriska och medborgarorienterade scenarier. Det ökar risken att felaktig information presenteras och att förtroendet för företag och myndigheter urholkas när AI-resultatet tas för sant utan ordentlig verifiering, säger han.

AI kräver annan styrning än traditionell IT

Enligt Trend Micro är ett grundläggande problem att många organisationer betraktar AI som vanlig mjukvara.

– Många organisationer antar att AI fungerar som traditionell programvara, där samma indata ger samma utdata. Vår rapport visar att detta antagande inte stämmer, säger Martin Fribrock.

Han betonar att stora språkmodeller måste ses som ett högriskberoende system, där tydlig styrning, ansvarsfördelning och mänsklig verifiering är nödvändigt för all användarorienterad output.

Krav på transparens från leverantörer

Trend Micro framhåller även vikten av ökad transparens från AI-leverantörer. Organisationer behöver förstå hur modellerna är uppbyggda, vilka datakällor de baseras på och vilka begränsningar som gäller i olika regioner.

Utan denna insyn blir det svårt att säkerställa att AI-systemen används på ett ansvarsfullt och tillförlitligt sätt, särskilt i verksamheter där korrekt information är avgörande.

Innovation kräver kontroll

AI har stor potential att effektivisera och utveckla både privat och offentlig sektor. Men enligt Trend Micro förutsätter det att tekniken används med full förståelse för dess begränsningar.

Först när AI-system kombineras med kontinuerlig testning, tydliga regelverk och mänsklig kontroll kan de bidra till innovation utan att samtidigt riskera förtroende och rättssäkerhet.

FAQ – Trend Micros undersökning

Varför kan stora språkmodeller ge olika svar på samma fråga?

Stora språkmodeller påverkas av faktorer som språk, geografisk plats, lokala säkerhetspolicyer och datasuveränitet, vilket kan leda till olika utdata trots identiska promptar.

Varför är detta särskilt problematiskt för offentlig sektor?

Inom offentlig sektor kan AI-svar uppfattas som officiell information. Felaktiga eller inkonsekventa besked riskerar att underminera allmänhetens förtroende och skapa juridiska problem.

Räcker det inte att testa AI innan den tas i bruk?

Nej, enligt Trend Micro krävs kontinuerlig testning, övervakning och mänsklig verifiering eftersom AI-modeller kan förändra sitt beteende över tid och mellan olika miljöer.

Vad bör organisationer kräva av sina AI-leverantörer?

Organisationer bör kräva transparens kring hur modellerna fungerar, vilka data som används och vilka begränsningar som finns kopplade till region, språk och policyer.

Kan AI fortfarande användas säkert inom offentlig verksamhet?

Ja, men bara om den används med tydlig styrning, ansvarsfördelning och kontroller som speglar hur AI-system faktiskt beter sig i verkliga miljöer.

LÄSTIPS: Ordkrig på X mellan Elon Musk och Ryanairs vd eskalerar – hela händelseförloppet