Blogg

Öruggt RAG: Hvernig gervigreind getur unnið með gögnin ykkar án þess að þau leki

Breytt 5 mín. lestur
Tveir menn ganga eftir skrifstofugangi

Ein algengasta óskin sem stjórnendur hafa varðandi gervigreind er einföld: að starfsfólk geti spurt spurninga og fengið svör byggð á gögnum fyrirtækisins. Handbókum, samningum, verklagsreglum, tilboðum og fundargerðum. Tæknin sem gerir þetta mögulegt kallast RAG, og hún er orðin aðgengileg fyrirtækjum af öllum stærðum.

En um leið og gervigreind fær aðgang að gögnum fyrirtækisins vakna eðlilegar spurningar. Hver sér hvað? Hvert fara gögnin? Og hvað gerist ef einhver reynir að misnota kerfið? Í þessari grein förum við yfir hvernig RAG virkar og hvað þarf til að það sé öruggt.

Hvað er RAG?

RAG stendur fyrir Retrieval-Augmented Generation, sem kalla má leitaraukna textagerð. Í stað þess að mállíkanið svari eingöngu út frá því sem það lærði í þjálfun er fyrst leitað í ykkar gögnum að þeim köflum sem eiga við spurninguna. Þeir eru síðan settir inn í fyrirmælin og líkanið svarar út frá þeim.

Ferlið er í grófum dráttum svona:

  • Skjöl eru brotin niður í búta og skráð í leitarhæfan gagnagrunn.
  • Þegar spurt er finnur kerfið þá búta sem best eiga við spurninguna.
  • Mállíkanið fær spurninguna og bútana og skrifar svar, helst með tilvísun í heimildirnar.

Kosturinn er augljós. Svörin byggja á ykkar gögnum, ekki almennri þekkingu af netinu, og hægt er að sjá hvaðan hvert svar kemur. Það þarf heldur ekki að endurþjálfa líkanið þegar gögnin breytast. Nóg er að uppfæra gagnagrunninn. Fleiri hugtök af þessu tagi eru útskýrð í orðasafninu okkar.

Hvar getur gagnaleki átt sér stað?

Áhættan í RAG-lausnum liggur sjaldnast í mállíkaninu sjálfu. Hún liggur í því hvernig farið er með gögnin í kringum það. Fjögur atriði skipta mestu máli.

Aðgangsstýring. Ef allt starfsfólk getur spurt kerfið um allt getur starfsmaður í móttöku fengið svör sem byggja á launagögnum eða trúnaðarsamningum. Kerfið verður að virða sömu aðgangsheimildir og gilda um skjölin sjálf. Þetta er einn algengasti veikleikinn og jafnframt einn sá auðveldasti að koma í veg fyrir, ef hugsað er fyrir honum frá byrjun.

Hvert gögnin fara. Þegar bútar úr skjölum eru sendir til mállíkans þarf að vera ljóst hvar líkanið keyrir, hvort gögnin eru geymd og hvort þau eru notuð til þjálfunar. Skilmálar eru mismunandi eftir þjónustum og útgáfum, og ókeypis útgáfa sömu þjónustu getur lotið öðrum reglum en fyrirtækjaútgáfa. Fáið svörin skriflega.

Fyrirmælainnspýting. Skjal, tölvupóstur eða vefsíða getur innihaldið falin fyrirmæli sem reyna að fá líkanið til að hunsa reglur eða birta upplýsingar sem það á ekki að birta. Þessi veikleiki, prompt injection, er efstur á lista OWASP yfir helstu öryggisáhættur í lausnum sem byggja á stórum mállíkönum. Á sama lista eru líka veikleikar sem tengjast vigurgagnagrunnum og innfellingum (e. embeddings), sem eru einmitt hjartað í RAG-lausnum.

Persónuupplýsingar. Ef gögnin innihalda persónuupplýsingar gilda lög nr. 90/2018 um persónuvernd og vinnslu persónuupplýsinga. Það þýðir meðal annars að vinnslan þarf að hafa skýran tilgang og heimild og að ekki má vinna með meiri upplýsingar en þörf er á.

Kerfið á aldrei að vita meira en sá sem spyr.

Gátlisti fyrir öruggt RAG

Farið yfir þessi atriði áður en kerfið er tekið í notkun, og aftur í hvert sinn sem nýjum gögnum er bætt við.

  1. Kortleggið gögnin áður en nokkuð er tengt. Hvað er viðkvæmt, hvað er úrelt og hvað á alls ekki heima í kerfinu?
  2. Látið kerfið erfa aðgangsheimildir skjalanna, þannig að hver notandi fái aðeins svör úr gögnum sem hann hefur þegar aðgang að.
  3. Veljið hvar líkanið keyrir og staðfestið skriflega hvernig gögn eru geymd, hvar og hvort þau eru notuð til þjálfunar.
  4. Fjarlægið persónuupplýsingar eða gerið þær ópersónugreinanlegar þar sem þeirra er ekki þörf.
  5. Látið svör alltaf vísa í heimildir svo notandinn geti sannreynt þau.
  6. Skráið spurningar og svör og farið reglulega yfir skráninguna.
  7. Prófið kerfið markvisst með tilraunum til fyrirmælainnspýtingar áður en það fer í notkun.
  8. Ákveðið hver ber ábyrgð á kerfinu og hvernig bregðast á við ef eitthvað fer úrskeiðis.

Hvernig vitið þið hvort svörin eru góð?

Öryggi snýst ekki aðeins um að halda gögnum innan réttra marka. Það snýst líka um að geta treyst því sem kerfið segir. RAG dregur verulega úr hættunni á uppspunnum svörum en útilokar hana ekki. Líkanið getur misskilið spurninguna, valið rangan bút eða dregið of víðtæka ályktun af réttum gögnum.

Setjið því saman lítið safn af raunverulegum spurningum úr daglegum rekstri sem þið vitið rétta svarið við. Keyrið þær í gegnum kerfið áður en það fer í notkun og í hvert sinn sem gögnum, líkani eða stillingum er breytt. Þannig sjáið þið strax ef gæðin versna.

Kennið líka starfsfólki að lesa heimildirnar. Svar með tilvísun er aðeins gagnlegt ef einhver smellir á tilvísunina þegar mikið liggur við.

Byrjið smátt og með réttu gögnin

Freistandi er að tengja allt drifið, allan tölvupóstinn og öll kerfin í einu. Það er líka öruggasta leiðin til að lenda í vandræðum. Byrjið á afmörkuðu safni, til dæmis verklagsreglum eða vöruupplýsingum, sem margir þurfa að fletta upp í og sem inniheldur ekki viðkvæm gögn.

Þannig fáið þið raunverulega reynslu af gæðum svaranna, sjáið hvernig starfsfólk notar kerfið og getið byggt upp traust áður en viðkvæmari gögn bætast við. Gæði svaranna ráðast líka af gæðum gagnanna. Úreltar útgáfur, tvítekin skjöl og óljósar skráningar skila sér beint í óljósum svörum, svo tiltekt í gögnunum er oft fyrsta og mikilvægasta skrefið.

Munið að öryggi er ekki eitthvað sem er bætt við í lokin. Aðgangsstýring, skráning og prófanir þurfa að vera hluti af hönnuninni frá fyrsta degi. Það er bæði ódýrara og öruggara en að reyna að loka götum eftir að kerfið er komið í notkun.

Næsta skref

Öruggur þekkingargrunnur er ein þeirra lausna sem við setjum upp í Innleiðingu gervigreindar: starfsfólk spyr gögn fyrirtækisins beint og fær svör með tilvísun í heimildir, innan þeirra aðgangsheimilda sem það hefur þegar.

Ef tækniteymið ykkar vill fyrst skilja tæknina betur förum við yfir RAG-lausnir, öryggi, uppbyggingu gagnagrunna og það sem getur farið úrskeiðis þegar notkun eykst hratt í erindinu Gervigreind í framkvæmd, sem er ætlað forriturum og tækniteymum.