Starten met AI Overzicht · VediCore als architectuur · Ontwerp voor het falen · Schaduw-AI · Waardemeting · Waarom niet fine-tunen
Verdieping · dataveiligheid

Ontwerp voor het falen

De vraag is niet of een AI-model ooit een fout maakt of misleid wordt. De vraag is wat er dan gebeurt. Een goed ontwerp gaat ervan uit dat het model faalt, en zorgt dat dat geen gevolgen heeft.

Het uitgangspunt

Een model is geen bewaker

Taalmodellen maken fouten, en ze zijn te misleiden. Een instructie kan verstopt zitten in een mail, een document of een webpagina die het model leest. Dat heet prompt-injectie, en het is geen kinderziekte die met een beter model verdwijnt: een model maakt geen hard onderscheid tussen de tekst die het moet verwerken en de opdracht die het moet uitvoeren.

Wie zijn beveiliging aan het model toevertrouwt, bouwt dus op het zwakste punt. Daarom ligt elke grens buiten het model, in gewone code die niet te overtuigen is. Dat is de AI-poort: dom, maar streng. Ze begrijpt de vraag niet; ze kijkt alleen of het mag.

Vertrouw nooit op het model voor je beveiliging. Een instructie in de prompt is een verzoek, geen slot. Zit een grens alleen in een prompt, dan is het geen grens.
Zes manieren waarop het misloopt

De rol van de AI-poort

Wat er mislooptZonder poortMet de AI-poort
Het model wordt misleid door tekst in een mail of documentHet voert de verstopte opdracht uitInhoud is data, geen instructie. Het model kan alleen voorstellen, en alleen binnen de rechten van de gebruiker
Iemand vraagt iets wat hij niet mag zienHet model weigert misschien, misschien ook nietDe poort geeft de gegevens niet vrij. Wat het model niet krijgt, kan het niet lekken
Het model verzint een cijferEen fout bedrag in een rapport of een offerteCijfers komen uit vaste, gecertificeerde berekeningen. Het model rekent niet zelf
Het model wil iets doen wat niet terug kanEen mail vertrekt, een factuur gaat buitenHet blijft een voorstel. Een mens bevestigt, en wat onomkeerbaar is, vraagt een bevestigingstoken
Het model wordt vervangen of krijgt een updateHet gedrag verandert, ongemerktDe grenzen hangen niet van het model af. Elk model gaat door dezelfde poort
Er gaat toch iets foutNiemand weet wat er gebeurdeHet logboek toont wie wat vroeg, welke gegevens er gebruikt zijn en wat het kostte
De schade beperken

Beperking van de mogelijke schade

Ontwerpen voor het falen betekent ook: de schade klein houden als er toch iets door de mazen glipt.

  • Niet meer rechten dan de gebruikerEen agent werkt als de aangemelde gebruiker, met precies diens rechten. Een agent met beheerdersrechten “omdat dat makkelijker is” is een open deur.
  • Een menu, geen vrije handAI kiest uit een vast menu van handelingen. Er is geen vrije databanktaal en geen achterdeur, ook niet voor de handige uitzondering.
  • Autonomie per taakEen taak begint met alleen voorstellen. Pas als de cijfers kloppen, krijgt ze meer ruimte, met een drempel, een maximum en een stopknop.
  • Doelbinding in de codeEen vraag die persoonsgegevens raakt, moet een doel opgeven, zoals facturatie of klachtbehandeling. Zo zit de GDPR-regel niet in een beleidsmap maar in de poort.

Hoe dit er in een draaiend bedrijfsplatform uitziet, lees je in VediCore als architectuur. De algemene uitwerking, met de drie klassen van controle, staat in de referentiearchitectuur.

Eerlijke grens

Wat de poort niet oplost

  • Een fout antwoord binnen toegelaten gegevensDe poort beslist wat het model mag zien, niet of het daar de juiste conclusie uit trekt. Daarom meet je de kwaliteit op echte voorbeelden.
  • Misbruik door wie wél toegang heeftWie iets mag zien, kan het ook misbruiken. Het logboek maakt het zichtbaar en natrekbaar, maar voorkomt het niet.
  • Gegevens zonder labelDe poort kan alleen afschermen wat geclassificeerd is. Een fileserver vol dossiers zonder label of met te ruime deelrechten moet eerst op orde. Dat is de 80% databeheer.
Voor je eigen organisatie

Drie toetsvragen

  • Als het model morgen gemanipuleerd wordt, wat kan het dan maximaal zien en doen?Het antwoord moet zijn: precies wat de gebruiker mag, en niets onomkeerbaars zonder mens.
  • Staat er ergens een grens alleen in een prompt?Dan is het geen grens. Verplaats ze naar code buiten het model.
  • Kun je achteraf natrekken op welke gegevens een antwoord steunde?Zo niet, dan kun je het niet verantwoorden, niet tegenover een klant en niet tegenover een toezichthouder.

Terug naar: klein beginnen, maar goed ›

Contact

Vragen of reacties op de aanpak

Wie met deze aanpak aan de slag gaat en op een vraag stuit, of het ergens grondig mee oneens is: ik hoor het graag. Een methode wordt beter van tegenspraak.

dodeurs@gmail.com

of bel +32 478 544 682

Getting started Overview · VediCore as architecture · Designing for failure · Shadow AI · Measuring value · Why not fine-tune
In depth · data security

Designing for failure

The question is not whether an AI model will ever make a mistake or be misled. The question is what happens when it does. A good design assumes the model will fail, and makes sure that has no consequences.

The starting point

A model is not a guard

Language models make mistakes, and they can be misled. An instruction can be hidden in an email, a document or a web page the model reads. That is called prompt injection, and it is not a teething problem that a better model will cure: a model draws no hard line between the text it has to process and the instruction it has to carry out.

Entrusting your security to the model means building on the weakest point. So every limit sits outside the model, in plain code that cannot be persuaded. That is the AI gate: dumb, but strict. It does not understand the question; it only checks whether it is allowed.

Never rely on the model for your security. An instruction in the prompt is a request, not a lock. If a limit sits only in a prompt, it is not a limit.
Six ways it goes wrong

The role of the AI gate

What goes wrongWithout a gateWith the AI gate
The model is misled by text in an email or documentIt carries out the hidden instructionContent is data, not instruction. The model can only propose, and only within the user's permissions
Someone asks for something they may not seeThe model might refuse, or might notThe gate does not release the data. What the model never gets, it cannot leak
The model makes up a numberA wrong amount in a report or a quoteFigures come from fixed, certified calculations. The model does not calculate itself
The model wants to do something irreversibleAn email goes out, an invoice is sentIt stays a proposal. A person confirms, and anything irreversible requires a confirmation token
The model is replaced or updatedBehaviour changes, unnoticedThe limits do not depend on the model. Every model goes through the same gate
Something goes wrong anywayNobody knows what happenedThe log shows who asked what, which data was used and what it cost
Limiting the damage

Limiting the possible damage

Designing for failure also means keeping the damage small if something slips through anyway.

  • No more permissions than the userAn agent works as the signed-in user, with exactly that user's permissions. An agent with admin rights “because it is easier” is an open door.
  • A menu, not a free handAI chooses from a fixed menu of actions. There is no free-form database language and no back door, not even for the convenient exception.
  • Autonomy per taskA task starts with proposals only. Only when the numbers add up does it get more room, with a threshold, a maximum and a stop button.
  • Purpose limitation in codeA request that touches personal data must state a purpose, such as invoicing or complaint handling. So the GDPR rule lives in the gate, not in a policy binder.

What this looks like in a running business platform is described in VediCore as architecture. The general design, with the three classes of control, is in the reference architecture.

An honest limit

What the gate does not solve

  • A wrong answer within permitted dataThe gate decides what the model may see, not whether it draws the right conclusion from it. That is why you measure quality on real examples.
  • Misuse by someone who does have accessWhoever may see something can also misuse it. The log makes it visible and traceable, but does not prevent it.
  • Data without a labelThe gate can only shield what has been classified. A file server full of unlabelled documents or overly broad sharing permissions has to be put in order first. That is the 80% data management.
For your own organisation

Three test questions

  • If the model is manipulated tomorrow, what is the most it can see and do?The answer should be: exactly what the user may, and nothing irreversible without a person.
  • Is there a limit anywhere that lives only in a prompt?Then it is not a limit. Move it into code outside the model.
  • Can you trace afterwards which data an answer rested on?If not, you cannot account for it, neither to a customer nor to a regulator.

Back to: start small, but start right ›

Contact

Questions or comments on the approach

If you put this approach to work and run into a question — or disagree with something — I would like to hear it. A method gets better through challenge.

dodeurs@gmail.com

or call +32 478 544 682