Dirk Odeurs · AI Transformation
Starten met AI Overzicht · VediCore als architectuur · Ontwerp voor het falen · Schaduw-AI · Waardemeting · Waarom niet fine-tunen
Verdieping · een keuze

Fine-tuning: wanneer niet, en wanneer wel

“Een eigen model trainen op de eigen documenten” klinkt als de serieuze weg. Meestal is het de dure omweg. Fine-tuning leert een model vooral vorm, geen feiten. En wat eenmaal in een model zit, kan geen enkele poort nog afschermen.

De trap

De ladder: alleen klimmen als het moet

AI slimmer maken voor jouw bedrijf gaat via een trap van drie treden. Elke trede vraagt meer onderhoud en bindt je meer dan de vorige, dus je klimt pas als de vorige echt tekortschiet.

  • Prompt engineeringGoede vaste instructies, met voorbeelden van hoe een goed antwoord eruitziet (few-shot). Die staan in de AI-poort, niet bij de gebruiker.
  • RAG (retrieval-augmented generation)AI zoekt eerst in je eigen kennis en antwoordt dan. De AI-poort beslist per vraag welke documenten de vrager mag zien.
  • Fine-tuningHet model zelf bijtrainen op je eigen voorbeelden. Het model verandert; de kennis zit daarna in het model.

In de praktijk lossen de eerste twee treden het overgrote deel van de vragen op. De derde trede is een uitzondering, geen eindpunt.

Wat fine-tuning doet

Stijl is geen kennis

Fine-tuning leert een model vooral hoe het moet antwoorden: de toon, de structuur, een vast formaat. Het leert veel slechter wat waar is. Feiten die je erin traint, komen er niet betrouwbaar uit: het model kan ze door elkaar halen, aanvullen of verzinnen, en het kan niet zeggen waar het iets vandaan heeft.

Neem de offertes van Vedinet. Een model dat op honderden oude offertes getraind wordt, leert hoe een Vedinet-offerte klinkt. Maar de feiten van een offerte wisselen per lead: de werf, de oppervlakte, de oplevering, de aannemer, de prijs. Die komen uit VediCore, op het moment van de vraag. Een bijgetraind model zou die feiten van gisteren onthouden en die van vandaag niet kennen.

De offertes zouden het model stijl leren, geen feiten. Die stijl komt er net zo goed met vaste instructies en een paar goede voorbeelden. De feiten haalt de AI-poort live op.
Het argument dat vaak vergeten wordt

Kennis in het model valt buiten de poort

Met RAG door een AI-poort krijgt elke vraag alleen de documenten die de vrager mag zien. Een verkoper ziet geen loondossiers, een projectleider geen dossiers van een andere juridische entiteit. Die grens ligt in gewone code, buiten het model.

Train je diezelfde documenten in een model, dan verdwijnt die grens. Wat het model geleerd heeft, kan in principe bij iedereen naar boven komen die het model gebruikt, ongeacht zijn rechten. Je kunt het model vragen om het niet te zeggen, maar dat is een verzoek, geen slot.

En er is de GDPR. Vraagt iemand om zijn gegevens te wissen, dan haal je een document uit een kennisbank met één handeling. Uit de gewichten van een model haal je het niet meer weg zonder opnieuw te trainen.

Verder lezen: dataveiligheid, ontwerp voor het falen ›

Wat het kost

Slimheid, wendbaarheid en onderhoud

  • Je bindt je aan één modelEen bijgetraind model hangt vast aan de versie waarop je het trainde. Komt er volgende maand een slimmer model uit, dan begin je opnieuw, of je blijft achter. De AI-poort is net gebouwd zodat AI inwisselbaar is; fine-tuning maakt het weer vast.
  • Verlies van slimheid en agentgedragWat van een agent gevraagd wordt, is meer dan schrijven: opzoeken, redeneren, gereedschap gebruiken, een voorstel klaarzetten. Die algemene vaardigheden komen uit het beste beschikbare model, niet uit een smal bijgetrainde variant.
  • OnderhoudVerandert een prijs, een sjabloon of een werkwijze, dan volstaat een aanpassing van een instructie of een kennisdocument en het werkt meteen. Met fine-tuning betekent elke wijziging een nieuwe trainingsronde, met nieuwe tests.

Je investering hoort in wat waarde houdt: je kennis, je regels en je definities. Niet in het onderdeel dat het snelst veroudert.

Eerlijke grens

Wanneer fine-tuning wél kan

Fine-tuning is niet verkeerd; het is een gereedschap voor een smal geval. Het kan zinvol zijn als alle volgende voorwaarden kloppen:

  • De taak is smal en stabielBijvoorbeeld inkomende documenten indelen in vaste categorieën, of altijd hetzelfde uitvoerformaat leveren.
  • Het volume is grootZo groot dat een kleiner, goedkoper of sneller model per oproep echt verschil maakt.
  • De eerste twee treden schieten aantoonbaar tekortGemeten op echte voorbeelden, niet aangevoeld.
  • Er zit geen kennis in die niet iedereen mag zienWant die grens kan na het trainen niemand meer bewaken.
Durven snoeien is ook een keuze. Wat niet gebouwd wordt, hoeft niet onderhouden, getest of verantwoord te worden.
Contact

Vragen of reacties op de aanpak

Wie met deze aanpak aan de slag gaat en op een vraag stuit, of het ergens grondig mee oneens is: ik hoor het graag. Een methode wordt beter van tegenspraak.

dodeurs@gmail.com

of bel +32 478 544 682

Getting started Overview · VediCore as architecture · Designing for failure · Shadow AI · Measuring value · Why not fine-tune
In depth · a choice

Fine-tuning: when not, and when

“Training an own model on the company's documents” sounds like the serious route. Usually it is the expensive detour. Fine-tuning mainly teaches a model form, not facts. And once something is inside a model, no gate can shield it any more.

The staircase

The ladder: climbing only when necessary

Making AI smarter for your business is a staircase with three steps. Each step demands more maintenance and ties you in more than the one before, so you only climb when the previous one genuinely falls short.

  • Prompt engineeringGood standing instructions, with examples of what a good answer looks like (few-shot). They live in the AI gate, not with the user.
  • RAG (retrieval-augmented generation)AI first searches your own knowledge, then answers. The AI gate decides per question which documents the person asking may see.
  • Fine-tuningRetraining the model itself on your own examples. The model changes; the knowledge then sits inside the model.

In practice, the first two steps solve the vast majority of questions. The third step is an exception, not a destination.

What fine-tuning does

Style is not knowledge

Fine-tuning mainly teaches a model how to answer: the tone, the structure, a fixed format. It is much worse at teaching what is true. Facts you train into it do not come out reliably: the model can mix them up, embellish them or make them up, and it cannot tell you where it got something from.

Take Vedinet's quotes. A model trained on hundreds of old quotes learns what a Vedinet quote sounds like. But the facts of a quote change with every lead: the site, the floor area, the handover date, the contractor, the price. Those come from VediCore, at the moment of the question. A fine-tuned model would remember yesterday's facts and not know today's.

The quotes would teach the model style, not facts. That style comes just as well from standing instructions and a few good examples. The AI gate fetches the facts live.
The argument that is often forgotten

Knowledge inside the model lies beyond the gate

With RAG through an AI gate, every question only gets the documents the person asking may see. A salesperson sees no payroll files, a project manager no files belonging to another legal entity. That limit lives in plain code, outside the model.

Train those same documents into a model and the limit disappears. What the model has learned can in principle surface for anyone who uses the model, whatever their permissions. You can ask the model not to say it, but that is a request, not a lock.

And then there is the GDPR. If someone asks for their data to be erased, you remove a document from a knowledge base in one action. You cannot remove it from a model's weights without retraining.

Read on: data security, designing for failure ›

What it costs

Intelligence, agility and maintenance

  • You tie yourself to one modelA fine-tuned model is stuck with the version you trained it on. When a smarter model comes out next month, you start again, or you fall behind. The AI gate exists precisely to make AI replaceable; fine-tuning locks it in again.
  • Loss of intelligence and agent behaviourWhat is asked of an agent is more than writing: looking things up, reasoning, using tools, preparing a proposal. Those general abilities come from the best available model, not from a narrowly retrained variant.
  • MaintenanceWhen a price, a template or a way of working changes, adjusting an instruction or a knowledge document is enough and it works straight away. With fine-tuning, every change means a new training round, with new tests.

Your investment belongs in what holds its value: your knowledge, your rules and your definitions. Not in the part that depreciates fastest.

An honest limit

When fine-tuning can make sense

Fine-tuning is not wrong; it is a tool for a narrow case. It can make sense when all of the following hold:

  • The task is narrow and stableFor example sorting incoming documents into fixed categories, or always delivering the same output format.
  • The volume is largeLarge enough that a smaller, cheaper or faster model per call makes a real difference.
  • The first two steps demonstrably fall shortMeasured on real examples, not by feel.
  • It contains no knowledge that not everyone may seeBecause once it is trained in, nobody can guard that limit any more.
Daring to cut is a choice too. What is not built does not have to be maintained, tested or accounted for.
Contact

Questions or comments on the approach

If you put this approach to work and run into a question — or disagree with something — I would like to hear it. A method gets better through challenge.

dodeurs@gmail.com

or call +32 478 544 682