Verdieping · meten

Waardemeting als AI er al is

Elke AI-factuur toont wat het kost. Bijna niemand meet wat het oplevert. En als je medewerkers al AI gebruiken, bestaat “vóór AI” niet meer als vergelijkingspunt. Zo meet je toch, en zo breng je het zonder dat het als controle voelt.

Het probleem

De factuur meet de verkeerde kant

Tokens, licenties, gebruikers: dat zie je op elke factuur. Wat die tokens opleverden, staat er niet op. Volgens de Work Trend Index 2024 van Microsoft en LinkedIn maakt 59% van de leidinggevenden zich zorgen over hoe ze de productiviteitswinst van AI moeten kwantificeren. Een AI-project zonder waardemeter sneuvelt bij de eerste besparingsronde, hoe goed het ook werkt.

De oplossing is geen dashboard achteraf. Het is een meting die vóór de start ligt, met criteria die vooraf vastliggen.

Drie momenten

Vóór AI bestaat niet meer

Als er al schaduw-AI is, vergelijk je niet met een wereld zonder AI. Je werkt met drie momenten.

  • VroegerJe reconstrueert het door het aan de mensen te vragen: hoe lang duurde dit, hoeveel per week, hoe vaak ging het fout? Het geheugen is mild, dus leg het naast wat de systemen tonen, zoals doorlooptijden en volumes.
  • NuHet schaduwgebruik is je echte uitgangsmeting. Een anonieme enquête en een paar korte gesprekken tonen wie wat gebruikt, voor welke taken, met welke gegevens, en hoeveel tijd het scheelt. Klok daarnaast tien tot twintig taken met de hand.
  • StraksDezelfde meting, nu via de AI-poort. Het logboek levert gebruik en kost per taak; de systemen leveren doorlooptijd en volume.
De winst tegenover schaduw-AI is niet in de eerste plaats tijd. Die hebben de voorlopers al. De winst is het risico weg, zicht en sturing, en dezelfde tijdswinst voor iedereen.
Vier niveaus

De meetpunten

NiveauWat je meetVoorbeeld
SysteemKwaliteit en kost: hoe vaak is het antwoord juist, wat kost één taak?Vijftig tot honderd echte voorbeelden met het gewenste antwoord, wekelijks gescoord
GebruikWie gebruikt het, hoe vaak, en hoe is dat verdeeld?Doet 5% van de mensen 80% van het verbruik, dan heb je geen transformatie maar een paar enthousiastelingen
ProcesDoorlooptijd, handwerktijd, foutenlast, volume per persoonHandwerktijd per offerte: van 20 minuten naar 5 minuten controle
BedrijfsresultaatOmzet, marge, klanttevredenheid, vermeden risicoHoeveel extra offertes worden een opdracht?

Meet kost per behandelde taak, niet per maand. Een maandfactuur zegt niet of een taak rendeert; een kost per taak naast de tijdswinst per taak wel.

De valkuil

Activiteit is geen resultaat

Het aantal vragen aan een chatbot, het aantal actieve gebruikers, het aantal gegenereerde teksten: het zijn cijfers die goed ogen en weinig zeggen. Ze tellen beweging, geen waarde.

Een voorbeeld uit VediCore. Een agent die in VediCore zelfstandig naar nieuwe bouwprojecten zoekt, vond 281 nieuwe leads in de eerste helft van oktober, tegenover gemiddeld ongeveer 10 per maand vroeger. Dat oogt indrukwekkend, maar het is activiteit. De eerste lichting, in april, was kwalitatief nog ondermaats, en of de leads opdrachten worden, blijkt pas later. Pas dan is het een resultaat.

De handwerktijd per offerte is wel een resultaat op procesniveau: van 20 minuten werk naar 15 minuten zelfstandig werk van de agent en 5 minuten controle door een mens. Een kwart van de tijd.

Hoe je het brengt

Bewijs, geen controle

Een meting die als controle voelt, levert sociaal wenselijke cijfers op. Een meting wordt daarom gebracht als bewijs dat het werk tijd bespaart, niet als controle op wie traag is.

  • Meet per team, niet per persoonHet gaat om het proces. Dat houdt je ook weg van individuele monitoring, waar de privacyregels streng zijn.
  • Deel de resultaten met wie ze opleverdeWie ziet dat zijn tijdswinst telt, blijft meedoen.
  • Leg de criteria vooraf vastDoorgaan, bijsturen of stoppen wordt dan een rekensom, geen onderhandeling. Een gestopte proef met geleerde lessen is een succes; een proef die blijft zweven is dat niet.

Hoe dat in een grotere organisatie in een tijdlijn past, met de uitgangsmeting vóór de start en de go-beslissing na acht tot twaalf weken, staat in het plan van aanpak voor een grotere organisatie.

Verder lezen: schaduw-AI als business case ›

Contact

Vragen of reacties op de aanpak

Wie met deze aanpak aan de slag gaat en op een vraag stuit, of het ergens grondig mee oneens is: ik hoor het graag. Een methode wordt beter van tegenspraak.

dodeurs@gmail.com

of bel +32 478 544 682

Getting started Overview · VediCore as architecture · Designing for failure · Shadow AI · Measuring value · Why not fine-tune
In depth · measuring

Measuring value when AI is already there

Every AI invoice shows what it costs. Hardly anyone measures what it returns. And if your people already use AI, “before AI” no longer exists as a point of comparison. This is how you measure anyway, and how you present it without it feeling like control.

The problem

The invoice measures the wrong side

Tokens, licences, users: you see them on every invoice. What those tokens delivered is not on it. According to the 2024 Microsoft and LinkedIn Work Trend Index, 59% of leaders worry about quantifying the productivity gains of AI. An AI project without a value meter is cut in the first round of savings, however well it works.

The answer is not a dashboard after the fact. It is a measurement that is in place before the start, with criteria agreed in advance.

Three moments

“Before AI” no longer exists

Once shadow AI exists, you are not comparing with a world without AI. You work with three moments.

  • BeforeYou reconstruct it by asking people: how long did this take, how many a week, how often did it go wrong? Memory is kind, so put it next to what the systems show, such as lead times and volumes.
  • NowShadow use is your real baseline. An anonymous survey and a few short conversations show who uses what, for which tasks, with which data, and how much time it saves. Time ten to twenty tasks by hand as well.
  • NextThe same measurement, now through the AI gate. The log provides usage and cost per task; the systems provide lead time and volume.
The gain over shadow AI is not primarily time. The early adopters already have that. The gain is the risk removed, visibility and control, and the same time saving for everyone.
Four levels

The measurement points

LevelWhat you measureExample
SystemQuality and cost: how often is the answer right, what does one task cost?Fifty to a hundred real examples with the desired answer, scored weekly
UsageWho uses it, how often, and how is that distributed?If 5% of people account for 80% of usage, you do not have a transformation but a few enthusiasts
ProcessLead time, hands-on time, error load, volume per personHands-on time per quote: from 20 minutes to 5 minutes of checking
Business resultRevenue, margin, customer satisfaction, risk avoidedHow many extra quotes turn into contracts?

Measure cost per task handled, not per month. A monthly invoice does not tell you whether a task pays off; cost per task next to time saved per task does.

The trap

Activity is not a result

The number of questions put to a chatbot, the number of active users, the number of texts generated: figures that look good and say little. They count movement, not value.

An example from VediCore. An agent in VediCore that searches for new building projects on its own found 281 new leads in the first half of October, against an average of about 10 a month before. That looks impressive, but it is activity. The first batch, in April, was still below standard, and whether the leads turn into contracts only becomes clear later. Only then is it a result.

Hands-on time per quote is a result at process level: from 20 minutes of work to 15 minutes of the agent working on its own and 5 minutes of checking by a person. A quarter of the time.

How you present it

Proof, not control

A measurement that feels like control produces socially acceptable numbers. A measurement is therefore presented as proof that the work saves time, not as a check on who is slow.

  • Measure per team, not per personIt is about the process. That also keeps you away from individual monitoring, where the privacy rules are strict.
  • Share the results with those who produced themPeople who see that their time saving counts keep taking part.
  • Fix the criteria in advanceContinuing, adjusting or stopping then becomes arithmetic, not negotiation. A stopped pilot with lessons learned is a success; a pilot that keeps drifting is not.

How this fits into a timeline in a larger organisation, with the baseline before the start and the go decision after eight to twelve weeks, is set out in the plan for a larger organisation.

Read on: shadow AI as a business case ›

Contact

Questions or comments on the approach

If you put this approach to work and run into a question — or disagree with something — I would like to hear it. A method gets better through challenge.

dodeurs@gmail.com

or call +32 478 544 682