In het lab: BI-vragen stellen aan een agent

Een stakeholder vraagt “hoeveel actieve klanten hebben we dit kwartaal?” en een consultant vertaalt dat naar een query en een grafiek. Het moeilijkste deel van dat werk is niet de SQL. Het is weten wat ‘actieve klant’ en ‘omzet’ in deze organisatie precies betekenen. Die termen staan zelden in het databaseschema en vrijwel altijd in het hoofd van de analist.

In het VX AI Lab onderzoeken we of een agent dat werk kan overnemen en vooral: onder welke voorwaarden.

De vraag

Levert een agent betere antwoorden als de definities schriftelijk zijn vastgelegd, dan wanneer hij het moet doen met het kale schema? Anders gezegd: zit de winst in een slimmer model, of in beter gedocumenteerde data?

Hoe we het testen

• Een synthetische dataset uit het consultancydomein, met bewust inconsistente gegevens. Zoals echte data dus.
• Vijftien vragen in drie niveaus: feitelijke vragen, vragen waar een bedrijfsregel achter zit en vragen die meerduidig of onbeantwoordbaar zijn.
• Twee ronden met dezelfde vragen. Eerst tegen het kale schema, daarna tegen dezelfde data met tabel- en kolomcommentaar en vastgelegde definities.
• Beoordeling per vraag door een tweede consultant: goed, plausibel maar fout, of terecht doorgevraagd.

Wat we verwachten

We gaan het experiment in met vier aannames die we willen toetsen:

1. De fouten zitten in de interpretatie, niet in de SQL.
2. De winst komt van vastgelegde definities, niet van een groter model.
3. Het derde niveau, de meerduidige vragen, is de echte test. Een goede agent vraagt daar door in plaats van te gokken.
4. “Plausibel maar fout” is de categorie die telt. Een antwoord dat er goed uitziet maar niet klopt, is gevaarlijker dan een foutmelding.

Waarom dit voor jou relevant is

Als de aannames kloppen, is de les voor datateams niet “koop een agent” maar “leg je definities vast”. Dat is werk dat je toch al zou moeten doen en het maakt je data bruikbaar voor mensen én modellen. Dit sluit direct aan op wat wij onder een dataplatform klaar maken voor AI verstaan.

Volgende stappen

De dataset en de vragen worden gepubliceerd, beide ronden worden gedraaid en de bevindingen zetten we om in een checklist voor datateams. De code staat op GitHub; de volledige experimentbeschrijving staat in het AI Lab.

Wil je met je eigen data meedoen aan de tweede ronde? Neem contact op.