Kwaliteit aantoonbaar maken
"Een deel van onze software wordt door modellen geschreven. Hoe tonen we aan een auditor, een klant of onszelf aan dat het klopt."
Zo hoorden wij het van kwaliteitsverantwoordelijken die merken dat hun testaanpak het nieuwe deel niet dekt.
Zo werkt deze GripcheckWaarom het nu speelt
Toezichthouders en klanten vragen om bewijs, niet om vertrouwen.
Zolang kwaliteit een gevoel is dat bij ervaren mensen zit, valt er niets te laten zien op het moment dat iemand ernaar vraagt.
Wat er misgaat als je het laat liggen
Testen die alleen het voorspelbare deel raken.
Kwaliteit die van personen afhangt.
Geen spoor van wie wat beoordeeld heeft.
Discussie achteraf, zonder feiten om op terug te vallen.
Wat je overhoudt
Een pipeline die kwaliteit afdwingt en een dossier waarmee je het kunt laten zien.
Bewijs
Cases op dit thema
De Gripcheck
Zo werkt deze Gripcheck
In twee gesprekken en met de documenten die er al zijn volgen we de weg van een wijziging, van eis tot productie. Je krijgt een ketenkaart, een oordeel per thema en een verbeterplan in vaste volgorde: vastleggen wat kwaliteit hier betekent, guardrails in de pipeline zetten, output beoordelen die per keer verschilt en vastleggen wat beoordeeld is en door wie.
- IntakeEen vragenlijst van twintig minuten. We kiezen samen een of twee producten of teams, het liefst een waarin AI meedoet. Heb je een teststrategie, een definition of done, een overzicht van de controles in je pipeline of een recente testrapportage, dan stuur je die mee.
- Twee gesprekkenEen uur over definitie en verantwoording, met de opdrachtgever en wie verantwoordelijk is voor kwaliteit. Een uur over de praktijk, met de tech lead en de test lead. Daarin volgen we samen een recente wijziging door de keten.
- RapportAcht tot tien pagina's. De ketenkaart, tot waar het spoor van die wijziging te volgen was, per thema een oordeel en waar de beschrijving en de praktijk uit elkaar lopen.
- BesprekingWe lopen het rapport door met de opdrachtgever. De drie acties die het meeste opleveren staan voorop.
Wat we bekijken
Wat kwaliteit betekent
- Wanneer iets goed genoeg is, ook als de output per keer verschilt, en wie dat bepaalt.
- Welke risico's je bewust accepteert en welke nooit, en of de teststrategie daarvan uitgaat.
Controles en beoordeling
- Welke controles in de pipeline een wijziging tegenhouden en welke je kunt overslaan als het druk is.
- Welke guardrails bepalen wat een model of agent niet mag opleveren en of die getest worden.
- Hoe output die per keer verschilt wordt getoetst en wie code en tests van een agent beoordeelt.
Bewijs en eigenaarschap
- Of je voor een wijziging kunt laten zien wie wat beoordeeld heeft, waarop en met welke uitkomst.
- Of er per release een besluit ligt over kwaliteit en risico's.
- Of kwaliteit bij het team zit of bij een paar ervaren mensen.
Vraagt een auditor om bewijs, gelden een certificering, de AI Act of de CRA, of ontstaan de problemen in de data of in koppelingen met andere systemen, dan noemen we dat als aandachtspunt.
Goed om te weten
- Een senior quality engineer voert de Gripcheck uit.
- Van jouw kant kost het twintig minuten voor de intake, het verzamelen van wat er al is en twee gesprekken van een uur. Met een product kan het in een gesprek van anderhalf uur.
- We krijgen geen toegang tot je code, pipeline of omgevingen. Bij het volgen van de wijziging deel je zelf je scherm en laat je tickets, pull requests, pipelineruns en rapportages zien, geen code of klantdata. Wij maken geen opnames of screenshots en noteren rollen, geen namen.
- Het rapport zegt of er bewijs is en hoe sterk het is. Het is geen juridisch, audit- of compliance-oordeel. Spelen een audit, een certificering, de AI Act of de CRA, dan vragen we wie dat bij jou beoordeelt.
- We gebruiken zelf AI om de gesprekken voor te bereiden, de kaart te maken en het rapport op te stellen, alleen in tools met een verwerkersovereenkomst. De quality engineer controleert elke bevinding tegen de bron.
- Een gesprek nemen we alleen op met je toestemming. Opnames, aantekeningen en aangeleverde documenten verwijderen we direct na de bespreking of uiterlijk 30 dagen na het gesprek.
Eerste stap
Gripcheck: Kwaliteitsketen
Een beeld van wat er met een wijziging gebeurt van eis tot productie en welk bewijs er overblijft, plus een verbeterplan in stappen. Tegen vaste prijs, dus je weet vooraf wat het kost.