Wat gebeurt er als een AI-systeem een fout maakt?

Elke actie die namens jullie naar buiten gaat of geld verplaatst, keurt iemand goed. Dat is geen instelling die je aan kunt zetten, het is hoe de route gebouwd wordt.

Het oordeel blijft daarmee bij jullie. Wat het systeem overneemt is het volume: lezen, opzoeken, overtypen, klaarzetten.

Bij de meeste routes is dat een keer een lijst van dertig regels doorkijken en er dertig keer op klikken, en niet dertig keer hetzelfde werk overdoen. Die poort maakt een fout ook goedkoop. Een verkeerd concept wegklikken kost seconden, een verkeerde mail bij een klant kost een gesprek en soms de klant.

Twijfelt het model over wat het ziet, dan zegt het dat, in plaats van een gok als antwoord te geven. Het geval gaat dan naar de stapel die iemand nakijkt, met de reden erbij.

Wat een model terugstuurt behandelen we bovendien als een voorstel en niet als een feit. Voordat het antwoord ergens landt, controleert de code of het de vorm heeft die is afgesproken: de velden die erin horen, een bedrag dat een bedrag is, een datum die bestaat. Klopt die vorm niet, dan stopt de route.

Een model dat het niet weet, klinkt precies zoals een model dat het wel weet. Zekerheid in de toon is dus geen signaal, en daarom zit de twijfel expliciet in de route.

Per run staat in het logboek wat er binnenkwam, welke stappen het systeem zette en wat eruit ging. Dat is wat een audit, een beheerder en een sceptische collega alle drie nodig hebben.

Omdat het systeem zijn eigen identiteit draagt, staat er in jullie eigen logboeken bij elke handeling een naam: het systeem of een collega.

Systemen worden gebouwd met fallbacks, zodat een storing netjes degradeert in plaats van jullie operatie stil te leggen. Een storing hoort een bericht te zijn dat zegt dat het vandaag even met de hand moet.

Wij houden de code draaiend, bieden doorlopende monitoring en onderhoud, en reageren binnen een werkdag. Bugs fixen we zonder rekening.