Boem is ho: hoe één ongeval duizend robottaxi’s verlamt

‘End ride’. Die profetische boodschap staat op de knop in het plafond van de honderden Cruise-robottaxi’s die door de straten van San Francisco rijden. Reden, moet je zeggen. Want na een ernstig ongeval raakte Cruise zijn vergunning kwijt omdat de robottaxi’s volgens toezichthouder DMV niet veilig zijn.

Op 2 oktober raakte een voorbijganger bekneld onder een Cruise-auto op 5th Street. Zij was net aangereden door een ander voertuig – met bestuurder. De Cruise-auto reed over het slachtoffer heen, stopte bovenop haar en reed daarna in de richting van de stoep om de rijbaan vrij te maken. Het slachtoffer, schreeuwend van de pijn, werd meters meegesleurd en raakte nog veel ernstiger gewond.

De robottaxi dacht ten onrechte van de zijkant aangereden te zijn. Daarom maakte Cruise deze week bekend dat het al zijn auto’s, bijna duizend, terugroept vanwege deze ‘softwarefout’. Autofabrikant GM, de belangrijkste investeerder, heeft de productie van de voertuigen stilgezet. Eén ongeval kan het einde betekenen voor een bedrijf dat vorig kwartaal meer dan 700 miljoen dollar verlies leed. Robottaxi’s ontwikkelen vergt veel geld en veel geduld, bij Cruise hebben ze aan beide gebrek.

De robottaxi’s hadden net ruim baan gekregen: sinds augustus mochten zowel Cruise als Waymo, een spin-off van Google, hun onbemande wagenpark 24 uur per dag laten rondrijden en geld vragen voor ritten. De techbedrijven moeten nog veel verder uitbreiden , willen ze ooit wat verdienen met hun auto’s vol peperdure sensoren. Ook de besturing kost geld: al zit er niemand achter het stuur, de robottaxi’s worden op afstand scherp in de gaten gehouden door menselijke ‘operators’, beschermengelen met een joystick. Volgens The New York Times heeft Cruise per auto anderhalve werknemer in dienst om in te grijpen.

Deze operators hebben hun handen vol, merkte Dariu Gavrila, hoogleraar intelligente voertuigen aan de TU Delft. Hij maakte in mei een paar robotritten door San Francisco, met zowel Cruise als Waymo. Onderweg voelde hij zich veilig en hij was onder de indruk van de techniek. De robotstofzuiger kenden we al, maar dit is een historisch moment: „De taxi’s zijn de eerste robots die we op grote schaal in ons dagelijks leven tegenkomen.”

Waymo heeft de beste papieren als het gaat om veiligheidsrapportages en maakt relatief weinig brokken. Cruise lijkt nog niet zo ver te zijn. Tijdens Gavrila’s testrit moesten Cruise-medewerkers bijstand verlenen bij het in- en uitstappen. Bovendien reageerde de auto onverwacht op zwaailichten van nooddiensten. Bij een afslag naar links besloot de robottaxi toch maar drie keer een bocht naar rechts te maken – minder gevaarlijk en zo kom je er ook.

Move fast and verlies miljarden

Robottaxi’s kunnen zich geen ernstige fouten veroorloven. Dat is de les van Uber, de taxidienst die zelfrijdende auto’s trainde in Arizona, om chauffeurs te vervangen. Uber had haast, was slordig en staakte het project na een dodelijk ongeval in 2018. Ubers cowboyaanpak– move fast and break things – leidde tot een miljardenflop en dat lot hangt Cruise nu ook boven het hoofd. De hernieuwde scepsis over robottaxi’s straalt bovendien af op concurrenten als Waymo of Zoox, een stuurloze minibus uit de schoot van Amazon.

Onder de meeste omstandigheden veroorzaken robots minder ongelukken en verkeersdoden dan mensen. Het is alleen lastig om uitzonderlijke scenario’s in te schatten. Hoeveel trainingsdata je ook verzamelt, hoeveel testkilometers je ook rijdt: er zijn altijd onvoorziene gevallen, edge cases, waarin de software zal falen.

Dat roept volgens Gavrila een filosofische vraag op. Niet die klassieke ethische overweging – of de auto geprogrammeerd wordt om in noodgevallen een oud dametje of een kinderwagen te scheppen. Nee, het gaat om de vraag wanneer we de robottaxi op straat zullen accepteren. Als-ie, statistisch gezien, net zo veilig rijdt als de mens? Of moet de robottaxi tien keer veiliger zijn? Als je te veel inzoomt op zeer incidentele missers, verlies je de winst uit het oog van alle vermeden ongevallen.

Philip Koopman, een Amerikaanse expert in autoveiligheid en criticaster van AV’s (autonome voertuigen), is een weekje op vakantie maar neemt toch de telefoon op. Hij wil uit het hoofd best wel even voorrekenen waarom hij de aanpak van Cruise te agressief vindt ten opzichte van die van Waymo. Volgens Cruise zou de fout van 2 oktober zich gemiddeld ‘maar’ eens per 10 miljoen tot 100 miljoen mijl voordoen. „Maar stel, je hebt een vloot van tienduizend taxi’s die elke dag 200 mijl rijden, dan is dat statistisch gezien elke week.” Onacceptabel, vindt Koopman. „Best leuk dat je passagiers comfortabel van A naar B kunt brengen. Maar veiligheid gaat niet om de dagen waarop alles goed gaat. Het gaat juist om die ene slechte dag, en hoe vaak die voorkomt.”

Een blackbox met bumper

De blunder van Cruise zet aan tot denken. Een pauzeknop? In ieder geval een weloverwogen invoering van robottaxi’s, waarbij veiligheid steeds getoetst en gewaarborgd wordt, vindt Dariu Gavrila. De massale inzet van robottaxi’s heeft volgens hem nog beperkingen zolang ze geprogrammeerd worden met supervised learning: de trainingsdata leunt grotendeels op mensen die van tevoren de ‘objecten’ in het verkeer labelen. Alle denkbare voetgangers, fietsers auto’s, zebrapaden en verkeerslichten.

Als je kunstmatige intelligentie volledig de vrije teugels zou geven bij het beoordelen van data dan werkt dat beter dan wat mensen programmeren. Maar je creëert zo wel een blackbox op wielen die niet te begrijpen valt en zich niet achteraf laat corrigeren. Je kunt auto’s naast AI met een tweede, veel simpeler besturingssysteem uitrusten: basale software die ingrijpt zodra er toch een aanrijding dreigt. Als een bumper voor het geval de alwetende AI het toch niet meer weet.

De gestage invoering van zelfrijdende auto’s staat in schril contrast met de wilde AI-race die losbarstte sinds de introductie van ChatGPT. Iedereen en zijn moeder gebruikt nu kunstmatige intelligentie die zelf dingen verzint. Niemand kan inschatten wat de maatschappelijke consequenties daarvan zijn. Optimisten kirren van de pret bij elk kunstje dat hun AI-model leert, de critici tellen af voor Armageddon. Het zal wel ergens in het midden uitkomen.

Het ongeval met de Cruise-auto is een dankbare metafoor voor de manier waarop AI het dagelijks leven binnendendert. Hoe voorkomen we dat de technologie ons onbedoeld een kant opsleurt die we niet op willen? We kunnen leren van de robottaxi’s. Die moeten aan strenge voorwaarden voldoen: er zijn verkeersregels, vergunningen, toezichthouders met macht en medewerkers met godmode. Maar maak je brokken, dan eindigt de rit. Boem is ho.