Achter het gordijn: Tesla's opgeblazen statistieken en vertoon van AI-competentie

Tweede van twee delen
Deel één

Terwijl Tesla-medewerkers video's bekeken van FSD-fouten, schroefden het bestuur en de CEO hun beweringen over de veiligheid van de technologie en de gereedheid voor volledige autonomie op. Gedurende een groot deel van vorig jaar promoten Tesla-leiders de claim dat het tien keer veiliger is.

"Een auto met FSD die 10x veiliger is" zal de verkoop stimuleren, zei Tesla CFO Taneja tijdens een kwartaalgesprek in juli. "Zelfs voor $99 per maand is het alsof je een persoonlijke chauffeur krijgt voor bijna $3,33 per dag."

Een belangrijk probleem met de methodologie van Tesla vloeit voort uit een vergelijkingsfout die het door Tesla geclaimde veiligheidsniveau met een factor drie heeft opgeblazen. De autofabrikant telde Tesla-ongelukken met airbagactivering en vergeleek deze met federale gegevens over alle ongelukken waarbij een sleepwagen een voertuig verwijderde — een veel minder beperkend criterium. Ongelukken waarvoor sleepwagens nodig zijn, zijn vaak niet ernstig genoeg om airbags te activeren.

Tesla hanteerde deze appels-met-peren-aanpak, ook al waren appels gemakkelijk beschikbaar ter vergelijking: de federale gegevens die het gebruikte bevatten ook ongelukken waarbij airbags waren geactiveerd. Deze gebrekkige methodologie leverde de bevinding op dat Tesla's met FSD of Autopilot tien keer verder rijden tussen ongelukken dan de gemiddelde menselijke bestuurder.

De meer geldige vergelijking — waarbij airbagongelukken worden gebruikt voor Tesla's en alle andere auto's — stelt vast dat Tesla's die gebruikmaken van rijhulpsystemen ongeveer drie keer verder rijden tussen ongelukken waarbij airbags zijn geactiveerd, aldus een analyse uitgevoerd voor Reuters door Marco Benedetti, een assistent-onderzoekswetenschapper aan het Transportation Research Institute van de Universiteit van Michigan en voormalig NHTSA-statisticus. Twee andere verkeersveiligheidsonderzoekers hebben de berekeningen van Benedetti gecontroleerd en zijn het eens met de bevindingen.

Maar dat betekent niet dat FSD daadwerkelijk drie keer veiliger is dan de gemiddelde bestuurder, zei Benedetti, vanwege verschillende andere gebreken in de methodologie van Tesla.

Tesla paste zijn aanpak in november aan om alleen gegevens op te nemen voor voertuigen die FSD gebruiken en die met Autopilot uit te sluiten. Het opnemen van Autopilot had de door Tesla geclaimde kilometers tussen ongelukken verhoogd, omdat het een minder geavanceerd systeem is dat alleen bedoeld is voor snelwegen — waar auto's kilometers ophopen en veel minder vaak crashen dan op stadswegen. Het bedrijf blijft echter de gebrekkige airbag-ongelukkvergelijking op zijn website gebruiken om te beweren dat FSD zeven keer veiliger is dan de gemiddelde menselijke bestuurder, of ongeveer 85% veiliger uitgedrukt als een procentuele verandering.

Verschillende andere gebrekkige metingen die Tesla gebruikt, werpen twijfel op of FSD überhaupt veiliger is, ontdekte Reuters.

De autofabrikant houdt bijvoorbeeld geen rekening met de leeftijd van het voertuig bij het vergelijken van het ongelukkenpercentage van zijn auto's met het nationale percentage. Tesla vergelijkt zijn voertuigen — die gemiddeld slechts 4,1 jaar oud zijn, volgens gegevens van S&P Global Mobility — met alle Amerikaanse voertuigen, die een gemiddelde leeftijd hebben van 12,8 jaar. Dat vertekent de resultaten, vertelden 10 veiligheidsonderzoekers aan Reuters, omdat bijna alle autofabrikanten onlangs zijn begonnen met het aanbieden van baanbrekende veiligheidsfuncties, waaronder dode-hoekbewaking en automatisch noodremmen, in hun volledige modellengamma.

Tesla vermindert ook zijn ongelukkentelaling door alleen wrakken te tellen die plaatsvinden terwijl FSD is ingeschakeld of binnen vijf seconden nadat de functie is uitgeschakeld. De Amerikaanse overheid daarentegen verplicht autofabrikanten om ongelukken te melden die plaatsvinden binnen 30 seconden nadat een geavanceerd rijhulpsysteem is gedeactiveerd.

Tesla zegt dat FSD jaarlijks meer dan 32.000 levens kan redden en meer dan 1,9 miljoen verwondingen kan voorkomen. Sommige verkeersveiligheidsonderzoekers noemden die cijfers zinloos omdat ze zijn gebaseerd op de onrealistische aanname dat elk Amerikaans voertuig, inclusief vrachtwagens en ongeluksgevoelige motorfietsen, zou worden vervangen door een Tesla-auto met FSD — en dat elke Tesla-auto in feite minstens zeven keer veiliger is dan de auto die hij vervangt.

De strengere aanpak van Waymo

De premisse van Tesla's veiligheidsstatistieken is ook gebrekkig omdat FSD geen echt autonoom systeem is, zeiden 10 verkeersveiligheidsonderzoekers. Tesla vergelijkt zijn technologie niet met menselijke bestuurders, zoals leidinggevenden zeggen. In plaats daarvan vergelijkt de autofabrikant de gemiddelde menselijke bestuurder met een andere gemiddelde mens — iemand die een Tesla bestuurt met FSD. Tesla houdt er ook geen rekening mee dat deze bestuurders FSD aan en uit kunnen zetten — en onderzoek toont aan dat automobilisten geavanceerde rijhulpsystemen vaak vermijden in gecompliceerde verkeerssituaties waar de technologie voor hen onveilig aanvoelt. Tesla's eigen gegevens tonen aan dat FSD voornamelijk op snelwegen wordt gebruikt.

Alphabet's Waymo vergelijkt daarentegen zijn volledig bestuurderloze robotaxi's, die nu in 11 Amerikaanse stedelijke gebieden worden ingezet, met door mensen bestuurde voertuigen in vergelijkbare omstandigheden.

Waymo hanteert een strengere aanpak dan Tesla, onderzoekt ongelukkengegevens in markten waar het actief is en past aan voor de soorten wegen en buurten die zijn robotaxi's doorkruisen. Waymo richt zich op specifieke ongelukkenpercentages — zoals die met airbagactivering of ernstige verwondingen — voor zowel zijn auto's als door mensen bestuurde auto's in dezelfde markten.

"We moeten heel voorzichtig zijn met de taal die we gebruiken," zei John Scanlon, een veiligheidsonderzoeker van Waymo. "Je hebt heel specifieke onderzoeksvragen en heel specifieke conclusies nodig."

Waymo wijst ook op tekortkomingen in zijn gegevens en werkt samen met externe onderzoekers om zijn veiligheidsstatistieken te publiceren in peer-reviewed tijdschriften. Tesla daarentegen zoekt geen peer review en publiceert alleen topstatistische veiligheidsclaims terwijl het de onderliggende ongelukkengegevens voor Tesla-auto's geheimhoudt.

Video's van Tesla's die honden, katten en herten aanrijden

Binnen Tesla krijgen data-labelers een onverbloemd beeld van de FSD-veiligheid. Drie voormalige medewerkers beschreven verschillende video's waarop Tesla's dieren niet herkennen en ze op hoge snelheid aanrijden — zonder te remmen.

Vijf voormalige medewerkers zeiden dat specifieke teams zich richtten op de problemen van FSD bij het herkennen van schoolbussen. Dat is een zorg die werd geuit door een technologieveiligheidsgroep genaamd het Dawn Project, dat advertenties uitzond tijdens de Super Bowls van 2023 en 2024 met video's van FSD-gestuurde Tesla's die niet stoppen voor bussen met stopborden en knipperlichten.

Twee voormalige medewerkers zeiden soortgelijke videoclips te hebben gezien binnen Tesla.

Vijf voormalige data-labelers beschreven een gehaaste, onsamenhangige werkomgeving, waarbij prioriteiten verschoven op basis van instructies van Musk en FSD-ingenieurs. De data-labeleenheid worstelde met chronisch verloop vanwege het eentonige werk en de over het algemeen lage beloning, zeiden ze.

Tesla-leidinggevenden lanceerden vaak nieuwe projecten als reactie op nieuwsberichten of sociale-mediaposts die FSD-fouten toonden, zeiden vier voormalige medewerkers. Eén beschreef een poging om aan te pakken hoe zonlicht de buitencamera's van auto's kon verduisteren. Dat werd ingegeven door een sociale-mediavideo die liet zien hoe licht dat weerkaatste van het horloge van een passagier een van de camera's verblindde en FSD uitschakelde. Een andere poging met betrekking tot spoorwegovergangen volgde op nieuwsberichten over FSD-gestuurde Tesla's die er niet voor stoppen.

FSD-clips toonden ook regelmatig te hard rijden, zeiden vijf van de medewerkers, wat ingenieurs en anderen hoger in de hiërarchie behandelden als een probleem met lage prioriteit.

Een medewerker zei dat labelers zagen hoe Tesla's regelmatig snelheidslimieten met 20 tot 30 mijl per uur overschreden nadat de autofabrikant een FSD "Mad Max"-modus introduceerde die agressiever rijden mogelijk maakt. Een andere labeler meldde een FSD-bestuurd voertuig te hebben gezien dat 60 mph reed in een zone van 25 mph.

Publieke robotaxi-presentaties

Terwijl Tesla-medewerkers worstelden met het trainen van FSD, prees Musk Tesla's zelfrijdende mogelijkheden in oktober 2024 tijdens een spectaculaire robotaxi-onthulling op het Warner Bros.-studioterrein nabij Los Angeles. De uitgenodigde menigte juichte terwijl Musk gebaarde naar ongeveer 20 prototypes van de tweedeurs "Cybercab," die geen stuurwiel of pedalen heeft en over het terrein reed.

"De auto's rijden gewoon voorbij, zonder mensen," zei hij.

Musk heeft gezegd dat Tesla's software is ontworpen om overal te werken en in realtime onbekende landschappen te navigeren. Maar weken voorafgaand aan het Cybercab-evenement testte het personeel de prototypes elke avond van 18.00 uur tot zonsopgang, waarbij video werd verzameld van de route die de auto's bij de lancering zouden volgen, aldus twee voormalige data-labeling-medewerkers. Labelers besteedden honderden uren aan het annoteren van trottoirs en wegmarkeringen op de video om beschamende incidenten te voorkomen, zeiden de medewerkers.

Waymo voert dergelijke kartering op grote schaal uit voordat het in specifieke steden wordt gelanceerd — een aanpak die Musk herhaaldelijk heeft afgedaan als te kostbaar en te traag. Musk hekelde in 2024 Waymo's "zeer gelokaliseerde oplossingen" als "behoorlijk fragiel."

Na het Warner Bros.-evenement verklaarde Musk tijdens een kwartaalgesprek in januari 2025 dat Tesla in juni 2025 robotaxi's zou lanceren in Austin. Hij prees de technologie als een "gegeneraliseerde AI-oplossing" waarvoor geen "hoge-precisiekaarten van een locatie" nodig waren.

Maanden voor de lancering in Austin filmde Tesla echter uitgebreid kenmerken in een beperkte robotaxi-zone om het gebied in kaart te brengen, waarbij verkeerslichten, verkeersborden en andere kenmerken werden vastgelegd. Data-labelers annoteerden die video om ervoor te zorgen dat de software uitdagende scenario's aankon, waaronder het ophalen van passagiers en reageren op hulpvoertuigen, aldus twee medewerkers met directe kennis van de zaak.

Het data-labeling-personeel in Utah, zeiden drie van de medewerkers, verdubbelde in het halfjaar voor de lancering in Austin tot ongeveer 300 werknemers. De afdeling werkte, naar eigen zeggen, voornamelijk aan projecten om de zorgvuldig gecontroleerde Austin-test soepel te laten verlopen.

Terwijl Tesla-data-labelers zich voorbereidden op de uitrol, was de software nog steeds onregelmatig, zeiden twee van de medewerkers. Met elke FSD-update verbeterden sommige rijgedragingen. Andere verslechterden. Op het kantoor in Utah toonden twee grote schermen statistieken over kilometers tussen bestuurdersingrepen voor FSD — een belangrijke veiligheidsmaatstaf voor autonoom rijden.

"Het ging op en neer als de aandelenmarkt" zonder consistente verbetering, zei een van de voormalige medewerkers.

De voertuigen gingen de straat op met twee sets menselijke veiligheidsmonitoren die de controle konden overnemen: één zittend op de bijrijdersstoel en anderen die op afstand meekeken. In Utah konden labelers op video's zien wanneer de monitoren op afstand de voertuigen overnamen. Een voormalige medewerker zei dat de Austin-routes waren ontworpen voor een beperkt gebied zodat de software van de auto's uitgebreid getraind kon worden op specifieke manoeuvres op bepaalde straten.

"Het was zoiets als: 'Oké, we hebben een auto getraind'" om te rijden in een beperkte zone, zei de persoon. "Je kunt niet creatief zijn buiten dat."

Vier van de bronnen zeiden dat veilig opschalen jaren kan duren. In juli, een maand na de lancering van de robotaxi in Austin, voorspelde Musk dat de dienst tegen eind 2025 zou uitbreiden om de helft van de Amerikaanse bevolking te bedienen.

In januari beweerde Musk ten onrechte dat Tesla 500 "robotaxi-voertuigen" exploiteerde in Austin en de San Francisco Bay Area, en voegde eraan toe dat hij verwachtte dat dit "elke maand zou verdubbelen" op een "exponentiële curve." Musk heeft gezegd dat Tesla een "robotaxi-dienst" exploiteert in de Bay Area terwijl het in feite alleen een rijtaxidienst exploiteert onder een staatsvergunning, doorgaans gebruikt door chauffeurs, waarvoor een menselijke bestuurder vereist is.

In werkelijkheid exploiteert Tesla, bijna een jaar na de lancering in Austin, daar nog steeds slechts ongeveer 50 robotaxi's, aldus een recente diapresentatie van stadsfunctionarissen. De voertuigen doorkruisen een beperkte en zorgvuldig in kaart gebrachte zone, zeiden drie van de bronnen. Sommige hebben nog steeds menselijke veiligheidsmonitoren op de bijrijdersstoel, op basis van recente observaties van een Reuters-reporter.

In april zei Tesla dat het robotaxi's uitrolde in Dallas en Houston, samen met kaarten die de bediende gebieden tonen.

Reuters-reporters die de dienst recentelijk in beide steden testten, troffen lange wachttijden en onregelmatige beschikbaarheid aan. Bij drie gelegenheden waarbij een reporter erin slaagde een rit te krijgen in Dallas, bracht de robotaxi hem niet naar zijn bestemming in het stadscentrum binnen het geadverteerde servicegebied van Tesla.

Elke keer liet het hem achter op ongeveer 15 minuten lopen. – Rappler.com