Di balik tirai: Statistik Tesla yang dilebih-lebihkan dan pamer kompetensi AI

Bagian kedua dari dua bagian
Bagian pertama

Saat karyawan Tesla menonton video kesalahan FSD, dewan perusahaan dan CEO semakin gencar mengklaim keamanan teknologi tersebut dan kesiapannya untuk otonomi penuh. Selama sebagian besar tahun lalu, para pemimpin Tesla mempromosikan klaim 10 kali lebih aman.

"Mobil dengan FSD yang 10x lebih aman" akan mendorong penjualan, kata CFO Tesla Taneja dalam panggilan pendapatan Juli. "Bahkan dengan $99 per bulan, itu seperti mendapatkan sopir pribadi dengan harga hampir $3,33 per hari."

Masalah utama dalam metodologi Tesla berasal dari satu kesalahan perbandingan yang menggelembungkan tingkat keamanan yang diklaim Tesla hingga tiga kali lipat. Produsen mobil itu menghitung kecelakaan Tesla dengan pengembangan airbag dan membandingkannya dengan data federal tentang semua kecelakaan di mana truk derek mengambil kendaraan — kriteria yang jauh lebih longgar. Kecelakaan yang membutuhkan truk derek sering kali tidak cukup parah untuk memicu airbag.

Tesla mengambil pendekatan apel-dan-jeruk ini meskipun apel tersedia untuk perbandingan: Data federal yang digunakannya mencakup kecelakaan di mana airbag mengembang. Metodologi yang cacat ini menghasilkan temuan bahwa Tesla yang menggunakan FSD atau Autopilot menempuh jarak 10 kali lebih jauh di antara kecelakaan dibandingkan pengemudi manusia rata-rata.

Perbandingan yang lebih valid — menggunakan kecelakaan yang melibatkan airbag untuk Tesla dan semua mobil lainnya — menemukan bahwa Tesla yang menggunakan sistem bantuan pengemudi menempuh jarak sekitar tiga kali lebih jauh di antara kecelakaan di mana airbag mengembang, menurut analisis yang dilakukan untuk Reuters oleh Marco Benedetti, ilmuwan peneliti asisten di University of Michigan Transportation Research Institute dan mantan ahli statistik NHTSA. Dua peneliti keselamatan lalu lintas lainnya memeriksa perhitungan Benedetti dan menyetujui temuan tersebut.

Namun itu tidak berarti FSD sebenarnya tiga kali lebih aman dari pengemudi rata-rata, kata Benedetti, karena beberapa kelemahan lain dalam metodologi Tesla.

Tesla mengubah pendekatannya pada November untuk hanya menyertakan data kendaraan yang menggunakan FSD dan mengecualikan yang menggunakan Autopilot. Memasukkan Autopilot telah meningkatkan klaim mil Tesla di antara kecelakaan karena ini adalah sistem yang kurang canggih yang hanya ditujukan untuk jalan tol — di mana mobil menempuh banyak mil dan jauh lebih jarang mengalami kecelakaan dibandingkan di jalan perkotaan. Namun perusahaan terus menggunakan perbandingan kecelakaan airbag yang cacat di situs webnya untuk mengklaim FSD tujuh kali lebih aman dari pengemudi manusia rata-rata, atau sekitar 85% lebih aman yang dinyatakan sebagai perubahan persentase.

Beberapa pengukuran cacat lain yang digunakan Tesla menimbulkan keraguan apakah FSD sebenarnya lebih aman sama sekali, temuan Reuters.

Produsen mobil itu, misalnya, tidak mempertimbangkan usia kendaraan saat membandingkan tingkat kecelakaan mobilnya dengan tingkat nasional. Tesla membandingkan kendaraannya — yang rata-rata berusia hanya 4,1 tahun, menurut data S&P Global Mobility — dengan semua kendaraan AS, yang memiliki rata-rata usia 12,8 tahun. Itu membiaskan hasilnya, 10 peneliti keselamatan mengatakan kepada Reuters, karena hampir semua produsen mobil baru-baru ini mulai menawarkan fitur keselamatan revolusioner, termasuk pemantauan titik buta dan pengereman darurat otomatis, di seluruh lini mereka.

Tesla juga mengurangi jumlah kecelakaannya dengan hanya menghitung kecelakaan yang terjadi baik saat FSD diaktifkan atau dalam lima detik setelah fitur dimatikan. Pemerintah AS, sebaliknya, mewajibkan produsen mobil untuk melaporkan kecelakaan yang terjadi dalam 30 detik setelah sistem bantuan pengemudi canggih dinonaktifkan.

Tesla mengatakan FSD dapat menyelamatkan lebih dari 32.000 jiwa dan mencegah lebih dari 1,9 juta cedera setiap tahun. Beberapa peneliti keselamatan lalu lintas menyebut angka-angka tersebut tidak berarti karena didasarkan pada asumsi tidak realistis bahwa setiap kendaraan AS, termasuk truk barang dan sepeda motor yang rawan kecelakaan, akan digantikan oleh mobil Tesla berkemampuan FSD — dan bahwa setiap mobil Tesla setidaknya tujuh kali lebih aman dari yang digantikannya.

Pendekatan Waymo yang lebih ketat

Premis statistik keselamatan Tesla juga cacat karena FSD bukan sistem otonom yang sesungguhnya, kata 10 peneliti keselamatan lalu lintas. Tesla tidak membandingkan teknologinya dengan pengemudi manusia, seperti yang dikatakan para eksekutif. Sebaliknya, produsen mobil itu membandingkan pengemudi manusia rata-rata dengan manusia rata-rata lainnya — yang mengemudikan Tesla menggunakan FSD. Tesla juga gagal mempertimbangkan bahwa pengemudi ini dapat mengaktifkan dan menonaktifkan FSD — dan penelitian menunjukkan pengendara sering menghindari penggunaan sistem bantuan pengemudi canggih dalam situasi lalu lintas yang rumit di mana teknologi tersebut terasa tidak aman bagi mereka. Data Tesla sendiri menunjukkan FSD sebagian besar digunakan di jalan tol.

Waymo milik Alphabet, sebaliknya, membandingkan robotaxi tanpa pengemudi penuhnya, yang kini beroperasi di 11 wilayah metropolitan AS, dengan kendaraan yang dikemudikan manusia dalam kondisi serupa.

Waymo mengambil pendekatan yang lebih ketat dari Tesla, memeriksa data kecelakaan di pasar tempat beroperasinya dan menyesuaikan dengan jenis jalan dan lingkungan yang dilalui robotaxinya. Waymo berfokus pada tingkat kecelakaan spesifik — seperti yang melibatkan pengembangan airbag atau cedera serius — baik untuk mobilnya maupun mobil yang dikemudikan manusia di pasar yang sama.

"Kita harus sangat berhati-hati dengan bahasa yang kita gunakan," kata John Scanlon, peneliti keselamatan Waymo. "Anda membutuhkan pertanyaan penelitian yang sangat spesifik dan kesimpulan yang sangat spesifik."

Waymo juga menunjukkan kekurangan dalam datanya dan berkolaborasi dengan peneliti luar untuk menerbitkan statistik keselamatannya di jurnal yang ditinjau oleh rekan sejawat. Tesla, sebaliknya, tidak mencari tinjauan sejawat dan hanya menerbitkan klaim keselamatan statistik tingkat atas sambil merahasiakan data kecelakaan mendasar untuk mobil Tesla.

Video Tesla menabrak anjing, kucing, dan rusa

Di dalam Tesla, pelabel data mendapatkan gambaran jujur tentang keselamatan FSD. Tiga mantan karyawan mendeskripsikan beberapa video yang menunjukkan Tesla gagal mengenali hewan dan menabraknya dengan kecepatan tinggi — tanpa mengerem.

Lima mantan karyawan mengatakan tim-tim tertentu berfokus pada masalah FSD dalam mengenali bus sekolah. Itu adalah kekhawatiran yang diangkat oleh kelompok keselamatan teknologi bernama Dawn Project, yang menayangkan iklan selama Super Bowl 2023 dan 2024 yang menampilkan video Tesla berkemampuan FSD yang gagal berhenti untuk bus dengan rambu berhenti dan lampu berkedip.

Dua mantan karyawan mengatakan mereka melihat klip video serupa di dalam Tesla.

Lima mantan pelabel data mendeskripsikan lingkungan kerja yang tergesa-gesa dan tidak teratur, dengan prioritas yang berubah berdasarkan arahan dari Musk dan insinyur FSD. Unit pelabelan data berjuang dengan pergantian karyawan yang kronis karena pekerjaan yang monoton dan gaji yang umumnya rendah, kata mereka.

Petinggi Tesla sering meluncurkan proyek baru sebagai reaksi terhadap laporan berita atau postingan media sosial yang menunjukkan FSD membuat kesalahan, kata empat mantan karyawan. Satu mendeskripsikan upaya untuk mengatasi bagaimana sinar matahari dapat mengaburkan kamera eksterior mobil. Itu dipicu oleh video media sosial yang menunjukkan bagaimana cahaya yang memantul dari jam tangan penumpang membutakan salah satu kamera, mematikan FSD. Upaya lain tentang perlintasan kereta api mengikuti laporan berita tentang Tesla yang dikemudikan FSD gagal berhenti di sana.

Klip FSD juga secara teratur menunjukkan kecepatan berlebih, kata lima karyawan tersebut, yang dianggap oleh insinyur dan orang lain di rantai komando sebagai masalah prioritas rendah.

Satu karyawan mengatakan para pelabel melihat Tesla secara teratur melebihi batas kecepatan 20 hingga 30 mil per jam setelah produsen mobil memperkenalkan mode FSD "Mad Max" yang memungkinkan mengemudi lebih agresif. Pelabel lain melaporkan melihat kendaraan yang dipiloti FSD melaju 60 mph di zona 25 mph.

Pameran robotaxi publik

Saat karyawan Tesla berjuang melatih FSD, Musk memamerkan kemampuan mengemudi mandiri Tesla pada Oktober 2024 dalam peluncuran robotaxi spektakuler di lot studio Warner Bros. dekat Los Angeles. Kerumunan hanya dengan undangan bersorak saat Musk menunjuk sekitar 20 prototipe "Cybercab" berpintu dua, yang tidak memiliki setir atau pedal, yang merayap di sekitar studio.

"Mobil-mobil itu hanya lewat, tanpa orang," katanya.

Musk telah mengatakan perangkat lunak Tesla dirancang untuk bekerja di mana saja, menavigasi lanskap yang tidak dikenal secara real time. Namun selama berminggu-minggu sebelum acara Cybercab, staf menguji prototipe setiap malam dari pukul 6 sore hingga fajar, mengumpulkan video rute yang akan diikuti mobil-mobil saat peluncuran, menurut dua mantan karyawan pelabelan data. Para pelabel menghabiskan ratusan jam untuk memberi anotasi pada trotoar dan marka jalan pada video untuk mencegah insiden memalukan, kata para karyawan tersebut.

Waymo melakukan pemetaan semacam itu dalam skala besar sebelum diluncurkan di kota-kota tertentu — pendekatan yang berulang kali ditolak Musk sebagai terlalu mahal dan lambat. Musk pada 2024 mengejek "solusi yang sangat terlokalisasi" dari Waymo sebagai "cukup rapuh."

Setelah acara Warner Bros., Musk menyatakan dalam panggilan pendapatan Januari 2025 bahwa Tesla akan meluncurkan robotaxi pada Juni 2025 di Austin. Ia membanggakan teknologi tersebut sebagai "solusi AI yang digeneralisasi" yang tidak memerlukan "peta presisi tinggi dari suatu lokalitas."

Namun selama berbulan-bulan sebelum peluncuran Austin, Tesla secara ekstensif merekam fitur-fitur di zona robotaxi terbatas untuk memetakan area tersebut, menangkap lampu lalu lintas, rambu jalan, dan fitur lainnya. Pelabel data memberi anotasi pada video tersebut untuk memastikan perangkat lunak dapat menangani skenario yang menantang, termasuk penjemputan penumpang dan merespons kendaraan darurat, menurut dua karyawan dengan pengetahuan langsung tentang masalah ini.

Staf pelabelan data di Utah, kata tiga karyawan tersebut, berlipat ganda dalam setengah tahun sebelum peluncuran Austin menjadi sekitar 300 pekerja. Departemen tersebut, kata mereka, terutama bekerja pada proyek-proyek untuk membuat uji coba Austin yang terkontrol dengan ketat berjalan lancar.

Saat pelabel data Tesla bersiap untuk peluncuran, perangkat lunaknya masih tidak stabil, kata dua karyawan tersebut. Dengan setiap pembaruan FSD, beberapa perilaku mengemudi membaik. Yang lain memburuk. Di kantor Utah, dua layar besar menampilkan statistik tentang mil di antara intervensi pengemudi untuk FSD — metrik keselamatan mengemudi otonom yang utama.

"Itu naik turun seperti pasar saham" tanpa peningkatan yang konsisten, kata salah satu mantan karyawan.

Kendaraan-kendaraan itu turun ke jalan dengan dua set pemantau keselamatan manusia yang siap mengambil kendali: satu duduk di kursi penumpang depan, dan yang lainnya memantau dari jarak jauh. Di Utah, para pelabel dapat melihat di video ketika pemantau jarak jauh mengambil alih kendaraan. Satu mantan karyawan mengatakan rute Austin dirancang untuk area terbatas sehingga perangkat lunak mobil dapat dilatih secara ekstensif pada manuver tertentu di jalan-jalan tertentu.

"Itu seperti, 'OK, kita melatih sebuah mobil'" untuk beroperasi di zona terbatas, kata orang tersebut. "Kamu tidak bisa berkreasi di luar itu."

Empat sumber mengatakan peningkatan skala secara aman bisa memakan waktu bertahun-tahun. Pada Juli, sebulan setelah peluncuran robotaxi Austin, Musk memprediksi layanan tersebut akan berkembang untuk melayani setengah populasi AS pada akhir 2025.

Pada Januari, Musk secara keliru mengklaim Tesla mengoperasikan 500 "kendaraan robotaxi" di Austin dan San Francisco Bay Area, menambahkan bahwa ia mengharapkan itu "berlipat ganda setiap bulan" dalam "kurva eksponensial." Musk telah mengatakan Tesla mengoperasikan "layanan robotaxi" di Bay Area padahal sebenarnya hanya mengoperasikan layanan ride-hailing di bawah izin negara bagian, biasanya digunakan oleh sopir, yang mengharuskan pengemudi manusia.

Pada kenyataannya, hampir setahun setelah peluncuran Austin, Tesla masih hanya mengoperasikan sekitar 50 robotaxi di sana, menurut presentasi slide terbaru oleh pejabat kota. Kendaraan-kendaraan tersebut melewati zona terbatas yang dipetakan dengan cermat, kata tiga sumber tersebut. Beberapa masih memiliki pemantau keselamatan manusia di kursi penumpang depan, berdasarkan pengamatan terbaru seorang reporter Reuters.

Pada April, Tesla mengatakan sedang meluncurkan robotaxi di Dallas dan Houston, disertai peta yang menunjukkan area yang dilayani.

Reporter Reuters yang baru-baru ini menguji layanan tersebut di kedua kota menemukan waktu tunggu yang lama dan ketersediaan yang tidak menentu. Dalam tiga kesempatan ketika seorang reporter berhasil mendapatkan tumpangan di Dallas, robotaxi tidak mengantar dia ke tujuannya di pusat kota dalam area layanan yang diiklankan Tesla.

Setiap kali, robotaxi itu menurunkannya sekitar 15 menit berjalan kaki. – Rappler.com