Nos bastidores: as estatísticas inflacionadas da Tesla e as demonstrações de competência de IA

Segunda de duas partes
Parte um

Enquanto os funcionários da Tesla assistiam a vídeos dos erros do FSD, o conselho de administração e o CEO da empresa intensificavam as suas afirmações sobre a segurança da tecnologia e a sua prontidão para a autonomia total. Durante grande parte do ano passado, os líderes da Tesla promoveram a afirmação de que o sistema era 10 vezes mais seguro.

"Um carro com FSD sendo 10 vezes mais seguro" vai impulsionar as vendas, disse o CFO da Tesla, Taneja, numa conferência de resultados em julho. "Mesmo a 99 dólares por mês, é como ter um chófer pessoal por pouco mais de 3,33 dólares por dia."

Um problema central na metodologia da Tesla decorre de um erro de comparação que inflacionou o nível de segurança alegado pela empresa por um fator de três. O fabricante contabilizou os acidentes da Tesla com acionamento de airbags e comparou-os com dados federais sobre todos os acidentes em que um reboque removeu um veículo — um critério muito menos restritivo. Os acidentes que requerem reboque muitas vezes não são suficientemente graves para acionar os airbags.

A Tesla adotou esta abordagem de comparar coisas incomparáveis mesmo quando dados equivalentes estavam disponíveis para comparação: os dados federais que utilizou incluíam acidentes com acionamento de airbags. Esta metodologia falha produziu a conclusão de que os Teslas que utilizam FSD ou Autopilot percorrem 10 vezes mais distância entre acidentes do que o condutor humano médio.

A comparação mais válida — utilizando acidentes com acionamento de airbags tanto nos Teslas como em todos os outros carros — conclui que os Teslas que utilizam os sistemas de assistência à condução percorrem cerca de três vezes mais distância entre acidentes com acionamento de airbags, de acordo com uma análise realizada para a Reuters por Marco Benedetti, investigador assistente no Instituto de Investigação de Transportes da Universidade de Michigan e ex-estatístico da NHTSA. Dois outros investigadores de segurança rodoviária verificaram os cálculos de Benedetti e concordaram com as conclusões.

Mas isso não significa que o FSD seja de facto três vezes mais seguro do que o condutor médio, disse Benedetti, devido a várias outras falhas na metodologia da Tesla.

A Tesla ajustou a sua abordagem em novembro para incluir apenas dados de veículos que utilizam FSD e excluir os que utilizam Autopilot. A inclusão do Autopilot tinha aumentado a distância alegada pela Tesla entre acidentes, porque é um sistema menos sofisticado destinado apenas a autoestradas — onde os carros acumulam mais quilómetros e têm acidentes com muito menos frequência do que nas ruas urbanas. A empresa, no entanto, continua a utilizar a comparação falha de acidentes com airbags no seu site para afirmar que o FSD é sete vezes mais seguro do que o condutor humano médio, ou cerca de 85% mais seguro expresso como variação percentual.

Várias outras medições falhas utilizadas pela Tesla lançam dúvidas sobre se o FSD é de facto mais seguro, concluiu a Reuters.

O fabricante, por exemplo, não considera a idade do veículo ao comparar a taxa de acidentes dos seus carros com a taxa nacional. A Tesla compara os seus veículos — com uma idade média de apenas 4,1 anos, de acordo com dados da S&P Global Mobility — com todos os veículos dos EUA, que têm uma idade média de 12,8 anos. Isso distorce os resultados, disseram 10 investigadores de segurança à Reuters, porque quase todos os fabricantes começaram mais recentemente a oferecer funcionalidades de segurança inovadoras, incluindo monitorização de ângulos mortos e travagem de emergência automática, em toda a sua gama.

A Tesla também reduz o seu registo de acidentes contabilizando apenas os sinistros que ocorrem com o FSD ativado ou nos cinco segundos após a desativação da funcionalidade. O governo dos EUA, em contrapartida, exige que os fabricantes reportem acidentes ocorridos nos 30 segundos após a desativação de um sistema avançado de assistência à condução.

A Tesla afirma que o FSD poderia salvar mais de 32 000 vidas e prevenir mais de 1,9 milhões de ferimentos anualmente. Alguns investigadores de segurança rodoviária classificaram esses números como sem sentido, pois baseiam-se na premissa irrealista de que todos os veículos dos EUA, incluindo camiões de carga e motociclos propensos a acidentes, seriam substituídos por um Tesla com FSD — e que cada Tesla é, de facto, pelo menos sete vezes mais seguro do que o veículo que substitui.

A abordagem mais rigorosa da Waymo

A premissa das estatísticas de segurança da Tesla é também falha porque o FSD não é um sistema verdadeiramente autónomo, disseram 10 investigadores de segurança rodoviária. A Tesla não está a comparar a sua tecnologia com condutores humanos, como os executivos afirmam. Em vez disso, o fabricante está a comparar o condutor humano médio com outro humano médio — um que conduz um Tesla com FSD. A Tesla também não tem em conta que estes condutores podem ativar e desativar o FSD — e a investigação mostra que os automobilistas frequentemente evitam utilizar sistemas avançados de assistência à condução em situações de trânsito complexas onde a tecnologia lhes parece insegura. Os próprios dados da Tesla mostram que o FSD é utilizado principalmente em autoestradas.

A Waymo, da Alphabet, em contrapartida, compara os seus robotáxis totalmente sem condutor, agora implantados em 11 áreas metropolitanas dos EUA, com veículos conduzidos por humanos em condições semelhantes.

A Waymo adota uma abordagem mais rigorosa do que a Tesla, analisando dados de acidentes nos mercados onde opera e ajustando em função dos tipos de estradas e bairros que os seus robotáxis percorrem. A Waymo centra-se em taxas de acidentes específicas — como as que envolvem acionamento de airbags ou ferimentos graves — tanto para os seus carros como para os carros conduzidos por humanos nos mesmos mercados.

"Temos de ser muito cuidadosos com a linguagem que usamos", disse John Scanlon, investigador de segurança da Waymo. "É necessário ter perguntas de investigação muito específicas e conclusões muito específicas."

A Waymo também aponta as limitações dos seus dados e colabora com investigadores externos para publicar as suas estatísticas de segurança em revistas científicas com revisão por pares. A Tesla, em contrapartida, não solicita qualquer revisão por pares e publica apenas afirmações estatísticas de segurança gerais, mantendo em sigilo os dados subjacentes de acidentes dos seus carros.

Vídeos de Teslas a atropelar cães, gatos e veados

Dentro da Tesla, os anotadores de dados têm uma visão sem filtros da segurança do FSD. Três ex-funcionários descreveram vários vídeos que mostram Teslas a não reconhecer animais e a embater neles a alta velocidade — sem travar.

Cinco ex-funcionários disseram que equipas específicas se focaram nos problemas do FSD em reconhecer autocarros escolares. Esta é uma preocupação levantada por um grupo de segurança tecnológica chamado Dawn Project, que exibiu anúncios durante o Super Bowl de 2023 e 2024 mostrando vídeos de Teslas com FSD ativado a não parar para autocarros com sinais de stop e luzes intermitentes.

Dois ex-funcionários disseram ter visto clips de vídeo semelhantes dentro da Tesla.

Cinco ex-anotadores de dados descreveram um ambiente de trabalho agitado e desarticulado, com prioridades que mudavam com base em diretivas de Musk e dos engenheiros de FSD. A unidade de anotação de dados debateu-se com uma rotatividade crónica devido ao trabalho monótono e aos salários geralmente baixos, disseram.

Os superiores da Tesla frequentemente lançavam novos projetos em reação a notícias ou publicações nas redes sociais que mostravam erros do FSD, disseram quatro ex-funcionários. Um descreveu um esforço para resolver como a luz solar poderia obscurecer as câmeras externas dos carros. Isso foi despoletado por um vídeo nas redes sociais que mostrava como a luz refletida no relógio de um passageiro cegava uma das câmeras, desativando o FSD. Outro esforço sobre passagens de nível ferroviárias seguiu-se a notícias sobre Teslas com FSD a não parar nessas passagens.

Os clips do FSD também mostravam regularmente excesso de velocidade, disseram cinco dos funcionários, o que os engenheiros e outros na cadeia hierárquica tratavam como um problema de baixa prioridade.

Um funcionário disse que os anotadores viram Teslas a exceder regularmente os limites de velocidade em 20 a 30 milhas por hora após o fabricante introduzir um modo FSD "Mad Max" que permitia uma condução mais agressiva. Outro anotador relatou ter visto um veículo pilotado pelo FSD a circular a 60 mph numa zona de 25 mph.

Apresentações públicas de robotáxi

Enquanto os funcionários da Tesla lutavam para treinar o FSD, Musk apresentou as capacidades de condução autónoma da Tesla em outubro de 2024, numa revelação exuberante de robotáxi no lote dos estúdios Warner Bros. perto de Los Angeles. A multidão, com acesso exclusivo por convite, aplaudiu enquanto Musk gesticulava para cerca de 20 protótipos do "Cybercab" de duas portas, sem volante nem pedais, a circular pelo estúdio.

"Os carros estão apenas a passar, sem ninguém", disse ele.

Musk afirmou que o software da Tesla foi concebido para funcionar em qualquer lugar, navegando em paisagens desconhecidas em tempo real. Mas durante as semanas anteriores ao evento do Cybercab, os funcionários testaram os protótipos todas as noites das 18:00 até ao amanhecer, recolhendo vídeo do percurso que os carros seguiriam no lançamento, de acordo com dois ex-funcionários de anotação de dados. Os anotadores passaram centenas de horas a anotar bermas e marcações de estrada no vídeo para evitar incidentes embaraçosos, disseram os funcionários.

A Waymo realiza este tipo de mapeamento em grande escala antes de lançar em cidades específicas — uma abordagem que Musk rejeitou repetidamente por considerar demasiado dispendiosa e lenta. Em 2024, Musk ridicularizou as "soluções muito localizadas" da Waymo por serem "bastante frágeis".

Após o evento da Warner Bros., Musk declarou numa conferência de resultados em janeiro de 2025 que a Tesla lançaria robotáxis em junho de 2025 em Austin. Apresentou a tecnologia como uma "solução de IA generalizada" que não exigia "mapas de alta precisão de uma localidade".

Durante meses antes do lançamento em Austin, no entanto, a Tesla filmou extensivamente elementos numa zona limitada de robotáxi para mapear a área, capturando semáforos, sinais de trânsito e outras características. Os anotadores de dados anotaram esse vídeo para garantir que o software conseguia lidar com cenários desafiantes, incluindo a recolha de passageiros e a resposta a veículos de emergência, de acordo com dois funcionários com conhecimento direto do assunto.

A equipa de anotação de dados do Utah, disseram três dos funcionários, duplicou no semestre anterior ao lançamento em Austin para cerca de 300 trabalhadores. O departamento, disseram, trabalhou principalmente em projetos para garantir que o teste cuidadosamente controlado em Austin corresse bem.

Enquanto os anotadores de dados da Tesla se preparavam para o lançamento, o software ainda era errático, disseram dois dos funcionários. Com cada atualização do FSD, alguns comportamentos de condução melhoravam. Outros pioravam. No escritório de Utah, dois grandes ecrãs exibiam estatísticas sobre as milhas entre intervenções do condutor no FSD — uma métrica chave de segurança para a condução autónoma.

"Subia e descia como o mercado de ações", sem melhoria consistente, disse um dos ex-funcionários.

Os veículos chegaram às ruas com dois conjuntos de monitores de segurança humanos disponíveis para assumir o controlo: um sentado no banco do passageiro da frente e outros a monitorizar remotamente. No Utah, os anotadores podiam ver nos vídeos quando os monitores remotos assumiam o controlo dos veículos. Um ex-funcionário disse que os percursos de Austin foram concebidos para uma área limitada para que o software dos carros pudesse ser treinado extensivamente em manobras específicas em ruas particulares.

"Foi como, 'OK, treinámos um carro'" para operar numa zona restrita, disse a pessoa. "Não se pode ser criativo fora disso."

Quatro das fontes disseram que expandir com segurança poderia levar anos. Em julho, um mês após o lançamento do robotáxi em Austin, Musk previu que o serviço se expandiria para servir metade da população dos EUA até ao final de 2025.

Em janeiro, Musk afirmou falsamente que a Tesla operava 500 "veículos robotáxi" em Austin e na Área da Baía de São Francisco, acrescentando que esperava que esse número "duplicasse todos os meses" numa "curva exponencial". Musk disse que a Tesla opera um "serviço de robotáxi" na Área da Baía quando, na realidade, apenas opera um serviço de transporte por contratação ao abrigo de uma licença estadual, normalmente utilizada por choferes, que exige um condutor humano.

Na realidade, quase um ano após o lançamento em Austin, a Tesla ainda opera apenas cerca de 50 robotáxis nessa cidade, de acordo com uma apresentação recente de diapositivos de funcionários municipais. Os veículos percorrem uma zona limitada e cuidadosamente mapeada, disseram três das fontes. Alguns ainda têm monitores de segurança humanos no banco do passageiro da frente, com base em observações recentes de um repórter da Reuters.

Em abril, a Tesla disse que estava a lançar robotáxis em Dallas e Houston, juntamente com mapas que mostram as áreas de serviço.

Repórteres da Reuters que testaram recentemente o serviço nas duas cidades encontraram longos tempos de espera e disponibilidade errática. Em três ocasiões em que um repórter conseguiu uma viagem em Dallas, o robotáxi não o deixou no seu destino no centro da cidade dentro da área de serviço anunciada pela Tesla.

Em cada uma das vezes, deixou-o a cerca de 15 minutos a pé. – Rappler.com