Autopilot Tesla eindelijk zelfrijdend waard? Musk testte het zelf uit....

[brother paul]

Oorspronkelijk geplaatst door Micele

fyi

Tesla heeft momenteel hardware 4, de volgende stap is AI5 of hardware 5 en zal tot ~5-maal meer rekenkracht hebben dan de huidige HW4.
HW5 zal 2026 komen.

Enkele details: https://www.pcauto.com/my/news/tesla...-in-2026-16155

Elon Musk claimt zelfs tot 10-maal meer rekenkracht dan HW4

Het verbruik zal natuurlijk navenant stijgen tot 800 Watt, meld deze link 1 jaar geleden:


Vergelijk met de sterkste GPU's:

En hoe ga je via een update op uw oude Tesla3 van 10 jaar terug een update krijgen van uw rekenkracht ?
Zie dat is precies waar ik op doel, ik ken geen enkele autocontstructeur die gaat beweren dat de auto kan upgegrade worden naar autonoom rijden terwijl de hardware hopeloos verouderd is na 3 tot 5 jaar en dat onmogelijk aankan

Ik ben redelijk zeker om veilig FSD te doen heb je bij voorkeur een lidar nodig en minimaal een paar goeie langeafstandsradars die 100m vooruit kijken, en een stevige rekenprocessor van nvidia en zolang je geen Lidar of radar hebt geinstalleerd weet ik niet hoe je die vloot autos die heden allemaal gewoon met camera rijde gaat upgraden naar een 3d inzicht of een robuust zicht op de weg voor u en naast u zonder goeie afstandsmeting te doen. Camera functie zit trouwens bij allemaal aanwezig want ze gebruiken die voor snelheidsborden te lezen, lijnen te herkennen om u op het wegdek te sturen, en parkeermode te sturen. Camera is trouwens een van de goedkoopste sensoren die je kunt kopen , dus iedereen gebruikt camera visie. Maar idd ik ken maar een die het gebruikt om ACC ermee te doen, met nadelen zoals verblind door de zon of mist of regenbui of sneeuw

[hamac]

Oorspronkelijk geplaatst door brother paul

En hoe ga je via een update op uw oude Tesla3 van 10 jaar terug een update krijgen van uw rekenkracht ?
Zie dat is precies waar ik op doel, ik ken geen enkele autocontstructeur die gaat beweren dat de auto kan upgegrade worden naar autonoom rijden terwijl de hardware hopeloos verouderd is na 3 tot 5 jaar en dat onmogelijk aankan

Ik ben redelijk zeker om veilig FSD te doen heb je bij voorkeur een lidar nodig en minimaal een paar goeie langeafstandsradars die 100m vooruit kijken, en een stevige rekenprocessor van nvidia en zolang je geen Lidar of radar hebt geinstalleerd weet ik niet hoe je die vloot autos die heden allemaal gewoon met camera rijde gaat upgraden naar een 3d inzicht of een robuust zicht op de weg voor u en naast u zonder goeie afstandsmeting te doen. Camera functie zit trouwens bij allemaal aanwezig want ze gebruiken die voor snelheidsborden te lezen, lijnen te herkennen om u op het wegdek te sturen, en parkeermode te sturen. Camera is trouwens een van de goedkoopste sensoren die je kunt kopen , dus iedereen gebruikt camera visie. Maar idd ik ken maar een die het gebruikt om ACC ermee te doen, met nadelen zoals verblind door de zon of mist of regenbui of sneeuw

Het wordt één grote liability voor Tesla.
En voor zij die denken dat Tesla enkel gebonden is aan de kleine lettertjes in de verkoopsovereenkomst, er is ook de GAAP code ASC 606-10-25-16:

"A contract with a customer generally explicitly states the goods or services that an entity promises to transfer to a customer. However, the promised goods or services identified in a contract with a customer may not be limited to the goods or services that are explicitly stated in the contract.
This is because a contract with a customer also may include promises that are implied by an entity’s customary business practices, published policies, or specific statements if, at the time of entering into the contract, those promises create a reasonable expectation of the customer that the entity will transfer a good or service to the customer."

Als we daar alle tweets, presentaties, claims, ... van Musk naast leggen...dan kunnen we toch besluiten dat ze heel wat impact hebben gehad op de verwachtingen van zij die een Tesla kochten (en FSD).

[Micele]

Oorspronkelijk geplaatst door brother paul

En hoe ga je via een update op uw oude Tesla3 van 10 jaar terug een update krijgen van uw rekenkracht ?

Tesla 3 is pas 2019 in Europa aangekomen. 10 jaar? je bedoelt dan Tesla model S, toen was er nog geen FSD-mogelijkheid, die kwam vanaf 2016.

Een update krijg door ook de hardware te laten aanpassen dus een UPGRADE. Daar zijn YT-filmpjes van.

De eerste Tesla model 3 van 2018 (USA) hadden Hardware 2,5, in maart 2019 kwam HW3, momenteel is het HW4. Die zou voldoende moeten zijn voor FSD Level 3.

Dat hangt dus van de hardware-versie af, en waarvoor je betaald hebt.
Ook via wikipedia kun je alles lezen:
https://en.wikipedia.org/wiki/Tesla_Autopilot

Zie dat is precies waar ik op doel, ik ken geen enkele autocontstructeur die gaat beweren dat de auto kan upgegrade worden naar autonoom rijden terwijl de hardware hopeloos verouderd is na 3 tot 5 jaar en dat onmogelijk aankan

Klopt, maar Tesla wil dat wel doen. Ken jij Tesla niet?

Dus ook de hardware kan aangepast worden, bij Tesla toch (retrofit naar nodige HW4). En wie voor FSD betaald heeft zal dat ook in principe gratis krijgen.
https://www.notateslaapp.com/news/27...hat-to-expect#
Niet aanklikken en zeker niet lezen hé.

Ik ben redelijk zeker om veilig FSD te doen heb je bij voorkeur een lidar nodig en minimaal een paar goeie langeafstandsradars die 100m vooruit kijken, en een stevige rekenprocessor van nvidia en zolang je geen Lidar of radar hebt geinstalleerd weet ik niet hoe je die vloot autos die heden allemaal gewoon met camera rijde gaat upgraden naar een 3d inzicht of een robuust zicht op de weg voor u en naast u zonder goeie afstandsmeting te doen. Camera functie zit trouwens bij allemaal aanwezig want ze gebruiken die voor snelheidsborden te lezen, lijnen te herkennen om u op het wegdek te sturen, en parkeermode te sturen. Camera is trouwens een van de goedkoopste sensoren die je kunt kopen , dus iedereen gebruikt camera visie. Maar idd ik ken maar een die het gebruikt om ACC ermee te doen, met nadelen zoals verblind door de zon of mist of regenbui of sneeuw

Als je aan de uitleg en de links geen geloof hecht moet je het zelf weten.

Toyota maakte in 2022 bekend dat vision only de toekomst is:

https://www.autoweek.nl/autonieuws/a...tonoom-rijden/

Toyota volgt aanpak Tesla met autonoom rijden

Op basis van camera's

7 april 2022 om 11:53

Toyota werkt via zijn dochteronderneming Woven Planet aan het autonoom rijden via camera's. Dat zegt Woven Planet tegen persbureau Reuters. Hiermee wil de autofabrikant de technologie achter zelfrijdende auto's goedkoper maken. Toyota is niet het eerste merk dat op deze manier aan de slag gaat met autonoom rijden.

Woven Planet is voor Toyota wat Cruise is voor General Motors: een dochteronderneming met start-up achtige trekjes die zich bezig houdt met de ontwikkeling van allerlei nieuwe technologieën, waaronder dus autonoom rijden. Op dat vlak is Woven Planet nu bezig met het implementeren van een camerasysteem dat data over verschillende verkeerssituaties en wegen verzamelt. Autonome auto's hebben die data nodig om te kunnen navigeren. De camera's zijn volgens Woven Planet zo'n 90 procent goedkoper dan de sensoren die het voorheen gebruikte, waardoor het mogelijk is om sneller op te schalen en meer auto's van de technologie te voorzien.

Daarmee volgt Toyota de aanpak van Tesla, dat de ontwikkeling van het autonoom rijden ook op die manier aanpakt. 'Full Self Driving' zit bij Tesla echter nog in de bètaversie, ondanks herhaaldelijke beloftes van topman Elon Musk dat de technologie beschikbaar komt voor reguliere consumenten.(...)

Niet lezen Paul.

[Micele]

Hier kreeg zelfs iemand een hardware upgrade van 2.5 naar 3 volledig gratis, alhoewel die enkel de optie Enhanced Autopilot had.

Volgens de app zou dat $1000 kosten, maar hij kreeg het voor $0.
En blijkbaar waren er nog meer die het gratis kregen, maar niet iedereen.

vertaald via reddit.com

https://www.reddit.com/r/TeslaModel3...w_25_to/?tl=nl

Ik vroeg om een gratis upgrade van HW 2.5 naar 3.0, en ik kreeg hem.

Ongeveer 6 maanden geleden kocht ik een 2018 Model3 LR met AP Hardware 2.5 en Enhanced Autopilot inbegrepen. Onlangs werd mijn auto gerepareerd vanwege een licht ongeval, en ik mocht een 2022 Model Y LR rijden met de Full Self Driving Computer en Basic Autopilot geïnstalleerd. Ik vond dat de autopilot in standaardomstandigheden over het algemeen soepeler en gemakkelijker te gebruiken was. Plus, stoplichten en automatische signalen voor het wisselen van rijstrook.

Dus begon ik te kijken naar het upgraden van de hardware. Ik heb geen FSD nodig, ik geniet persoonlijk van EAP, dus ik wilde alleen de hardware. Ik keek in de app, zag dat ik het voor $ 1.000 kon doen.

Niet echt de moeite waard om het geld voor mij uit te geven, dus ik dacht dat ik gewoon een serviceverzoek zou indienen en er om zou vragen. En zie, ze gaven het me, zonder vragen te stellen. Ik zei simpelweg: "Ik wil graag informeren naar een gratis upgrade van HW 2.5 naar 3.0", en 2 uur later ontving ik mijn $ 0-schatting.

Ik ben volgende week gepland om het naar een lokaal servicecentrum te brengen voor de upgrade als een service op dezelfde dag.

Heeft iemand anders deze ervaring gehad…?

UPDATE: Auto opgehaald en de upgrade was 100% gratis.

origineel: https://www.reddit.com/r/TeslaModel3...?show=original

Wie niet probeert, krijgt niets. lol

Fyi: https://en.wikipedia.org/wiki/Tesla_Autopilot_hardware

[brother paul]

Uw artikel vat toch perfect samen dat er verschillende hardware toestanden zijn en dat het onmogelijk is om de AI versie met hoge resolutie cameras te gaan draaien op een platform waar er 2 cameras tekort zijn met 1.2MP cameras, en CPU 10x powertekort en memory tekort zit om de taak te klaren.

Het artikel zegt dus letterlijk dat het finale platform van de werkende versie onbekend is, dus dat het onmogelijk te voorspellen is wat voor hardware je gaat nodig hebben voor FSD... dus dat in feite niemand die vandaag een auto koopt zeker is dat zijn auto klaar is voor FSD. Integendeel je bent quasi zeker dat het te licht zal zijn...

Ik moet zelfs erbij toevoegen ik ben 100% zeker dat bij elke regenbui, sneeuwbui, mistbui, wegenwerken met voorlopige lijnen, onduidelijke wegtoestanden waar de overheid vergeet de toestand goed up te loaden in de mappings die autonome taxis van Tesla gaan stilstaan, dus ik weet bij god niet waarom je blijft geloven dat 7k FSD optie zijn geld waard is, terwijl alles erop wijst dat het technisch maar zijn geld waard is als het technisch mogelijk is.

Bovendien moet je zien doet hij alles om een Lidar te vermijden met camera's en moet hij ondertussen een CPU core bestellen die de kostprijs van een Lidar benadert... om maar te zeggen hoe flawed de redenering ook maar kan zijn. Moest hij idd een patent hebben op een camera met speciale filters, met speciale edgedetectie, met visie buiten het visuele spectrum die niet gevoelig is aan zonlicht, stof, sneeuw, modder, 3d effecten bvb zou ik nog volgen maar met wat die camera's die gemonteerd zitten doen en de manier waarop ze vuil worden door het stof op de weg is het onmogelijk om daarmee een betrouwbar systeem te bouwen.

Moest Elon nu nog vertellen dat hi FLIR techiek infrarood beelden zit te verwerken zodat hij mensen als IR ziet... zou ik zelfs nog meer enthousiast zijn dat de bewering dat hij zich baseert op gewone camera...

[patrickve]

Oorspronkelijk geplaatst door Aurora_Borealis

Man, dit bewijst dat Musk de grootste onzin uitkraamt. Wie valt eigenlijk voor deze antiwetenschappelijke bullshit ?

Ik wilde net hetzelfde schrijven !
Hahaha, in plaats van beelden te pakken met zijn silicon gaat hij voor "foton counters"

Da's hetzelfde ! Een digitaal beeld in een camera is niks anders dan een array van getallen die proportioneel zijn aan de foton count.

En zoals je zegt, voor de discretisatie een rol begint te spelen moet ge al in heel donker situaties zitten. Ik doe dat voor mijn job trouwens. En dan moet ge overal zwarten tape op plakken want het licht piept overal binnen, het is meestal niet donker genoeg ook al is het pikzwart. Zelfs langs de schroefdraad van een sterk aangedraaide vijs.

Bij normaal licht zijn dat heel heel grote getallen. Men noemt dat "een foto".

Het is altijd grappig om te zien hoe sommige blaaskaken elementair jargon gebruiken om te doen alsof ze iets gesofistikeerds doen. Straks gaat Musk nog zeggen ook dat Tesla diwaterstof monoxide gebruikt om zijn ruiten te wassen...

[maddox]

Oorspronkelijk geplaatst door patrickve

Ik wilde net hetzelfde schrijven !
Hahaha, in plaats van beelden te pakken met zijn silicon gaat hij voor "foton counters"

Da's hetzelfde ! Een digitaal beeld is niks anders dan een array van getallen die proportioneel zijn aan de foton count.

Heeft Musk toevallig 1 van de paar neutrino experiment docu's gezien?

[patrickve]

Oorspronkelijk geplaatst door maddox

Heeft Musk toevallig 1 van de paar neutrino experiment docu's gezien?

Wacht maar tot hij "kwantum efficiency" erbij lapt

[maddox]

Oorspronkelijk geplaatst door patrickve

Wacht maar tot hij "kwantum efficiency" erbij lapt

Dan heeft ie het zwart gat van marketing bereikt.

[Micele]

Oorspronkelijk geplaatst door patrickve

Ik wilde net hetzelfde schrijven !
Hahaha, in plaats van beelden te pakken met zijn silicon gaat hij voor "foton counters"

Beter is "photons in, control out"

Of via mijn AI-vriend:

AI-overzicht

"Photons in, controls out" describes Tesla's Full Self-Driving (FSD) system, where the primary input is raw camera data (photons) that are directly fed into an AI system to determine vehicle control actions. This approach, particularly in FSD version 12, signifies a shift towards an "end-to-end AI" system, where the AI directly controls the vehicle's actions based on the raw visual input.

Here's a more detailed explanation:

Raw Camera Input:
Instead of relying on pre-processed data or intermediate representations, FSD 12 directly uses the raw data from the vehicle's cameras.

End-to-End AI:
The system utilizes a neural network that learns to map the raw visual input directly to vehicle control outputs (steering, acceleration, braking).

No Intermediate Steps:
This approach minimizes intermediate processing steps, potentially reducing latency and improving the system's ability to react to dynamic driving situations.

"Photon to Control" Latency:
The time it takes for the system to process the visual input and generate control commands is a critical metric, and reducing this "photon to control" latency is a key goal.

Analogy to Human Vision:
This approach is often described as mimicking human vision, where the brain processes raw visual input to make decisions and control actions.

AI's Role:
The AI system, particularly neural networks, learns to interpret the visual data and make driving decisions based on vast amounts of training data.
In essence, "photons in, controls out" encapsulates Tesla's strategy of using raw camera data and AI to create a highly responsive and autonomous driving system, moving away from traditional rule-based approaches.

https://x.com/pbeisel/status/1901989875626496151

[brother paul]

op twitter staat er zo een artikeltje
heb geen link dus een copy
die link eens proberen
https://x.com/pbeisel/status/1848807994894733530

in feite legt hij gewoon uit dat het een soort AI neuraal netwerk is dat ze trainen... om de camera beelden om te zetten in functies die de auto doen rijden

de grap hier vind ik dat ze een grafiek tonen met V12,13,14 die begonnen is in 2024... terwijl we hier al 10 jaar mogen lezen dat er binnenkort een zelfrijdende auto gaat zijn


Tesla is on the brink of revolutionizing the world with autonomy— robots on four wheels (self-driving vehicles) and two legs (Optimus humanoid bot). Its Full Self-Driving (FSD) technology is already in vehicles today[1] and will soon power the upcoming Robotaxi ridesharing platform[2].
The future of transportation is autonomous. The era of manually driven cars is fading, even if it may seem far-fetched. While some doubt self-driving cars are imminent and others fear sharing the road with— or being driven by— robots, Tesla’s autonomy aims to surpass even the best human drivers— and fast.
So, how does it work? When it comes to door-to-door autonomy, Tesla isn’t just one of the most advanced— it’s the only serious contender delivering this magic technology to everyday people right now. While the idea of trusting AI with your safety may seem daunting, it’s easier to understand than you might think.
My goal is to break down how FSD works and why you can trust it, with a particular focus on FSD AI (artificial intelligence).
Let’s dive in.
Part 2
Back in September 2024, I wrote an in-depth article on Tesla’s Full Self-Driving (FSD). It was well-received— with over a million views— and I still consider it one of the best explainers on the topic:
phil beisel
@pbeisel
·
4 sep. 2024
The Magic of Tesla FSD
In this article I will attempt to explain how Tesla's Full Self-Driving (FSD) works (at a high level) and why it's like magic in a box!
In Tesla's latest release of FSD, autonomy is on the path to...
Now, I want to take a different approach. I’ll still break down FSD at a high level, but this time, I’ll dive deeper into the AI itself. Many see it as "magic"—and in some ways, it is— but let's demystify it.
And I promise, by the end, you’ll not only understand it but also feel like you’ve just learned how the card trick is done!
Overview
"Photons in, controls out".
FSD (Full Self-Driving) is Tesla's autonomous driving system, primarily relying on camera-based vision. Additional inputs, such as audio (for detecting emergency sirens) and vehicle telemetry, complement the camera data. No LiDAR or radar systems are in use.
The sensor data is processed by Tesla's AI-driven FSD system, which determines and executes vehicle controls— including throttle, braking, and steering— to navigate the vehicle along its intended path.
The FSD AI
Artificial intelligence (AI) represents a transformative computing paradigm, with its principles— long in development— now driving an explosive revolution. At its core is machine learning, which allows systems to learn from data without explicit programming. A type of machine learning, neural networks are modeled after the human brain. These networks, which drive breakthroughs like image recognition and speech processing, are the foundation of self-driving systems such as FSD, enabling them to continuously improve by learning from vast datasets and real-world feedback.
Neural Network
A neural network is composed of nodes (or neurons) that process information. These nodes are organized into layers: the input layer, where data enters; the hidden layers, where the network processes and learns from the data; and the output layer, which generates the final result or prediction.
Each connection between nodes has a weight that determines the influence one node has on another, and each node has a computed value and a bias that adjusts its output. The weights and biases are collectively known as the parameters of the network. During training, the network adjusts these parameters to learn patterns and improve its predictions as data moves through the layers.
FSD (Full Self-Driving) is an example of a neural network. It likely uses multiple input layers, each feeding into separate branches with their own hidden layers, which then converge into a final shared hidden layer before producing an output layer.
The input layers likely consist of:
Camera data: Each vehicle has 8 cameras. Assuming 3 frames per "cycle," with each frame having a height of 1280 pixels, a width of 960 pixels, and 3 channels (red, green, and blue), this results in 88,473,600 values in total.
IMU/GPS data: Values for latitude, longitude, altitude, yaw, pitch, roll, speed, and acceleration— 8 values in total.
Vehicle state data: Values for speed, steering angle, throttle, brake pressure, and gear— 5 values in total.
Audio data: Values encoding microphone data at some sampling rate per "cycle." Perhaps 250,000 values in total.
Contextual data: Values for time of day (e.g., hour, minute) and weather (individual values for rain, sun, fog, etc.). Less than 10 values in total.
To simplify, let's focus on the camera data. This data forms a multi-dimensional array of values, known as a tensor, with the following shape:
[8 cameras, 3 frames per camera, 1280 pixels in height, 960 pixels in width, 3 RGB channels per pixel]
This is a 5-dimensional tensor with 88,473,600 values (8 × 3 × 1280 × 960 × 3). While it's easy to visualize 1D, 2D, or 3D data structures, it becomes more abstract when working with higher-dimensional tensors like this one.
The output layer defines what the FSD system does. For autonomous driving, it typically predicts control actions: steering angle, throttle, brake pressure (and maybe blinkers and horn).
Steering: 1 value (e.g., -1 to 1 radians)
Throttle: 1 value (e.g., 0 to 1)
Brake: 1 value (e.g., 0 to 1)
Blinker: 0=none, 1=left, 2=right.
Horn: 0=no sound, 1=horn sound
This would be a 1-dimensional tensor with 5 values, for example:
[-.2, .15, 0, 0, 0]
e.g., turning slightly left with a throttle of 15%; no brake; no blinkers; and no horn.
Now the hidden layers. There are many and perhaps a few per branch, ultimately resulting in a fusion layer and some dense layer, that is a "compressed" representation of all inputs.
What are the sizes and dimensions of these hidden layers? Let's just say "large" without further color, but certainly not bigger than the input layers. There are many hidden layers, perhaps 10 or more.
Each node in a layer produces a value (its activation) and is connected downstream to every node in the next layer. These connections will eventually have values associated with them called weights.
Consider the above our definition of the FSD neural network— it's a simplified design, and we skipped many details.
Let's simply further to the neural network depicted in Figure 1:
Figure 1: Example Neural Network
This neural network has an input layer (with 5 nodes), 3 hidden layers (also with 5 nodes each), and an output layer (with 5 nodes).
Each node in the input layer is connected to each node in the adjacent hidden layer (these connections are labeled w11, w12, w13, etc.). They are the weights. We are only showing the connection lines from the top nodes of each layer, but do understand that every node is connected to every downstream node!
Each node (represented as h11, h12, etc.) has two associated values: the computed value or activation (a11) and the bias (b11). In other words, h11 has a11 and b11; h12 has a12 and b12, etc.
Let's pretend our input data, the camera data, can fit in this input layer. Of course, it cannot, there are only 5 input values and for our paired down input of just camera data we would need 88,473,600 values.
So Figure 1 represents the architecture of the FSD neural network. At present there is no data in it.
Training
Neural networks are trained on input data— that’s how they learn. The hidden layers’ weights and biases are initialized to random values, then training kicks off.
For FSD, each training sample is camera frames, vehicle state data, etc. (as discussed above), labeled with the correct output by a human. This is supervised learning[3]— the answers are known!

Millions upon millions of data samples are used. Each sample is passed through the network, and the weights and biases get modified.
Each hidden layer node processes the data using a matrix multiplication operation (combining inputs with weights and adding biases), followed by an 'activation' function to determine its output (the specific details don’t matter here). Then, backpropagation[4] steps in: it calculates the loss for that sample— how far off the output is from the known answer— and adjusts ("nudges") the weights and biases to reduce that loss.
There’s a set of data samples held aside, called the validation set. During or after training, these samples are run through to calculate the loss. No modifications are made to the weights and biases here— it’s just to check we’re converging on good answers.
The whole point is that the neural network, having been trained on the data, will become highly predictive of the correct outcome— the right answer, if you will. The data builds the function, and the purpose of that function is to take any data sample and predict the proper output. That’s the process called inference, which we’ll discuss below.
The final output is called the model— the model is the "filled in" weights and biases. Once the model is produced and validated, it is read-only and ready to use for inference (see Figure 2).
Figure 2: Neural Network Model with weights and biases
The model can, of course, change in a subsequent version (e.g., 13.2.8 ? 13.2.9).
Figure 3: Changes to the model
Figure 3 demonstrates how a small number of weights and biases are modified following the processing of new training data (although in practice, most are altered, Figure 3 provides a simplified view for illustration). In this case, the model is not undergoing continuous training but rather fine-tuning to correct a specific issue in its output.
For example, imagine that in version 13.2.8, FSD is misjudging a curb—steering too close to it, leading to a driver intervention. Tesla identifies this issue, gathers new training data, and pushes it through the training process. This fine-tuning "nudges" certain weights and biases, resulting in a corrected model where the over-steering behavior is eliminated.
It’s not necessary to know exactly which weights or biases were modified— in fact, predicting these changes is nearly impossible. What matters is that the updated model now functions correctly. Tesla verifies that the intended fix (eliminating the over-steering) is successful while also ensuring that the parameter changes do not introduce regressions (unintended failures in previously working behavior).
The training process may take several months and requires an enormous amount of computing power. It is performed using hundreds of thousands of graphics processing unit (GPU) processors. The process relies heavily on parallelism[4]: each GPU accelerates training by parallelizing common mathematical operations, while the massive cluster of GPUs further distributes the workload across the system.
Inference
Once a model is trained, it is ready for use. Tesla versions the model (e.g., 13.2.8) and includes it in an over-the-air (OTA) update for the customer vehicle fleet.
Inference is the process of using the model. While running FSD, input data (as described above) is fed into the model to produce outputs. These outputs control the vehicle— throttle, braking, and steering.
Inference happens repeatedly at high frequency, typically 20 to 50 Hz (20 to 50 times per second). Each output modifies the vehicle's behavior; for example, if another vehicle begins to move into its lane, the system may decide to decelerate by braking or reducing throttle.
Inference is less computationally intensive than training but still requires significant processing power. Unlike training, inference does not modify the model— it simply reads from it.
Tesla vehicles use a specialized neural network processor, designed in-house, to efficiently run inference on the vehicle's onboard Full Self-Driving (FSD) computer, known as Hardware 4 (HW4) or Hardware 5 (HW5, also called AI5) in newer models. This processor functions similarly to a GPU but is optimized for the inference tasks specific to processing the neural network model. While HW4 is currently in use, AI5 is forthcoming (likely to debut on the production Cybercab and all future Tesla vehicles).
1 or 2 Neural Networks?
The discussion above describes FSD as a single neural network, but this may not be accurate. In my previous article, I discussed two distinct neural networks: one for perception and one for planning.
Perception is the process by which the vehicle identifies all static and dynamic objects in its field of view, including people, other vehicles, signs, and road markings. Planning, on the other hand, determines how the vehicle should respond— controlling the brakes, throttle, and steering accordingly.
There is evidence suggesting Tesla employs two distinct neural networks (one feeding the other). Prior to FSD version 12, AI was used only for perception, while planning was handled algorithmically (through 300,000 lines of C++ code). Version 12 introduced "end-to-end" AI for FSD, making it possible that Tesla added a planning neural network and linked the two together.
Additionally, the Tesla UI visually represents a virtual view of the roadway ahead, which implies that the neural network must include the fundamental perception objects in its outputs.
Regardless of whether these are distinct neural networks or combined into one, the discussion is sufficient to describe Tesla's FSD AI at a high level. Please read the first article to learn more about the perception and planning aspects, as both are most assuredly taking place.
Convergence
FSD is on a path of convergence— autonomy is being solved. Tesla has signaled this through both safety data and accelerated investment.
Each major AI model release (e.g., v12, v13, and soon v14) yields an order of magnitude improvement in safety— a process we might call the "March of 999’s," referring to the steady increase in reliability toward near-perfect safety (e.g., 99.9%, 99.99%, etc.).
Version 14 is expected to surpass human driver safety, likely serving as the foundation for Tesla’s initial Cybercab trial.
At this stage, achieving autonomy is merely a compute-bound problem, meaning the challenge is primarily limited by the available computational power, both in training and inference.
Each new model is significantly larger— more parameters and more training data— leading to longer training times.
It was reported that version 13 is 3× larger (3× more parameters) than version 12, implying (without optimizations) that training requires 3× more compute—
not even accounting for the increase in training data.
This training is happening at Tesla’s Cortex AI supercomputer, located at the Gigafactory in Austin, Texas. Cortex’s growth has been rapid, with its initial 50,000 Nvidia H100 GPUs powering on in Q4 2024. Plans call for expansion of the GPU cluster, initially by 3×, to meet the surging compute demands of ever-larger models and increased training data.
Cortex expansion, Tesla Gigafactory Texas
A glimpse of Cortex: one GPU-packed hallway in the supercluster.
Magic Box of Numbers
When you think about FSD, it’s conceptually reasonable to imagine it as a magic box of numbers— a whole lot of numbers. Estimates suggest that version 13 contains between 500 million to 1 billion weights and 5 million to 25 million biases.
But it’s not magic.
In fact, the numbers in this neural network are relatively straightforward to compute. However, there is a significant amount of “secret sauce” in how Tesla has structured the network: the specifics of the hidden layers, the format and content of the input data, the exact nature of the output, etc.
What’s important to understand is that these numbers replace all human-written code[6]— the algorithmic approach. It’s convenient and somewhat intuitive to think there’s a piece of code interpreting the camera data and deciding how the car should respond to obstacles, etc. But that’s not what’s happening at all. This box of magic numbers contains the learnings of all possible driving scenarios (at least those in the training set). Any scenario not included can simply be added to a future version.
Imagine “fine tuning” an existing FSD model to fix a problem. The result of the new training is just a set of changed values— a small tweak might nudge 100 million weights and 5 million biases to different values. It’s often said that AI is nothing more than the function being derived from the data. In the case of FSD, “the function” is to take the input data and determine how to steer, brake, and accelerate safely.
And while it’s more intuitive to think of the coded approach, in the end, both just result in numbers. The code converts to numbers that the CPU can interpret as logic and data manipulation. And of course, the neural network is just numbers, connected in a very specific way.
Now you’re armed with the knowledge of what’s in this magic box of numbers!
Zero to One
Peter Thiel's Zero to One[7] explores the concept of building successful startups and driving innovation. Thiel argues that true innovation comes from creating something entirely new— moving from zero to one—rather than simply improving upon existing ideas.
Tesla's Full Self-Driving (FSD) technology embodies this "zero to one" approach at scale.
Tesla redefined autonomous driving by prioritizing cameras as the primary input, abandoning the traditional reliance on sensor fusion. This not only simplified the technology but also reduced both complexity and costs.
Tesla committed to the bold idea that an "end-to-end" AI solution would ultimately provide the key to achieving full autonomy. This revolutionary approach has the potential to transform the world, paving the way for a new era of transportation-as-a-service and fundamentally reshaping the automotive and transportation industries.
I hope this article (and the previous one) equips you with a clear understanding of how FSD works— the underlying AI— so that as this technology reshapes your world, you’ll feel empowered by this "under the hood" knowledge.

[Micele]

Oorspronkelijk geplaatst door brother paul

op twitter staat er zo een artikeltje
heb geen link dus een copy
die link eens proberen
https://x.com/pbeisel/status/1848807994894733530

in feite legt hij gewoon uit dat het een soort AI neuraal netwerk is dat ze trainen... om de camera beelden om te zetten in functies die de auto doen rijden

de grap hier vind ik dat ze een grafiek tonen met V12,13,14 die begonnen is in 2024... terwijl we hier al 10 jaar mogen lezen dat er binnenkort een zelfrijdende auto gaat zijn

Eindelijk lees je iets...

En die is er al hé. Draad :

https://forum.politics.be/showthread.php?t=274189

2025: eerste autonome levering van een auto, 30 min rijden!

Of is een Tesla zonder-bestuurder-of-passagier-of-toezicht die zichtzelf vanaf-fabriek uitlevert bij een klant niet minstens zelfrijdend level 3? En die rijdt op alle wegen hé, niet alleen de snelweg.

Zelfrijdend level 2 of 3 staat niet helemaal gelijk aan volledig autonoom rijdend, want dat is level 5 (zonder stuur)

Nog een oud (versneld) filmpje 6 mei 2024 met FSD software 12.3.6:

https://x.com/ByeonChansoo/status/1787297026742358513

Chansoo Byeon @ByeonChansoo

Tesla FSD drove the entire way from underground garage to home after a Toronto FC game last night... (~50 minute drive). Check out the bold moments below!

this is insane in a good way
@elonmusk

0:05 underground parking escape success
0:34 Liberty Village night traffic
2:00 super narrow and backed up road ????
4:00 left a gap for traffic to flow - very nice
5:35 truck driver cuts in & FSD handles it perfectly
6:02 Highway merge (QEW)
8:00 Highway interchange
9:38 Highway interchange 2
11:50 Highway exit