Компания Tesla использует в своих суперкомпьютерах графические процессоры NVIDIA

Вице-президент NVIDIA Дэнни Шапиро (Danny Shapiro) сказал об этом ещё в начале нынешнего года. Графические процессоры (GPU) их компании используются в суперкомпьютерах Tesla, применяемых для обучения нейронных сетей автономному вождению.

Компания NVIDIA не упустила возможность указать на то, что её графические процессоры используются для работы суперкомпьютера №5. Хотя GPU их производства наверняка присутствует и в других суперкомпьютерах. Вычислительный кластер Tesla имеет в своём составе 720 узлов, в каждый из которых входят 8 графических процессоров NVIDIA A100, имеющих тензорные ядра. В общей сложности их количество в кластере 5760 штук. Вычислительная мощь суперкомпьютера составляет 1,8 экзафлопс.

Те, кто следит за обучением Tesla AI, знает, что в прошивке Tesla FSD был достигнут большой прогресс. В ближайшее время должна состояться презентация Tesla AI Day, на которой будет подробно рассказано об этом. Что касается NVIDIA, то представители компании объясняют использование своего «железа» в суперкомпьютере Tesla следующим образом.

Они говорят, что GPU NVIDIA A100 способны обеспечить ускорение вычислений в любых  высокопроизводительных вычислительных кластерах. Графический процессор A100 был создан на архитектуре NVIDIA Ampere. По словам разработчиков, его производительность в 20 раз выше, чем у предыдущего поколения процессоров. К тому же, он может разделяться на 7 экземпляров GPU для обеспечения динамической адаптации под изменяющиеся требования.

Дэнни Шапиро в своём блоге пишет, что Tesla AI активно работает над улучшением автономного вождения для автомобилей компании. В частности, это глубокая нейронная сеть, функционирующая в «теневом режиме». Во время движения она занимается обработкой поступающих данных и делает прогнозы во время движения автомобиля, но при этом не управляет транспортным средством. Данные прогнозы сохраняются, а неверные интерпретации и ошибки регистрируются. В дальнейшем эти данные инженеры Tesla применяют для разработки обучающего набора сложных и разнообразных сценариев с целью уточнения DNN.

В результате этого получается коллекция, состоящая примерно из одного миллиона клипов, продолжительностью по 10 секунд. Их запись ведётся с частотой 36 кадров в секунду. В сумме вся эта информация занимает 1,5 петабайта. После этого DNN проходят через эти сценарии повторно. А затем снова и снова, пока не будет работать без ошибок. После этого обновлённый вариант опять отправляется в автомобиль и процесс начинается снова. Обучение DNN по такой методике с огромным объемом данных требует большой мощности «железа». Поэтому Tesla создали свой суперкомпьютер на основе высокопроизводительных графических процессоров NVIDIA A100.