Google представила ИИ-ускорители Tensor Processing Units 3-го поколения


На конференции Google I/O компания представила третье поколение ускорителей Tensor Processing Units (TPU).

Это созданные в недрах Google заказные БИС для ускорения работы ограниченного числа моделей машинного обучения. По сравнению с TPU-ускорителями второго поколения, анонсированными год назад, TPU 3.0 обеспечивают в 8 раз более высокую производительность. Так, если стандартный «кокон» из 16 плат по четыре TPU 2.0 в каждой (всего 64 TPU 2.0) обеспечивал производительность 11,5 петафлопс, то «коконы» с таким же числом TPU 3.0 выдают около 100 петафлопс.

Повышение производительности в том же формфакторе и объёме заставило перейти с воздушного охлаждения на жидкостное. К сожалению, Google не раскрывает каких-либо деталей о разработке. Можно прикинуть, что каждый из четырёх TPU 3.0 на плате работает с производительностью 1,56 петафлопс. Ускоритель NVIDIA GV100, к примеру, с его набором тензорных блоков развивает производительность на данном виде операций (с массивами матриц) до 120 терафлопс. Тем самым разница между NVIDIA GV100 и Google TPU 3.0 достигла колоссального разрыва. Проблема только в том, на что всё время справедливо указывает NVIDIA, что ускорители Google поддерживают сильно ограниченный набор моделей для машинного обучения и, в общем случае, платформы NVIDIA оказываются существенно быстрее и выгоднее для использования клиентами.

При этом обязательно надо сказать, что компания Intel, в свою очередь, точно также критикует GPU-ускорители NVIDIA за использование закрытого кода CUDA и за работу с ограниченным числом моделей для машинного обучения. Точнее, за отсутствие оптимизации для работы с произвольными моделями. Как уверены в Intel, настоящим универсальным решением для ускорения машинного обучения могут быть только процессоры Xeon. Они могут быть оптимизированы для работы с любым фреймворком с открытым кодом, за что голосуют большинство разработчиков. Но это уже другая история.

Оставьте отзыв

Ваш емейл адрес не будет опубликован. Обязательные поля отмечены *