Инженеры создали самый большой в мире компьютерный чип для ИИ

Инженеры из Cerebras создали самый большой в мире компьютерный чип, который включает в себя впечатляющие 4 триллиона транзисторов.

Как сообщается, чип под названием Wafer Scale Engine 3 (WSE-3) представляет собой третье поколение суперкомпьютерной платформы Cerebras. Она специально разработана для работы в системах искусственного интеллекта.

Размер разработки 8,5 на 8,5 дюйма. Она включает в себя 900 тысяч ядер искусственного интеллекта. По словам разработчиков, чип будут использовать для запуска невероятно производительного суперкомпьютера с ИИ. При этом он потребляет столько энергии, сколько его предшественник, но имеет вдвое большую мощность.

Как отмечают инженеры, их чип превосходит по размеру и производительности даже самые передовые графические процессоры, которые сейчас используются для обучения моделей искусственного интеллекта. Так, Nvidia H200 имеет всего 80 млрд транзисторов, что в 57 раз меньше, чем у WSE-3.

На базе нового чипа соберут суперкомпьютер Condor Galaxy 3. Его разместят в Далласе, штат Техас. Этот суперкомпьютер будет состоять из 64 «строительных блоков» системы искусственного интеллекта Cerebras CS-3, каждый из которых будет работать на основе WSE-3. Объединение этих систем даст в общей сложности 16 экзафлопс вычислительной мощности.

Condor Galaxy 3 будет использоваться для обучения будущих систем искусственного интеллекта, в которых будет использоваться гораздо больше параметров, чем в существующих моделях. К примеру, GPT-4 от OpenAI использует около 1,76 триллиона переменных для обучения, а Condor Galaxy 3 сможет обрабатывать системы искусственного интеллекта с примерно 24 триллионами параметров.