В Microsoft сообщили о создании еще одного собственного чипа ИИ — Maia 200, разработанного для сокращения затрат на развертывание и повышение производительности больших ИИ-моделей и формирования логических выводов. Это чип второго поколения, после выпуска первого Maia в 2023 году.
ИИ-ускоритель Maia 200, который содержит более 140 млрд транзисторов и производится с использованием техпроцесса 3 нм, оптимизирован для вычислений с низкой точностью, характерных для LLM. По данным разработчиков, он в 3 раза опережает по производительности процессоры Amazon Trainium третьего поколения при работе с данными формата FP4 (Floating Point 4-bit) и также превосходит по этому показателю тензорные процессоры Google седьмого поколения, обрабатывая операнды FP8. В Microsoft утверждают, что по экономичности, то есть соотношению производительности и стоимости операций логических выводов, Maia 200 на 30% опережает существующие решения, в том числе, на основе Maia 100.
Как и анонсированные в январе этого года флагманские чипы Nvidia Vera Rubin, ускорители Maia 200 производятся тайваньской TSMC. Однако уже выпущенные ускорители Microsoft рассчитаны на использование до 216 Гбайт памяти HBM3e на чип, а будущие Vera Rubin – на более 288 Гбайт HBM4e на графический процессор. Но в Microsoft применили тот же подход, что и некоторые конкуренты Nvidia (Cerebras, Grok), сделав акцент на размещении в Maia 200 огромного объема (272 Мбайт) сверхбыстродействующей встроенной памяти SRAM (Static Random Access Memory). Это должно заметно ускорить чат-боты и другие ИИ-системы при запросах большого числа пользователей.
Представители компании заявили также, что вместе с новыми чипами Maia, предлагается пакет инструментов для их программирования (SDK). В него входят открытый фреймворк машинного обучения на языке Python – PyTorch, компилятор Triton, kernel-библиотека, высокоуровневый сервер развертывания моделей с открытым исходным кодом -Triton Inference Server, который принимает запросы с данными, формирует логические выводы и возвращает ответы.
Этот полноценный стек для Maia 200 становится реальной альтернативой стеку для ИИ Nvidia, содержащему платформу программирования графических процессоров CUDA и оптимизатор логических выводов TensorRT, позволяя разработчикам переносить коды без переработки. В OpenAI оптимизировали Triton для работы с моделями генерации текста и диалогов этой компании семейства ChatGPT.
Чипы Maia 200 уже установлены в дата-центре Microsoft в штате Айова, а еще один ЦОД планируется открыть в Аризоне.