Инструменты
NVIDIA запустила в производство ускоритель инференса Groq 3 LPX
NVIDIA сообщила, что Groq 3 LPX — её ускоритель интерактивного инференса — вышел на полномасштабное производство как расширение платформы Vera Rubin. Компания приводит показатель 3400 выходных токенов в секунду на Gemma 4 31B при контексте 100 000 токенов, что в четыре раза выше ближайшей альтернативы в бенчмарке Artificial Analysis.
Переведено с помощью ИИ.