Tools
NVIDIA nimmt den Inferenzbeschleuniger Groq 3 LPX in Produktion
NVIDIA teilte mit, dass Groq 3 LPX, der Beschleuniger für interaktive Inferenz, als Erweiterung von Vera Rubin nun in voller Produktion ist. Das Unternehmen nennt 3.400 Ausgabe-Token pro Sekunde auf Gemma 4 31B bei 100.000 Token Kontext, viermal so viel wie die nächstbeste Alternative in einem Benchmark von Artificial Analysis.
Mit KI-Unterstützung übersetzt.