El lanzamiento de MLPerf Inference v4.0 ha puesto nuevamente a NVIDIA en el centro de atención del benchmarking en inteligencia artificial. Esta nueva versión de MLPerf Inference ha introducido pruebas con modelos más grandes y complejos, como el Llama 2 70B, licenciado por Meta, y Stable Diffusion XL, ambos altamente relevantes en la actualidad. Estos modelos representan un avance significativo en la suite de pruebas, pero lo que destaca es que, una vez más, NVIDIA ha demostrado su liderazgo en este espacio.
MLPerf Inference es crucial para medir el rendimiento de hardware en tareas de inferencia, especialmente en un mercado donde las soluciones de IA son cada vez más diversas y específicas. Mientras que los resultados de entrenamiento a menudo dependen de grandes clústeres de compañías como Google o Microsoft, la inferencia se adapta mejor a hardware que opera bajo presupuestos de energía únicos o que está optimizado para modelos específicos.
En esta versión, vimos la participación de productos de NVIDIA como Hopper y Ada Lovelace en centros de datos, mientras que dispositivos como NVIDIA Jetson Orin dominaron en el ámbito de la computación en el borde. Intel también estuvo presente en esta ronda con su Gaudi 2 y CPUs, y aunque NVIDIA sigue siendo el líder en rendimiento por acelerador, la batalla por el rendimiento por dólar sigue siendo un campo de competencia interesante. Qualcomm, por su parte, intenta ganar terreno con sus tarjetas Cloud AI y su asociación con Cerebras para ofrecer una solución integrada de entrenamiento e inferencia. Aunque MLPerf sigue siendo dominado por NVIDIA, la competencia está lejos de rendirse.
AMD, Intel, y otras empresas como Cerebras están trabajando en nuevas soluciones que podrían cambiar el panorama en las futuras iteraciones del benchmark. A medida que avanza el mercado de la IA, la estrategia de mantenerse al margen de MLPerf parece no haber frenado el éxito de otros jugadores, aunque NVIDIA sigue siendo la referencia indiscutible en este ámbito.
En esta nota