AMD plantea que no existe un benchmark estándar en la industria para la IA local y recomienda evaluarla a través de la inferencia del modelo, la capacidad de memoria, la calidad del resultado y la ejecución completa del flujo de trabajo. Los tokens por segundo y el tiempo hasta el primer token siguen siendo métricas útiles, pero medir el trabajo finalizado refleja mejor las exigencias de la computación agéntica.
Fuente: AMD.
El rendimiento de la IA local puede variar enormemente en función de diversas variables. Según AMD, además de los tokens por segundo y el tiempo hasta el primer token, evaluar el trabajo finalizado captura las exigencias más amplias de la computación agéntica, incluidas la orquestación, la recuperación de información, el uso de herramientas y la validación.
Calidad del resultado
Comparar los resultados junto con la velocidad de finalización.
- Evaluar si cada sistema completa la misma tarea y cumple con los mismos requisitos de resultado.
- Comparar la calidad del resultado mediante una revisión humana o un juez basado en un LLM, incluyendo la precisión y la calidad de las citas cuando corresponda.
- Evaluar si el resultado requiere corrección o validación adicional antes de ser utilizable.
- La evaluación Ryzen AI Halo de AMD incluye comprobaciones deterministas de los entregables completados. Estos son criterios para esa carga de trabajo específica; al no haber un benchmark de la industria establecido para la evaluación comparativa agéntica, los métodos de evaluación consistentes proporcionan una base para comparaciones significativas.
Capacidad del modelo local y del contexto
Evaluar la carga de trabajo que un sistema puede sostener en el dispositivo.
- Probar el mismo modelo con longitudes de contexto crecientes, como 32K, 64K y 128K tokens donde sea compatible, midiendo el rendimiento del procesamiento del prompt, el tiempo hasta el primer token y la velocidad de generación en cada longitud.
- Tener en cuenta los requisitos combinados de memoria de los pesos del modelo, la caché KV utilizada para mantener el contexto y otros componentes activos del flujo de trabajo.
- Evaluar las cargas de trabajo de razonamiento de modelos grandes y de un solo agente con inferencia local, incluidos los casos de uso sin conexión o sensibles a la privacidad.
Cargas de trabajo de agentes concurrentes y conectados
Evaluar cómo el sistema ejecuta y coordina agentes en el dispositivo.
- Incluir pruebas con un solo agente y luego aumentar la concurrencia para comparar el rendimiento, la capacidad de respuesta y la finalización de tareas bajo carga.
- Evaluar agentes utilizando modelos locales, incluidos múltiples modelos especializados residentes en memoria, manteniendo cada uno su propio contexto y estado.
- Incluir la planificación intensiva de la CPU, el uso de herramientas y la ejecución en paralelo, como el procesamiento de archivos, análisis de código, compilación y consultas a bases de datos.
- Los agentes que se ejecutan en el dispositivo también pueden acceder a servicios en la nube o modelos remotos. Para flujos de trabajo conectados, identificar qué operaciones se ejecutan localmente y distinguir el tiempo de ejecución local del tiempo de inferencia remota y del tiempo de espera de red.
- La evaluación de IA agéntica «Zen 5» de AMD ilustra la ejecución local de herramientas a través de seis agentes de programación concurrentes, mientras que su evaluación Ryzen AI Halo demuestra un flujo de trabajo completo con inferencia local.
Flujos de trabajo completos
Evaluar el tiempo requerido para entregar un resultado utilizable.
- Medir el tiempo total de finalización, incluida la inferencia del modelo, la orquestación de la CPU, la recuperación de información, las operaciones con archivos, el uso de herramientas y la validación. El rendimiento por vatio (Perf/W), la velocidad de procesamiento y el costo por flujo de trabajo completado también pueden ser útiles.
- Siempre que sea posible, desglosar el tiempo dedicado a la inferencia y a otras etapas del flujo de trabajo para mostrar qué impulsa el rendimiento general.
- Incluir flujos de trabajo de procesamiento de documentos que requieran la lectura de archivos locales, la realización de OCR, la recuperación de pruebas y la producción de entregables.
- La evaluación Ryzen AI Halo de AMD ilustra este enfoque mediante un agente local que produce una presentación, un memorando de apoyo, gráficos y un apéndice de fuentes citadas a partir de un conjunto de datos fijo.
- Utilizar tareas, prompts y flujos de trabajo controlados y consistentes entre los diferentes sistemas para mejorar la comparabilidad.
Puntos de partida prácticos
AMD Skills, junto con su documentación y guías paso a paso, proporciona instrucciones y scripts para configurar experiencias de IA local, incluida la generación de imágenes, el procesamiento de voz y la integración de aplicaciones de IA local en hardware compatible.
En conjunto, estas evaluaciones proporcionan una base para comparar la finalización del flujo de trabajo, la calidad del resultado, la capacidad del modelo local y del contexto, y la capacidad de respuesta bajo carga concurrente.