Definición de Benchmark

Anuncios

En informática, benchmark (o punto de referencia) es el acto de ejecutar un programa de computadora, un conjunto de programas u otras operaciones, con el fin de evaluar el rendimiento relativo de un objeto, normalmente mediante la ejecución de una serie de pruebas estándar y ensayos en su contra. El término "Benchmark" también se utiliza comúnmente para los fines de programas de evaluación comparativa elaborados por sí mismos.

La evaluación comparativa generalmente se asocia con la evaluación de las características de rendimiento del hardware de la computadora, por ejemplo, el rendimiento de la operación en coma flotante de una CPU, pero existen circunstancias en las que la técnica también es aplicable al software. Los benchmarks de software son, por ejemplo, ejecutados contra compiladores o sistemas de administración de bases de datos (DBMS).

Los benchmarks proporcionan un método para comparar el rendimiento de varios subsistemas en diferentes arquitecturas de chip / sistema.

Los conjuntos de prueba son un tipo de sistema destinado a evaluar la corrección del software.


Propósitos del benchmark

A medida que la arquitectura de la computadora avanzó, se hizo más difícil comparar el rendimiento de varios sistemas informáticos simplemente observando sus especificaciones. Por lo tanto, se desarrollaron pruebas que permitieron la comparación de diferentes arquitecturas.

Por ejemplo, los procesadores Pentium 4 generalmente operaban a una frecuencia de reloj más alta que los procesadores Athlon XP o PowerPC, lo que no necesariamente se traducía en mayor potencia computacional; un procesador con una frecuencia de reloj más lenta podría funcionar tan bien o incluso mejor que un procesador que opera a una frecuencia más alta (esto es conocido como el mito de los megahercios).

Los puntos de referencia o benchmark están diseñados para imitar un tipo particular de carga de trabajo en un componente o sistema:

- Los puntos de referencia sintéticos lo hacen mediante programas especialmente creados que imponen la carga de trabajo en el componente.

- Los puntos de referencia de aplicaciones ejecutan programas del mundo real en el sistema.

Si bien los puntos de referencia de aplicaciones suelen dar una mejor medida del rendimiento en el mundo real en un sistema dado, los puntos de referencia sintéticos son útiles para probar componentes individuales, como un disco duro o un dispositivo de red.

Los puntos de referencia o benchmark son particularmente importantes en el diseño de CPU, dando a los arquitectos de procesador la capacidad de medir y hacer concesiones en decisiones microarquitectónicas. Por ejemplo, si un punto de referencia extrae los algoritmos clave de una aplicación, contendrá los aspectos sensibles al rendimiento de esa aplicación. Ejecutar este fragmento mucho más pequeño en un simulador de ciclo exacto puede dar pistas sobre cómo mejorar el rendimiento.

Antes de 2000, los arquitectos de computadoras y microprocesadores usaban SPEC para hacer esto, aunque los puntos de referencia basados ​​en Unix de SPEC eran bastante largos y, por lo tanto, difíciles de usar intactos.


Trampas a los benchmark y el bench-marketing

Se sabe que los fabricantes de computadoras configuran sus sistemas para proporcionar un rendimiento irrealmente alto en pruebas de referencia que no se reproducen en el uso real.

Por ejemplo, durante la década de 1980 algunos compiladores pudieron detectar una operación matemática específica utilizada en un punto de referencia de punto flotante bien conocido y reemplazar la operación con una operación matemáticamente más rápida. Sin embargo, tal transformación raramente fue útil fuera del punto de referencia hasta mediados de la década de 1990, cuando las arquitecturas RISC y VLIW enfatizaban la importancia de la tecnología del compilador en lo relacionado con el rendimiento.

Actualmente, las compañías de compilación utilizan los puntos de referencia para mejorar no solo sus propios puntajes comparativos, sino también el rendimiento real de las aplicaciones.

Las CPU que tienen muchas unidades de ejecución -como una CPU superescalar, una CPU VLIW o una CPU computacional reconfigurable- generalmente tienen velocidades de reloj más lentas que una CPU secuencial con una o dos unidades de ejecución cuando se construyen a partir de transistores que son igual de rápidos. Sin embargo, las CPU con muchas unidades de ejecución a menudo completan tareas del mundo real y de referencia en menos tiempo que la supuestamente más rápida CPU de alta velocidad de reloj.

Dado el gran número de puntos de referencia disponibles, un fabricante generalmente puede encontrar al menos un punto de referencia que demuestre que su sistema superará a otro sistema; los otros sistemas se pueden mostrar para sobresalir con un punto de referencia diferente.

Los fabricantes comúnmente informan solo aquellos puntos de referencia (o aspectos de los puntos de referencia) que muestran sus productos de la mejor manera. También se sabe que representan mal la importancia de los puntos de referencia, una vez más para mostrar sus productos de la mejor manera posible. En conjunto, estas prácticas se denominan bench-marketing.

Idealmente, los puntos de referencia solo deberían sustituir a las aplicaciones reales si la aplicación no está disponible, o si es demasiado difícil o costoso para el puerto de un procesador o sistema informático específico.

Si el rendimiento es crítico, el único punto de referencia que importa es el conjunto de aplicaciones del entorno objetivo.


Benchmark para Windows

• BAPCo: MobileMark, SYSmark, WebMark
• Futuremark: 3DMark, PCMark
• PiFast
• SuperPrime
• Super PI
• UserBenchmark
• Whetstone
• Windows System Assessment Tool (Windows Vista y superior)
• Worldbench (discontinuado)