Bilgisayar performansını değerlendirmeye yönelik tek bir yaklaşım, performansı ölçmesi gereken herkesin gereksinimlerini karşılamaz. Evrensel bir değer ölçütü yoktur. Bununla birlikte, en yaygın kullanılan tekniklerden biri kıyaslamadır.
Kıyaslama, bir makinenin performansını diğerlerininkiyle karşılaştırmak için, iyi bilinen bir dizi programın o makinede çalıştırılmasını içerir. Kıyaslama, diğer değerlendirmeler gibi, yeni bilgisayar sistemlerini ya mutlak terimlerle (önerilen sistem işi yapacak mı?) ya da göreli terimlerle (belirli bir bağlamda mevcut birkaç sistemden hangileri en iyi performansı gösteriyor?) ölçer. Tasarımcılar bu testleri alternatif mimariler ve uygulamalar arasında seçim yapmalarına yardımcı olmak için kullanır; alıcılar hangi sistemi satın alacaklarına karar verirken onlara güvenir; kullanıcılar ise görevlerinin en iyi şekilde yürütülmesini sağlayacak programlama stillerini bu sonuçlardan çıkarabilir.
Kıyaslamalar performans değerlendirmesinde vazgeçilmez olsa da, bunların basit düşünceli biçimde uygulanması yanıltıcı sonuçlar üretebilir. Aslında kötü kıyaslama, hiç kıyaslama yapmamaktan daha kötü olabilir. İşte kıyaslama tasarımında yapılan bazı yaygın hatalar:
- İş yükünü (belirli bir işyerinde tipik olarak çalıştırılan farklı program türlerinin karışımı) tanımlamayı ihmal etmek.
- Aşırı derecede basit çekirdekler (test programları) seçmek.
- Belirli bir bilgisayar sistemine uyarlanmış programlar ya da algoritmalar kullanmak.
- Kıyaslamaları tutarsız koşullar altında çalıştırmak.
- Uygun olmayan iş yükü ölçülerini seçmek (aritmetik ortalama yerine harmonik ortalama gibi).
- Kullanıcıların özel gereksinimlerini göz ardı etmek.
- Çeşitli işlemlerin yürütülme sıklığı ile süresi arasındaki farkı görmezden gelmek.
Kaynak: IEEE Spectrum dergisinde yayımlanan makale, Temmuz 1987, Institute of Electrical & Electronics Engineers tarafından yayımlanmıştır, 1111 19th St., N.W., Washington, DC 20036.