Das kommt drauf an, was das Ziel des Testens ist. Wenn man grundsätzliche Stärken und Schwächen der Engine herausfinden will, z.B. um sie zu verbessern oder wenigstens das Buch drauf abzustimmen, gebe ich Dir recht.

Aber wenn es nur um die Drosselung der Geschwindigkeit geht, bleiben die Stärken und Schwächen dieselben, das mittelt sich also heraus. Will man hierbei die Elo-Unterschiede herausfinden, dann geht es um Gewinnwahrscheinlichkeiten, denn genau dafür ist Elo die Einheit, nicht für schachliches Können (das nur indirekt). Sobald man über Wahrscheinlichkeiten spricht, geht nichts am Gesetz der großen Zahl vorbei, und das heißt nunmal tausende von Testpartien.