Zitat von
Solwac
Ich verstehe nicht, warum die Dubletten nicht gewertet werden sollten. Sie zu vermerken, ja. Denn diese Information charakterisiert das Duell zweier Programme. Aber Dubletten zu ignorieren verfälscht das Ergebnis.
Beispiel: Programme A und B spielen 10 Partien.
1:0
1:0
0:1
1:0
0:1
0:1
1:0
1:0
1:0
0:1
(Es sind nur 10 Partien, die Statistik ist also mit einem sehr großen Fehler behaftet - aber das ignoriere ich jetzt mal)
Das Match ist also 6:4 ausgegangen, d.h. bei einer Wiederholung sind wieder 60% für Programm A zu erwarten.
Wenn jetzt die Partien 5 und 6 identisch verlaufen sind, was sagt uns das? Sind die Programme dadurch unterschiedlich in ihrer relativen Stärke? Nein, denn die Erwartung ist immer noch 60% für A.
Bei einer Filterung der Dubletten wäre das Ergebnis 6:3 und ein Leser würde 66,7% für A erwarten.
Ja, schon klar was du mir sagen willst. Damit habe ich aber ein Problem. Oh, oh die Glaubenskämpfe beginnen. Ich bin doch Atheist...
Getreu dem Motto, man beantwortet keine Frage mit einer Gegenfrage, stelle ich diese nun.
Beispiel: Programme A (neues, unbekanntes Gerät) und B (sehr bekanntes Gerät) spielen 10 Partien.
1:0
1:0
1:0
1:0
1:0
1:0
1:0
1:0
1:0
0:1
Das Match ist also 9:1 ausgegangen. Ach ja, 8x wurde die Gewinnpartie wiederholt. Wenn jetzt die Partien 1 bis 9 identisch verlaufen sind, was sagt uns das? Sind die Programme dadurch unterschiedlich in ihrer relativen Stärke?
Nicht nur rein statistisch die Sache beleuchten, sondern auch aus kommerzieller Sicht eines Herstellers. Nach dem oben aufgeführten Prinzip könnte man Listen sehr leicht manipulieren. Ich möchte aber nicht nur die Zufallsbreite des Eröffnungsbuches erfassen, sondern eben auch die schachlichen Qualitäten eines Programms. Erinnerst du dich noch an einige Geräte, die bei ihrem Erscheinen in der SSDF einen fantastischen Elo-Einstiegswert hingelegt haben? Später aber in die Niederungen der Durchschnitts-Elos abrutschten? Ein Schelm, wer Böses...
Zitieren:
Aber Dubletten zu ignorieren verfälscht das Ergebnis.
Ja schon, aber sie nicht zu ignorieren ebenfalls.
Gruß
Micha