Schachcomputer.info
 
Elo Turnier Liste
Turnierpartien
Stand: Liste 2015
 

 Elo Turnier Liste (2015)

 


Warum eine weitere Liste?

Sinn und Zweck der ELO-Liste von schachcomputer.info ist es nicht, das Rad neu zu erfinden, bzw. eine neue Methode zur Spielstärkebewertung von (Brett-)Schachcomputern zu etablieren. Vielmehr soll es darum gehen, den interessierten Schachcomputerfreunden eine Möglichkeit zu bieten, ihre Geräte in Wettkämpfen gegeneinander antreten zu lassen und die Vergleiche schließlich auch bewerten zu können.

Grundsätzlich ist das natürlich nicht neu und wurde erstmals von der SSDF etabliert, die über Jahre (Jahrzehnte?) hinweg hervorragende Arbeit für das Computerschach geleistet hat und nicht zu Unrecht als Referenz herangezogen wird, wenn es um die Spielstärkebewertung von Schachprogrammen bzw. Brettgeräten geht.

Dennoch gibt es auch einige kritische Ansatzpunkte, wenn man sich die Bewertung der Brettgeräte anschaut. Bei der SSDF konzentriert man sich heutzutage (sicher zu Recht) vornehmlich auf die PC-Programme, Brettcomputer werden dort zwar noch geführt, aber es werden kaum noch Partien mit deren Beteiligung gespielt. Die ständige Spielstärkesteigerung der PC-Programme und die dadurch entstandene hohe Diskrepanz zwischen diesen und den Brettgeräten führte u. a. dazu, daß die Liste im August 2000 um 100 Punkte abgesenkt wurde[1]. Aus unserer Sicht gibt aber diese Absenkung nicht die wahre Spielstärke der Brettgeräte, z. B. gegen Menschen wieder, weshalb wir zur weiter unten beschriebenen erstmaligen Kalibrierung auch die „alten“ Werte herangezogen haben.

Hinzu kommt noch, daß durch die ständige Fortschreibung der SSDF in die dortige Bewertung der Brettgeräte auch eine große Anzahl von Partien gegen PC-Programme eingeflossen sind, es handelt sich mithin also nicht mehr um einen reine Bewertung von Brettgeräten untereinander. Weiterhin wurde auch verschiedentlich die Meinung geäußert, daß bestimmte Geräte in der Liste gepusht wurden und andere Geräte z. T. zu niedrig eingestuft wurden, da möglicherweise nicht immer eine Kontrolle auf Doubletten erfolgt ist[2]. Dies soll keine böswillige Kritik an der SSDF sein, sondern nur darlegen, daß bei aller Sorgfalt und aufwendigen Testarbeit in Schweden auch durchaus hinterfragende Stimmen zu hören sind und waren.

Wie schon Eingangs erwähnt geht es primär darum, eine Plattform für Brettgeräte zu bieten, wobei es auch durchaus angedacht ist, daß ein und dasselbe Gerät mit unterschiedlichen Spieleinstellungen aufgenommen wird.
 

[1] Die Sache ist in der Realität noch deutlich komplizierter. Interessierte Schachfreunde können sich u. a. in CSS 3-2004 den entsprechenden Artikel des Schachstatistiker Jeff Jonas zu Gemte führen.
[2] Einige Geräte haben z. T. recht kleine Eröffnungsbibliotheken, was die Chance auf Doubletten erhöht, besonders dann, wenn Partien von verschiedenen Testern gespielt wurden. Man muß der SSDF aber zu Gute halten, daß es in der Anfangszeit keine Datenbanken gab, die eine schnelle Überprüfung erlaubt hätten. Wir sind heutzutage sehr verwöhnt...


Es ist geplant, 2 Listen zu führen, eine Liste enthält ausschließlich Turnierpartien mit einer Bedenkzeit von 40 Zügen/2 Stunden[3]. Eine weitere Liste basiert auf sogenannten Schnellschachpartien für die eine Bedenkzeit von 30 min/Gerät für die gesamte Partie gewählt wurde.


Regeln zur Aufnahme in die Liste

Wir haben uns erlaubt, einige einfache Regeln aufzustellen, die Voraussetzung für die Aufnahme in die ELO-Liste sind:

Bewertungseinschätzung (Rating Evaluation (RE) - s.h. Elo Liste)

P = Preliminary rated computer (>= 20 games AND 2 opponents)
F = Fully rated computer (>= 50 games AND 3 opponents)
R = Reference rated computer (> 150 games vs 15 % of listed computers)
M = Master rated computer (> 300 games vs 25 % of listed computers)

Die Partien müssen aufgezeichnet sein (bevorzugt elektronisch als pgn, ChessBase oder Chess Assistant kompatible Formate) und dem Auswerter vorliegen, um eine Kontrolle auf Doubletten durchführen zu können. Doppelt vorhandene Partien zwischen zwei Geräten werden nur einmal gewertet.[4]


Der Bewertungsansatz

Zu Beginn steht man immer vor der Frage, welchen Bewertungsansatz man verwenden soll. Nach lang andauernden Diskussionen und Überlegungen haben wir schließlich davon Abstand genommen, die Bewertung einzelner Wettkämpfe gemäß des FIDE-Bewertungssystems vorzunehmen. Statt dessen wurde eine Auswertung basierend auf dem Programm ELO Stat 1.3 von Frank Schubert verwendet. Wichtige Voraussetzung ist, dass alle in der Liste erfassten Computer in einem sogenannten Cluster zusammen hängen, d. h. jedes Gerät der Liste ist direkt oder indirekt über einen anderen Gegner mit jeden anderen Computer in Liste „verbunden“.

Abschließend muß noch die Frage des sogenannten ELO-Startwertes geklärt werden, den man für die Einordnung der Spielstärke der Geräte benötigt. Bekanntlich liefet das Programm ELO-Stat 1.3 zwar eine Liste, die die relative Spielstärke der Geräte untereinander wiedergibt, eine absolute Spielstärke läßt sich aber nur unter Zuhilfenahme einer Kalibrierung mit eben diesem ELO-Startwert angeben.
 

[3] Für die weiter unten dargelegte Berechnung wurden auch Partien herangezogen, bei denen z. B. nach dem 60. Zug die Zeitkontrolle angepaßt wurde (, z. B. auf 60 sec/Zug). Grundsätzlich sollen aber in die Liste nur Partien gemäß den Standardturnierbedingungen aufgenommen werden.
[4] Hintergedanke ist natürlich die größtmögliche Transparenz zu bieten. Dies wird auch dadurch gewährleistet sein, dass sämtliche zur Auswertung herangezogenen Partien jederzeit auf https://www.schachcomputer.info einsehbar bzw., herunterladbar sein werden.


Der erste Startwert

Für die Erstberechnung wird ein einfacher, aber wie wir denken, sehr plausibler Ansatz, der mehreren Aspekten Rechnung trägt:

1. Es wird die Gesamtzahl N der Geräte im auszuwertenden Cluster ermittelt
2. Es wird die Gesamtzahl aller Partien der im Cluster enthaltenen Geräte G ermittelt
3. Es wird die Gesamtzahl aller Partien, die von einem einzelnen im Cluster vorhandenen Gerät gespielt wurden, GN ermittelt
4. Der zu ermittelnde Startwert S wird unter Berücksichtigung des SSDF-ELO Wertes ESSDF für ein Gerät N berechnet.[5]

Die Berechnung des ELO-Startwertes S erfolgt durch Aufsummieren der einzelnen gewichtetet ELO-Werte SN gemäß:



Ein Beispiel für die fiktive Ermittlung eines ELO-Startwertes ist in Tabelle 1 dargestellt.

Tabelle 1:
Fiktives Beispiel einer ELO-Startwertberechnung für das Programm ELO-Stat anhand eines Clusters bestehend aus 9 Geräten.



Eine derartige Berechnung erlaubt es einzelne Ergebnisse noch nicht vollständig beendeter Turniere/Matches sofort einfließen zu lassen. Des weiteren ist man quasi unabhängig vom zeitlichen Ablauf der Turniere, eine Fortschreibung der Liste ergibt sich einfach durch Hinzufügen neuer Partien bzw. die Aufnahme eines neuen Gerätes. Schließlich dient als Referenz/Kalibrierung die international anerkannte Liste der SSDF, allerdings wird nicht ein bestimmtes Gerät herangezogen, sondern sozusagen ein der mitspielenden Geräte angepaßter gewichteter Wert verwendet, der den größtmöglichen statistischen Rückhalt gewährleistet.

In die reale 1. Liste sind schließlich 1144 Partien, gespielt von 31 Geräten, eingeflossen. Damit wird eine breite Grundlage für das Austragen weitere Matches und Turniere bereitgestellt.
 

[5] Es handelt sich um den unkorrigierten SSDF-Wert der Liste vom 22.04.2004, also die dort aufgeführten Werte +100 Punkte.


Die fortlaufende Listenberechnung

Für die weitere Berechnung wird die erste erstellte Liste herangezogen. Dabei wird genauso vorgegangen, wie in vorigen Abschnitt beschrieben, nur mit dem Unterschied, daß jetzt für die Startwertermittlung nicht mehr die SSDF Werte verwendet werden. Statt dessen kommt der ELO-Wert der Geräte aus der jeweils aktuellen Liste zur Anwendung. Die Formel zur Berechnung bleibt daher grundsätzlich erhalten, es ändert sich nur der Referenzwert für das jeweilige Gerät:



Die Neuberechnung der Liste erfolgt also jeweils für alle Geräte. Dadurch kommt es zwangsläufig auch zu geringen Veränderungen des ELO-Wertes auch bei Geräten , die eventuell keine neuen Partien gespielt haben. Test haben aber ergeben, daß diese Änderungen vernachlässigbar gering sind. Viel wichtiger erscheint es uns in diesem Zusammenhang noch einmal darauf hinzuweisen, daß das Programm ELO-Stat 1.3 eben eine sehr genaue Differenzliste zwischen Geräten erstellt. Uns erscheint primär dieser Punkt wichtig und nicht so sehr die Frage, ob ein Gerät X nun 2200 oder 2205 Punkte hat.




Stefan Ottow & Michael Völschow
Im August 2004.
.:  © schachcomputer.info  :.