Oh, sorry, das war in CSS 5/03! Und auch nicht in der Serie, sondern in einem eigenen Artikel, in dem er ein neues Ratingsystem propagiert.

Da meine Anmerkungen offenbar nicht hinreichend zur Kenntnis genommen worden sind, hier die Kernaussage noch einmal etwas deutlicher:

Wird ein Vergleich zwischen einem stärkeren und schwächeren Gegner gewertet, ist dies ein Nachteil für den stärkeren Spieler.

Jeff Sonas hat in 262.000 Turnierpartien von 1996-2001 nachgewiesen, daß die stärkeren Spieler durchschnittlich weniger Punkte gemacht haben als ihrer ELO-Erwartung entsprach. Dies veranlaßt ihn in dem o.g. Artikel, von der Gaußschen Normalverteilung Elos Abstand zu nehmen, denn aus der Statistik ergibt sich eher ein linearer Zusammenhang.

Wenn wir uns also Gedanken um eine ausgeglichene Gegnerschaft machen, dann höchstens, um ein stärkeres Gerät einem anderen gegenüber nicht zu benachteiligen, indem man es gegen schwache Gegner spielen läßt. Das ist zum Beispiel auch die Grundidee der CSS-Rangliste (www.computerschach.de), die alle Programme gegen die gleichen Gegner spielen läßt, im Grunde in einem großen Rundenturnier.

Es bleibt allerdings die Frage nach der Signifikanz. Bei unserer geringen Partienzahl und der damit verbundenen hohen Standardabweichung dürfte eine eventuelle Verfälschung des Ergebnisses durch unausgewogene Paarungen völlig im "Rauschen" untergehen.

Vielleicht stellen sich Micha oder Stefan mal für ein kleines Experiment zur Verfügung: Bitte erstellt in der Datenbank mal 20 Fake-Partien R30-MMII (Ergebnis 19:1 -- Eloerwartung 0.96 ein bißchen abgerundet, s.o.). Um wie viele Punkte sinkt dann das Rating des R30?


Viele Grüße,
Dirk

Hallo Dirk,

ich habe einmal folgendes Experiment gemacht und habe unserer Auswerteliste 2 mal jeweils 20 fiktive Partien zugefügt und dann mit dem gleichen Startwert 2113 nochmals neu berchnet. Mit folgenden Ergebnissen:

A) R30 V 2.5 vs MMII 20:0

Ergebnis:
Der R30 verschlechtert sich von 2339 auf 2332
Der MMII bleibt bei 1849 Punkten

B) Montreux 512 K vs MMI 20:0 (ohne die Ergebnisse aus A))

Ergebnis:
Der Montreux verschlechtert sich von 2253 auf 2248
Der MMII verschlechtert sich ebenfalls von 1849 auf 1828


Es bleibt noch anzumerken, daß sich aufgrund der Berechnungsmethode von ELO-Stat (Cluster, d. h. für jedes Gerät werden alle Partien zu einem "Gegner" zusammengezogen und die mittlere gewichtete (!) ELO-Zahl der Gegner als ELo-Wert genommen) jeweils auch geringfügige Änderungen von 1 bis 2 Punkten bei den Geräten ergeben, die entweder gegen den MMII oder den R30 bzw. Montreux gespielt haben.

Womit aus meiner Sicht das Problem, daß ein Gerät bei solcherlei Zweikämpfen permanent Punkte ansammelt, widerlegt ist.

Gruß
Stefan

Ok. Dafür bekommen wir ein Problem von der anderen Seite, dass ein Gerät bei solcherlei Zweikämpfen (trotz 100%-Score) permanent Punkte verliert. Was wieder dafür spricht, davon abzusehen.

Gruß
kosakenzipfel

Lieber Kosakenzipfel,

langsam fehlt mir ein wenig das Verständnis, mir wird nicht so recht klar worauf Du hinaus willst. Wie schon angedeutet, werden wir versuchen "objektivere" Paarungen zusammenzustellen. Aufgrund der Resonanzen im Forum werden wir wohl aber aber davon absehen, den Schachfreunden diesbezüglich Vorschriften zu machen. Wir haben das im übrigen in der Frühzeit schon einmal versucht, als Partien vom Vancouver 68000 fehlten. Nach anfänglich positiver Resonanz ist die Sache dann leider sehr schnell eingeschlafen. Wir vertrauen daher weiter darauf, daß die Leute unsere Liste lesen, Schlüsse ziehen und selbständig zum Anlaß nehmen Partien zusammen zu stellen. Es bleibt daher, wenn Du so willst beim VERSUCH.

Hmm, beweisen wollen wir eigentlich auch nichts... Ich sehe uns weiterhin nicht den Punkt der fehlenden Objektivität oder statistischen Unsicherheit in unserem Ansatz. Die ist möglicherweise durch die vielen verschiedenen Turniermodi nach dem 40. Zug viel größer (was i. Ü. mal interessant wäre zu untersuchen...).


müssen muß hier niemand .

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Viele Grüße
Stefan

Lieber Stefan,

wenn mich das Handling nach der 1. Zeitkontrolle auch interessiert, der zweite Absatz im zweiten Zitat meines Postings stammt nicht von mir. A bisserl mehr Sorgfalt beim Zitiern, gell


müssen muß hier niemand .

Na, da hab´ich ja noch mal Glück gehabt

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Folgende Geräte könnte ich anbieten (allerdings nur Aktiv-Schach) Die Zeit für Turnierpartien hab´ ich leider nicht:

Mephisto: SuMo II; MMII+HG240; MMIV+HG440; Academy; RomaII
Saitek: Travel Champion; Centurion
Novag: SuperVIP; Sapphire

Zufrieden?

Gruß
kosakenzipfel

O.K. da ist mir ein Fehler unterlaufen (habe es korrigiert), aber deswegen zitierst Du jetzt gar nicht mehr?

Gruß
Stefan

Hallo Jungs,

irgendwie reden wir aneinander vorbei. Ich dachte, dass mein langes Posting die Sache geklärt hat. Scheint aber nicht so. Ich versuche es noch einmal ganz einfach darzustellen bzw. auszudrücken. Diesmal mit einer Frage zum Schluß. Vielleicht versteht man es ja so besser.

Aber zuerst noch einmal die Ausgangspunkte.

Das ist eben nicht die Frage bei unserer Liste. Es geht nicht um die Spielstärke, sondern um die Abstände der Geräte untereinander. Anhand dieser Abstände können dann Elo Zahlen erzeugt werden.

[Quote=Martin]Die Elo-Zahl bzw. genauer die Differenz zweier solcher Zahlen soll, wenn ich es recht verstehe, die (statistisch ermittelte) Gewinnerwartung/Punkteverteilung zwischen zwei Kontrahenten angeben. Wie aber die Experimente von Stefan und Herrn Sonas zeigen, ist dummerweise diese Größe nicht über alle Gegner-Spielstärken konstant, vielleicht ist sie nicht einmal exakt transitiv (A ist besser als B, B ist besser als C, also muss A deutlich besser als C sein...?).
Im Grunde ist also die ELO-Zahl ein Gewinnerwartungs-Modell, das bei großen Differenzen die Zähigkeit des schwächeren Partners - oder die Remistendenz des Schachspiels generell - offenbar unterschätzt. Um diesen Sachverhalt genauer abzubilden, müsste man einem Spieler daher statt einer einzigen Zahl eher einen n-dimensionalen Vektor, oder gar eine Funktion zuordnen.[/Martin]

Ja genau Martin, du hast das Prinzip erkannt.

Nur machen einige immer den Fehler, die Elo Zahlen in unserer Liste mit den eigenen Elo Zahlen zu vergleichen. Dieser Vergleich hat aber einen Haken. Ein Schachcomputer hat eine feste "Spielstärke". Die Spielstärke eines menschlichen Spielers kann ständigen Schwankungen unterworfen sein.

Endlich. Genau so sehe ich die Sache aus. Grundsätzlich ist nur eine Näherung möglich. Die Frage ist jetzt nur, wie kommen wir dieser Zahl am Nächsten?

Unser Ansatz bzw. der von EloStat sieht so aus. Wie gesagt, wir gehen davon aus, dass ein Schachcomputer eine feste "Spielstärke" hat. Wobei wir wieder bei dem Punkt ankommen, ob ein Vergleich z.B. zwischen R30 und MMII sinnvoll ist. Aus meiner Sicht ja. Unter folgenden Voraussetzungen.

Wenn man es wirklich korrekt angehen will, müssen sogar alle Geräte gegeneinander antreten. Wenn alle Geräte die gleiche Gesamtanzahl an Partien aufweisen
und dabei gewährleistet ist, dass jedes Gerät gegen alle anderen Vertreter die gleichen Anzahl an Vergleichspartien gespielt hat, ist eine relative
statistische Auswertung möglich. Wobei die Gesamtanzahl der Partien ins Unendliche tendieren müßte, um der Wahrheit nahe zu kommen.

Aufgrund dieser Partien, entsteht so ein Tabelle, sozusagen eine riesige Turniertabelle, welche die Abstände der Geräte darstellt. Und aufgrund dieser Abstände können wir den einzelnen Geräten Werte zuordnen.

Jetzt das Beispiel. Und ich hoffe diesmal nicht auf Antworten, sondern ich erwarte welche, damit wir das Thema "ausdiskutieren" können. Daher ist diese Diskussion schon sinnvoll.

Wir nehmen mal das Beispiel mit den 18:2 Ergebnissen. Bei diesem Turnier spielten 2 Geräte. Wenn wir das Turnier jetzt auswerten (Startwert z.B. 2000) bekommen wir nach z.B. 20 Partien und einem Ergebnis von 18:2, diese Liste:


Gehen wir weiter davon aus, dass sich dieses Turnier jedes Jahr wiederholt und auch die Ergebnisse immer die Gleichen (bitte jetzt nicht fragen warum, ist nur ein Beispiel zur Demonstration der geposteten 18:2 Problematik) sind.

Jetzt meine Frage vor allem an Kosakenzipel, aber auch an alle anderen. Wie verändern sich die Elo-Zahlen der beiden Geräte nach 100 Partien? Wie viel gewinnt und verliert ein Gerät und warum?

Gruß,
Micha

Sorry, ich weiß leider nicht, woran es liegt. Aber mal bekomme ich Zitatfenster und Smileys an der richtigen Stelle und dann wieder nicht.

kosakenzipfel

Hallo Stefan,

danke für Deine Mühe!


Da haben wir's: Selbst bei 20 Partien mit einer Differenz von knapp 500 ELO-Punkten verschwindet der Einfluß völlig in der Meßungenauigkeit (+37-64 für den R30). Selbst wenn man bedenkt, daß dieses Ergebnis (20:0) etwas besser als seine ELO-Erwartung war, wird der Einfluß über eine solche Distanz nicht mehr als 15 Punkte ausmachen, was m.E. völlig vernachlässigbar ist.

Die Verschlechterung des MMII dürfte sich daraus ergeben, daß das Ergebnis etwas schlechter als seine Turniererwartung von 0,08 laut ELO-Tabelle (entsprechend 1,5:18,5) war.

Und wenn man Herrn Sonas (CSS) glauben darf, könnte es über diese Distanz sogar ein 2:18 geben! Das macht ja fast schon Lust auf einen solchen Zweikampf...


Viele Grüße,
Dirk