AW: Im Fadenkreuz
 

Oh, sorry, das war in CSS 5/03! Und auch nicht in der Serie, sondern in einem eigenen Artikel, in dem er ein neues Ratingsystem propagiert.

Da meine Anmerkungen offenbar nicht hinreichend zur Kenntnis genommen worden sind, hier die Kernaussage noch einmal etwas deutlicher:

Wird ein Vergleich zwischen einem stärkeren und schwächeren Gegner gewertet, ist dies ein Nachteil für den stärkeren Spieler.

Jeff Sonas hat in 262.000 Turnierpartien von 1996-2001 nachgewiesen, daß die stärkeren Spieler durchschnittlich weniger Punkte gemacht haben als ihrer ELO-Erwartung entsprach. Dies veranlaßt ihn in dem o.g. Artikel, von der Gaußschen Normalverteilung Elos Abstand zu nehmen, denn aus der Statistik ergibt sich eher ein linearer Zusammenhang.

Wenn wir uns also Gedanken um eine ausgeglichene Gegnerschaft machen, dann höchstens, um ein stärkeres Gerät einem anderen gegenüber nicht zu benachteiligen, indem man es gegen schwache Gegner spielen läßt. Das ist zum Beispiel auch die Grundidee der CSS-Rangliste (www.computerschach.de), die alle Programme gegen die gleichen Gegner spielen läßt, im Grunde in einem großen Rundenturnier.

Es bleibt allerdings die Frage nach der Signifikanz. Bei unserer geringen Partienzahl und der damit verbundenen hohen Standardabweichung dürfte eine eventuelle Verfälschung des Ergebnisses durch unausgewogene Paarungen völlig im "Rauschen" untergehen.

Vielleicht stellen sich Micha oder Stefan mal für ein kleines Experiment zur Verfügung: Bitte erstellt in der Datenbank mal 20 Fake-Partien R30-MMII (Ergebnis 19:1 -- Eloerwartung 0.96 ein bißchen abgerundet, s.o.). Um wie viele Punkte sinkt dann das Rating des R30?


Viele Grüße,
Dirk

AW: Im Fadenkreuz
 

Hallo Dirk,

ich habe einmal folgendes Experiment gemacht und habe unserer Auswerteliste 2 mal jeweils 20 fiktive Partien zugefügt und dann mit dem gleichen Startwert 2113 nochmals neu berchnet. Mit folgenden Ergebnissen:

A) R30 V 2.5 vs MMII 20:0

Ergebnis:
Der R30 verschlechtert sich von 2339 auf 2332
Der MMII bleibt bei 1849 Punkten

B) Montreux 512 K vs MMI 20:0 (ohne die Ergebnisse aus A))

Ergebnis:
Der Montreux verschlechtert sich von 2253 auf 2248
Der MMII verschlechtert sich ebenfalls von 1849 auf 1828


Es bleibt noch anzumerken, daß sich aufgrund der Berechnungsmethode von ELO-Stat (Cluster, d. h. für jedes Gerät werden alle Partien zu einem "Gegner" zusammengezogen und die mittlere gewichtete (!) ELO-Zahl der Gegner als ELo-Wert genommen) jeweils auch geringfügige Änderungen von 1 bis 2 Punkten bei den Geräten ergeben, die entweder gegen den MMII oder den R30 bzw. Montreux gespielt haben.

Womit aus meiner Sicht das Problem, daß ein Gerät bei solcherlei Zweikämpfen permanent Punkte ansammelt, widerlegt ist.

Gruß
Stefan

AW: Im Fadenkreuz
 

Ok. Dafür bekommen wir ein Problem von der anderen Seite, dass ein Gerät bei solcherlei Zweikämpfen (trotz 100%-Score) permanent Punkte verliert. Was wieder dafür spricht, davon abzusehen.

Gruß
kosakenzipfel

AW: Im Fadenkreuz
 

Lieber Kosakenzipfel,

langsam fehlt mir ein wenig das Verständnis, mir wird nicht so recht klar worauf Du hinaus willst. Wie schon angedeutet, werden wir versuchen "objektivere" Paarungen zusammenzustellen. Aufgrund der Resonanzen im Forum werden wir wohl aber aber davon absehen, den Schachfreunden diesbezüglich Vorschriften zu machen. Wir haben das im übrigen in der Frühzeit schon einmal versucht, als Partien vom Vancouver 68000 fehlten. Nach anfänglich positiver Resonanz ist die Sache dann leider sehr schnell eingeschlafen. Wir vertrauen daher weiter darauf, daß die Leute unsere Liste lesen, Schlüsse ziehen und selbständig zum Anlaß nehmen Partien zusammen zu stellen. Es bleibt daher, wenn Du so willst beim VERSUCH.

Hmm, beweisen wollen wir eigentlich auch nichts... Ich sehe uns weiterhin nicht den Punkt der fehlenden Objektivität oder statistischen Unsicherheit in unserem Ansatz. Die ist möglicherweise durch die vielen verschiedenen Turniermodi nach dem 40. Zug viel größer (was i. Ü. mal interessant wäre zu untersuchen...).


müssen muß hier niemand ;) .

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Viele Grüße
Stefan

AW: Im Fadenkreuz
 

Hallo Stefan,

danke für Deine Mühe!


Da haben wir's: Selbst bei 20 Partien mit einer Differenz von knapp 500 ELO-Punkten verschwindet der Einfluß völlig in der Meßungenauigkeit (+37-64 für den R30). Selbst wenn man bedenkt, daß dieses Ergebnis (20:0) etwas besser als seine ELO-Erwartung war, wird der Einfluß über eine solche Distanz nicht mehr als 15 Punkte ausmachen, was m.E. völlig vernachlässigbar ist.

Die Verschlechterung des MMII dürfte sich daraus ergeben, daß das Ergebnis etwas schlechter als seine Turniererwartung von 0,08 laut ELO-Tabelle (entsprechend 1,5:18,5) war.

Und wenn man Herrn Sonas (CSS) glauben darf, könnte es über diese Distanz sogar ein 2:18 geben! Das macht ja fast schon Lust auf einen solchen Zweikampf... ;)


Viele Grüße,
Dirk

AW: ELO-Liste 02-2004
 

Du hängst dich mMn viel zu sehr am "Spass"-Faktor auf! Dass auch die "Kleinen" durchaus mal Punkte gegen die "Grossen" machen können, haben sowohl Eckehard als auch ich dargelegt! (vgl. auch die Gewinnerwartungsliste)
Und was spricht dagegen, dass uns solche Überraschungen Spass machen?

Natürlich wollen wir alle eine möglichst korrekte Liste, aber es ist halt die Frage, wo man die Grenze ziehen soll! Dass deine 100-150 Punkte viel zu wenig sind, dürfte ja wohl klar sein; deshalb auch mein Vorschlag mit den 400 Punkten.
Werden bei einem 1800-Elo-Spieler (der an einem ganz normalen Turnier teilnimmt) keine Partien offiziell ausgewertet, die gegen Spieler mit mehr als 2000 Elo stattgefunden haben?
Ich weiss es nicht, aber ich kann es mir nicht vorstellen! :confused:
Ich würde sagen, wir wollen Spaß und daraus nebenbei auch ein bißchen Informationen ableiten.

Um eine wirklich korrekte Liste (sowas gibt es ja überhaupt nicht) zu erstellen, müßten wir wesentlich mehr Partien spielen, als wir überhaupt dazu in der Lage sind.
Und wieviel ist diese "Leistung" dann deiner Meinung nach wert? :confused:
Dass diese beiden Gegner viel zu weit auseinander liegen, um sinnvoll bewertet zu werden, darüber sind wir uns ja einig. Denn wenn der "30"-er ein 2500-er-Spieler ist, könnte der "0"-er könnte ein absoluter Anfänger sein (mit 800 ELO o.ä.) oder einer mit 1400 Elo!

Dass deine Argumente nicht von der Hand zu weisen sind, habe ich ja auch zugegeben. Nur mit deiner Grenze von 100-150 bin ich nicht einverstanden.

Ich kann mir nicht vorstellen, dass in einem GM-Turnier, in dem ja auch eine recht große Streuung vorkommt, bei der Elo-Auswertung so vorgegangen wird, wie du es hier vorschlägst...

Sorry, aber ich finde, jetzt übertreibst du etwas!
Ich habe keine Lust, mir von der Liste vorschreiben zu lassen, welche Geräte ich gegeneinander antreten lassen darf, wenn ich etwas zur Liste beitragen will!

Ich denke nicht, dass das Ziel, eine möglichst korrekte Liste zu erarbeiten, absoluten Vorrang gegenüber dem Spass haben sollte, den wir mit unseren Geräten haben wollen. Schliesslich handelt es sich immer noch um ein Hobby! Wir wollen doch hier nicht päpstlicher werden als der Papst!

Wenn wir das hier so tierisch ernst nehmen würden, wie du es dir vorstellst, würde das Interesse ganz schnell auf Null sinken! Und damit würde sich das Problem mit der Liste von selbst lösen... :p

Und ich bin gerne bereit, ein paar Unkorrektheiten in der Liste in Kauf zu nehmen, wenn ich weiterhin meinen Spass an der Sache haben darf! Schließlich kann man über unkorrekte Zahlen ja auch wunderbar diskutieren (wie man hier sieht!) :D

viele Grüße,
Robert

AW: ELO-Liste 02-2004
 

Hallo Jungs,

eine sehr interessante Diskussion. Auch wenn ich kein Statistiker, sondern nur ein "gemeiner" Mathematiker bin, erlaubt mir vielleicht eine kleine Bemerkung.

Mir scheint, ein Teil des Problems hängt mit einer kleinen Verwechslung des Modells mit der Realität zusammen - oder wenn man es etwas philosophischer formulieren wollte, mit der Frage "Was ist die 'wahre' Spielstärke?".

Die Elo-Zahl bzw. genauer die Differenz zweier solcher Zahlen soll, wenn ich es recht verstehe, die (statistisch ermittelte) Gewinnerwartung/Punkteverteilung zwischen zwei Kontrahenten angeben. Wie aber die Experimente von Stefan und Herrn Sonas zeigen, ist dummerweise diese Größe nicht über alle Gegner-Spielstärken konstant, vielleicht ist sie nicht einmal exakt transitiv (A ist besser als B, B ist besser als C, also muss A deutlich besser als C sein...?). Jeder der selbst Turnierschach spielt, hat dies wahrscheinlich auch schon am eigenen Leibe erleben dürfen.

Im Grunde ist also die ELO-Zahl ein Gewinnerwartungs-Modell, das bei großen Differenzen die Zähigkeit des schwächeren Partners - oder die Remistendenz des Schachspiels generell - offenbar unterschätzt. Um diesen Sachverhalt genauer abzubilden, müsste man einem Spieler daher statt einer einzigen Zahl eher einen n-dimensionalen Vektor, oder gar eine Funktion zuordnen. Statt also

hätte man dann vielleicht so etwas:

Oder noch etwas komplizierteres, da die Ergebnisse vermutlich auch noch davon abhängen, welchen Spielstil der Gegner oder man selbst hat: Gegen Angriffsspieler selbst hoher Spielstärke könnte man z.B. eine gute Performance haben, weil man sich gut verteidigt, aber gegen positionelle Schieber, selbst wenn sie normalerweise (gegen andere) recht schwach sind, bringt man kein Bein auf den Boden... Auch solche Dinge wie "Angstgegner" hätte man dabei immer noch nicht im Modell berücksichtigt.

Nun sehen wir daran, dass es nicht so ganz praktikabel sein kann, all' diese Dinge in einem einfach anzuwendenen System unterzubringen. Da wir Menschen gerne Aussagen am besten in einer einzigen Zahl zusammengefasst sehen möchten, muss man dabei zwangsläufig gewisse Informationen weglassen oder zumindest wegmitteln (Über den generellen Sinn eines solchen Wunsches kann man natürlich diskutieren: Zahlen suggerieren oft eine Aussagekraft, die Ihnen eigentlich nicht immer zusteht. Fakt ist allerdings, dass dieser Umstand gerne und (zu) oft ignoriert wird).

Im Endeffekt wird also eine ELO-Zahl, selbst bei Schachcomputern, immer, weil prinzipbedingt nur eine Näherung an die 'tatsächliche' Gewinnerwartung unserer Protagonisten sein. So gesehen und weil 'die Spielstärke' eines R30 auch aus einem Vergleich gegen den MMII resultiert (natürlich nicht nur), sind m.E. etwaige Ungereimtheiten wie sie im obigen Experiment auftreten, leicht zu verkraften. Zumindest weit leichter als die Verzerrungen wie sie in der SSDF-Liste offenbar vorkommen.

Viele Grüße,
Martin

P.S. @Micha: Iterative Verfahren werden nicht nur bei nicht-linearen Gleichungen angewendet. :p Wenn ich mich recht erinnere, gibt es so etwas z.B. auch für die Bestimmung von Eigenwerten linearer Abbildungen (Matrizen). Im Grunde sind das allgemein (meist numerische) Verfahren, die eine wiederholte Anwendung von festen Algorithmen beinhalten...

AW: Im Fadenkreuz
 

Lieber Stefan,

wenn mich das Handling nach der 1. Zeitkontrolle auch interessiert, der zweite Absatz im zweiten Zitat meines Postings stammt nicht von mir. A bisserl mehr Sorgfalt beim Zitiern, gell


müssen muß hier niemand ;) .

Na, da hab´ich ja noch mal Glück gehabt

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Folgende Geräte könnte ich anbieten (allerdings nur Aktiv-Schach) Die Zeit für Turnierpartien hab´ ich leider nicht:

Mephisto: SuMo II; MMII+HG240; MMIV+HG440; Academy; RomaII
Saitek: Travel Champion; Centurion
Novag: SuperVIP; Sapphire

Zufrieden?

Gruß
kosakenzipfel

:D ;)

AW: Im Fadenkreuz
 

O.K. da ist mir ein Fehler unterlaufen (habe es korrigiert), aber deswegen zitierst Du jetzt gar nicht mehr? ;) :D

Gruß
Stefan

Frage an Kosakenzipfel
 

Hallo Jungs,

irgendwie reden wir aneinander vorbei. Ich dachte, dass mein langes Posting die Sache geklärt hat. Scheint aber nicht so. Ich versuche es noch einmal ganz einfach darzustellen bzw. auszudrücken. Diesmal mit einer Frage zum Schluß. Vielleicht versteht man es ja so besser.

Aber zuerst noch einmal die Ausgangspunkte.

Das ist eben nicht die Frage bei unserer Liste. Es geht nicht um die Spielstärke, sondern um die Abstände der Geräte untereinander. Anhand dieser Abstände können dann Elo Zahlen erzeugt werden.

[Quote=Martin]Die Elo-Zahl bzw. genauer die Differenz zweier solcher Zahlen soll, wenn ich es recht verstehe, die (statistisch ermittelte) Gewinnerwartung/Punkteverteilung zwischen zwei Kontrahenten angeben. Wie aber die Experimente von Stefan und Herrn Sonas zeigen, ist dummerweise diese Größe nicht über alle Gegner-Spielstärken konstant, vielleicht ist sie nicht einmal exakt transitiv (A ist besser als B, B ist besser als C, also muss A deutlich besser als C sein...?).
Im Grunde ist also die ELO-Zahl ein Gewinnerwartungs-Modell, das bei großen Differenzen die Zähigkeit des schwächeren Partners - oder die Remistendenz des Schachspiels generell - offenbar unterschätzt. Um diesen Sachverhalt genauer abzubilden, müsste man einem Spieler daher statt einer einzigen Zahl eher einen n-dimensionalen Vektor, oder gar eine Funktion zuordnen.[/Martin]

Ja genau Martin, du hast das Prinzip erkannt.

Nur machen einige immer den Fehler, die Elo Zahlen in unserer Liste mit den eigenen Elo Zahlen zu vergleichen. Dieser Vergleich hat aber einen Haken. Ein Schachcomputer hat eine feste "Spielstärke". Die Spielstärke eines menschlichen Spielers kann ständigen Schwankungen unterworfen sein.

Endlich. Genau so sehe ich die Sache aus. Grundsätzlich ist nur eine Näherung möglich. Die Frage ist jetzt nur, wie kommen wir dieser Zahl am Nächsten?

Unser Ansatz bzw. der von EloStat sieht so aus. Wie gesagt, wir gehen davon aus, dass ein Schachcomputer eine feste "Spielstärke" hat. Wobei wir wieder bei dem Punkt ankommen, ob ein Vergleich z.B. zwischen R30 und MMII sinnvoll ist. Aus meiner Sicht ja. Unter folgenden Voraussetzungen.

Wenn man es wirklich korrekt angehen will, müssen sogar alle Geräte gegeneinander antreten. Wenn alle Geräte die gleiche Gesamtanzahl an Partien aufweisen
und dabei gewährleistet ist, dass jedes Gerät gegen alle anderen Vertreter die gleichen Anzahl an Vergleichspartien gespielt hat, ist eine relative
statistische Auswertung möglich. Wobei die Gesamtanzahl der Partien ins Unendliche tendieren müßte, um der Wahrheit nahe zu kommen.

Aufgrund dieser Partien, entsteht so ein Tabelle, sozusagen eine riesige Turniertabelle, welche die Abstände der Geräte darstellt. Und aufgrund dieser Abstände können wir den einzelnen Geräten Werte zuordnen.

Jetzt das Beispiel. Und ich hoffe diesmal nicht auf Antworten, sondern ich erwarte welche, damit wir das Thema "ausdiskutieren" können. Daher ist diese Diskussion schon sinnvoll.

Wir nehmen mal das Beispiel mit den 18:2 Ergebnissen. Bei diesem Turnier spielten 2 Geräte. Wenn wir das Turnier jetzt auswerten (Startwert z.B. 2000) bekommen wir nach z.B. 20 Partien und einem Ergebnis von 18:2, diese Liste:


Gehen wir weiter davon aus, dass sich dieses Turnier jedes Jahr wiederholt und auch die Ergebnisse immer die Gleichen (bitte jetzt nicht fragen warum, ist nur ein Beispiel zur Demonstration der geposteten 18:2 Problematik) sind.

Jetzt meine Frage vor allem an Kosakenzipel, aber auch an alle anderen. Wie verändern sich die Elo-Zahlen der beiden Geräte nach 100 Partien? Wie viel gewinnt und verliert ein Gerät und warum?

Gruß,
Micha