Konstruktive Kritik ist in Form einer sachlichen Diskussion immer willkommen!

Teilweise kann ich deine Einsprüche nachvollziehen. Aber eins vorneweg. Wir berechnen die angegebenen Werte nicht mit Hilfe einer Elo Formel. Ich kann mich nur wiederholen. Die Werte werden mit Hilfe von EloStat errechnet. Dieses Programm errechnet die relativen Spielstärkeunterschiede der Geräte untereinander. Es berechnet keine Elo Zahlen, sondern stellt die Abstände der Geräte untereinander aufgrund der zugrundliegenden Partien in Zahlen dar.

Die von dir angegebenen Partien stammen aus dem Turnier von Wolfgang. In diesem Turnier kamen 18 Geräte zum Einsatz. Wolfgang hat einfach versucht ein interessantes Teilnehmerfeld zusammenzustellen. Was ihm wohl auch gelungen ist. Natürlich kam es dabei auch zu den oben genannten Paarungen.
Wobei sein Augenmerk wohl eher auf Unterhalt denn Auswertung lag. Man will ja auch seinen Spaß bei der ganzen Geschichte haben. Schließlich sind es ja auch die sogenannten Kleinen, die das Salz in der Suppe ausmachen, zumindest teilweise.

Aber deine Kritik zielt wohl auf einen anderen Punkt.

Völlig richtig. Vergleiche über eine längere Distanz gegen diese Schwergewichte würden keinen Sinn machen, was aber in diesem Turnier auch nicht der Fall war.

Zu dem BT-Test ist anzumerken, dass Geräte mit einem BT-Wert von weniger als 1650 aus dem Test genommen werden sollten, da die Ungenauigkeit in diesem Bereich stark zunimmt. So zumindest die Aussage der Entwickler des BT2450 Tests.


Damit unterstellst du uns, dass wir nach dem gleichen Prinzip wie die SSDF "arbeiten" und so eventuell Geräte bevorteilen. Diese Aussage finde ehrlich gesagt mehr als fragwürdig.
Zumal dein Ansatz nicht korrekt ist. Der von dir beschriebene Zuwachs von 1-2 Punkten pro Partie, ist für eine normale Elo Berechnung korrekt. Aber für unsere Liste trifft er eben nicht zu!

Ein Beispiel bezogen auf unsere momentane Liste:

Gerät 1 hat eine Elo von 2216 (RISC 2500)
Gerät 2 hat eine Elo von 1849 (MM II)

Gerät 1 spielt eine Serie von 20 Partien gegen Gerät 2 und gewinnt 20:0. Wie hoch ist nun die Veränderung für Gerät 1? Laut FIDE Elo Berechnung wären es 30 Punkte. In unserer Liste wären es 2 Punkte. Gut könnte man sagen, es sind immerhin 2 Punkte. Was passiert nun aber nach 30 Partien, wenn Gerät 1 30:0 führt? Wenn man in der FIDE Berechnung alle 30 Partien zusammen berechnet, wären es 45 Punkte. Bei uns sieht die Sache aber völlig anders aus. Gerät 1 fällt auf 2216 zurück. Zumal sich aufgrund dieser neuen Konstellation auch die Werte anderer Geräte verschieben.

Warum dieser Effekt eintritt, habe ich oben erklärt.

Diesen Punkt möchte doch gern erläutert bekommen. Welchen verzerrenden Effekt meinst du?

Also ich kann micht daran erinnern, dass bisher ein Besucher, der sich aktiv in die Liste mit seinen Partien eingebracht hat, Partien "runtergerissen" hat, um sinnlose Vergleiche zu erstellen. Alle bisherigen aktiven Besucher versuchen mit ihren Partien eine sinnvolle Liste zu erstellen.


Ein interessanter Vorschlag. Nur stellt sich die Frage, woher wissen wir, wie stark ein Gerät wirklich ist? Genau das wollen wir ja mit unserer neuen Liste herausfinden.
Das würde z.B. heißen (wenn man die SSDF zu Rate zieht) ein Sparc dürfte nicht gegen einen Berlin 68000 antreten? Oder ein Milano Pro nicht gegen einen RISC 2? Warum nicht? Sollte nicht viel mehr eine breite Streuung in der Gegnerschaft liegen?
Welche Paarungen würdest du als sinnvoll erachten, unter Berücksichtigung der von dir genannten Kriterien?

Gut finde ich persönlich den Ansatzpunkt, unterschiedliche Charaktere auszuwählen, um eben eine gewisse Streuung zu erhalten und die Hardware der einzelnen Geräte zu beachten. Welche Geräte könntest du ins Feld schicken, um das Gesagte zu illustrieren?

Dieser Aussage kann ich mich nur anschließen.

Micha

Guten Morgen!

Das ist eine interessante Aussage.
Wenn man Elos Formel glaubt, dann sollte es statistisch eigentlich egal sein, gegen welche Gegner man spielt. Es gibt allerdings eine größere Ungenauigkeit, wenn Gegner mit sehr unterschiedlichem Rating gegeneinander spielen: Stellt man die Formel grafisch dar (x-Achse: Ratingdifferenz, y-Achse: Performance), dann wird sie zu den Rändern hin immer flacher. Ab 600 Punkten Differenz holt man schon 100% der Punkte, ein größerer Unterschied macht sich nach Elo nicht mehr bemerkbar. Die größte Genauigkeit ergibt sich demnach im mittleren Bereich, wo die Kurve halbwegs linear verläuft.

In der Praxis scheint es aber so auszusehen, daß Spieler mit einer geringeren Elo-Zahl in Matches mehr Punkte holen, als sie es statistisch (nach Elo) sollten. Jeff Sonas versucht das jedenfalls im ersten Teil seiner Artikelserie in der CSS (2004) statistisch zu belegen. Wer aktiv Schach spielt, kennt vielleicht auch die Haltung vieler Spieler, die, um eine möglichst gute Ratingzahl zu erhalten, lieber gegen stärkere Gegner spielen. Das geht ja sogar bis zur äußersten Weltspitze, die auch lieber unter sich spielt. Und die achtet wirklich auf ihre ELO-Zahl, schließlich entscheiden sich darüber oft Turniereinladungen. An dieser Annahme könnte also was dran sein.

Entsprechend müßte also ein Gerät in unserer Liste gehandicapt sein, wenn es gegen deutlich schwächere Gegner gespielt hat.

Falls diese Annahme wahr ist, bleibt allerdings noch die praktische Auswirkung auf unsere Liste zu bedenken. Aus Gründen des Interesses werden längere Matches im Regelfall nur mit Computern gespielt, die halbwegs in einer Liga spielen. Wenn mal eine Paarung gegen viel stärkere/schwächere Gegner dabei ist, dann, soweit ich das sehe, nur im Rahmen eines größeren Turniers über eine oder höchstens zwei Partien. Ich denke, gemessen an der viel größeren Zahl der in längeren Matches gegen ähnlich starke Computer gespielten Partien werden diese "Ausreißer" nicht so stark ins Gewicht fallen.

Das ist natürlich nur eine pauschale Aussage. Vielleicht findet sich ja jemand, der mich mit einem konkreten Beispiel aus unserer Liste widerlegt?

Viele Grüße,
Dirk

Oh, sorry, das war in CSS 5/03! Und auch nicht in der Serie, sondern in einem eigenen Artikel, in dem er ein neues Ratingsystem propagiert.

Da meine Anmerkungen offenbar nicht hinreichend zur Kenntnis genommen worden sind, hier die Kernaussage noch einmal etwas deutlicher:

Wird ein Vergleich zwischen einem stärkeren und schwächeren Gegner gewertet, ist dies ein Nachteil für den stärkeren Spieler.

Jeff Sonas hat in 262.000 Turnierpartien von 1996-2001 nachgewiesen, daß die stärkeren Spieler durchschnittlich weniger Punkte gemacht haben als ihrer ELO-Erwartung entsprach. Dies veranlaßt ihn in dem o.g. Artikel, von der Gaußschen Normalverteilung Elos Abstand zu nehmen, denn aus der Statistik ergibt sich eher ein linearer Zusammenhang.

Wenn wir uns also Gedanken um eine ausgeglichene Gegnerschaft machen, dann höchstens, um ein stärkeres Gerät einem anderen gegenüber nicht zu benachteiligen, indem man es gegen schwache Gegner spielen läßt. Das ist zum Beispiel auch die Grundidee der CSS-Rangliste (www.computerschach.de), die alle Programme gegen die gleichen Gegner spielen läßt, im Grunde in einem großen Rundenturnier.

Es bleibt allerdings die Frage nach der Signifikanz. Bei unserer geringen Partienzahl und der damit verbundenen hohen Standardabweichung dürfte eine eventuelle Verfälschung des Ergebnisses durch unausgewogene Paarungen völlig im "Rauschen" untergehen.

Vielleicht stellen sich Micha oder Stefan mal für ein kleines Experiment zur Verfügung: Bitte erstellt in der Datenbank mal 20 Fake-Partien R30-MMII (Ergebnis 19:1 -- Eloerwartung 0.96 ein bißchen abgerundet, s.o.). Um wie viele Punkte sinkt dann das Rating des R30?


Viele Grüße,
Dirk

Hallo Dirk,

ich habe einmal folgendes Experiment gemacht und habe unserer Auswerteliste 2 mal jeweils 20 fiktive Partien zugefügt und dann mit dem gleichen Startwert 2113 nochmals neu berchnet. Mit folgenden Ergebnissen:

A) R30 V 2.5 vs MMII 20:0

Ergebnis:
Der R30 verschlechtert sich von 2339 auf 2332
Der MMII bleibt bei 1849 Punkten

B) Montreux 512 K vs MMI 20:0 (ohne die Ergebnisse aus A))

Ergebnis:
Der Montreux verschlechtert sich von 2253 auf 2248
Der MMII verschlechtert sich ebenfalls von 1849 auf 1828


Es bleibt noch anzumerken, daß sich aufgrund der Berechnungsmethode von ELO-Stat (Cluster, d. h. für jedes Gerät werden alle Partien zu einem "Gegner" zusammengezogen und die mittlere gewichtete (!) ELO-Zahl der Gegner als ELo-Wert genommen) jeweils auch geringfügige Änderungen von 1 bis 2 Punkten bei den Geräten ergeben, die entweder gegen den MMII oder den R30 bzw. Montreux gespielt haben.

Womit aus meiner Sicht das Problem, daß ein Gerät bei solcherlei Zweikämpfen permanent Punkte ansammelt, widerlegt ist.

Gruß
Stefan

Ok. Dafür bekommen wir ein Problem von der anderen Seite, dass ein Gerät bei solcherlei Zweikämpfen (trotz 100%-Score) permanent Punkte verliert. Was wieder dafür spricht, davon abzusehen.

Gruß
kosakenzipfel

Lieber Kosakenzipfel,

langsam fehlt mir ein wenig das Verständnis, mir wird nicht so recht klar worauf Du hinaus willst. Wie schon angedeutet, werden wir versuchen "objektivere" Paarungen zusammenzustellen. Aufgrund der Resonanzen im Forum werden wir wohl aber aber davon absehen, den Schachfreunden diesbezüglich Vorschriften zu machen. Wir haben das im übrigen in der Frühzeit schon einmal versucht, als Partien vom Vancouver 68000 fehlten. Nach anfänglich positiver Resonanz ist die Sache dann leider sehr schnell eingeschlafen. Wir vertrauen daher weiter darauf, daß die Leute unsere Liste lesen, Schlüsse ziehen und selbständig zum Anlaß nehmen Partien zusammen zu stellen. Es bleibt daher, wenn Du so willst beim VERSUCH.

Hmm, beweisen wollen wir eigentlich auch nichts... Ich sehe uns weiterhin nicht den Punkt der fehlenden Objektivität oder statistischen Unsicherheit in unserem Ansatz. Die ist möglicherweise durch die vielen verschiedenen Turniermodi nach dem 40. Zug viel größer (was i. Ü. mal interessant wäre zu untersuchen...).


müssen muß hier niemand .

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Viele Grüße
Stefan

Lieber Stefan,

wenn mich das Handling nach der 1. Zeitkontrolle auch interessiert, der zweite Absatz im zweiten Zitat meines Postings stammt nicht von mir. A bisserl mehr Sorgfalt beim Zitiern, gell


müssen muß hier niemand .

Na, da hab´ich ja noch mal Glück gehabt

... und wenn wir schon beim wir sind nochmal die Frage: Wie könnte Dein Beitrag aussehen bzgl. des "Problems"? Partien zu spielen können und wollen wir natürlich nicht einfordern, aber es wäre schon ganz nett wenn ein Kritiker sich im positiven Sinne einbringen könnte, zumal er einen Vorschlag gemacht, wie man es aus seiner Sicht besser machen könnte.

Folgende Geräte könnte ich anbieten (allerdings nur Aktiv-Schach) Die Zeit für Turnierpartien hab´ ich leider nicht:

Mephisto: SuMo II; MMII+HG240; MMIV+HG440; Academy; RomaII
Saitek: Travel Champion; Centurion
Novag: SuperVIP; Sapphire

Zufrieden?

Gruß
kosakenzipfel

O.K. da ist mir ein Fehler unterlaufen (habe es korrigiert), aber deswegen zitierst Du jetzt gar nicht mehr?

Gruß
Stefan

Hallo Jungs,

irgendwie reden wir aneinander vorbei. Ich dachte, dass mein langes Posting die Sache geklärt hat. Scheint aber nicht so. Ich versuche es noch einmal ganz einfach darzustellen bzw. auszudrücken. Diesmal mit einer Frage zum Schluß. Vielleicht versteht man es ja so besser.

Aber zuerst noch einmal die Ausgangspunkte.

Das ist eben nicht die Frage bei unserer Liste. Es geht nicht um die Spielstärke, sondern um die Abstände der Geräte untereinander. Anhand dieser Abstände können dann Elo Zahlen erzeugt werden.

[Quote=Martin]Die Elo-Zahl bzw. genauer die Differenz zweier solcher Zahlen soll, wenn ich es recht verstehe, die (statistisch ermittelte) Gewinnerwartung/Punkteverteilung zwischen zwei Kontrahenten angeben. Wie aber die Experimente von Stefan und Herrn Sonas zeigen, ist dummerweise diese Größe nicht über alle Gegner-Spielstärken konstant, vielleicht ist sie nicht einmal exakt transitiv (A ist besser als B, B ist besser als C, also muss A deutlich besser als C sein...?).
Im Grunde ist also die ELO-Zahl ein Gewinnerwartungs-Modell, das bei großen Differenzen die Zähigkeit des schwächeren Partners - oder die Remistendenz des Schachspiels generell - offenbar unterschätzt. Um diesen Sachverhalt genauer abzubilden, müsste man einem Spieler daher statt einer einzigen Zahl eher einen n-dimensionalen Vektor, oder gar eine Funktion zuordnen.[/Martin]

Ja genau Martin, du hast das Prinzip erkannt.

Nur machen einige immer den Fehler, die Elo Zahlen in unserer Liste mit den eigenen Elo Zahlen zu vergleichen. Dieser Vergleich hat aber einen Haken. Ein Schachcomputer hat eine feste "Spielstärke". Die Spielstärke eines menschlichen Spielers kann ständigen Schwankungen unterworfen sein.

Endlich. Genau so sehe ich die Sache aus. Grundsätzlich ist nur eine Näherung möglich. Die Frage ist jetzt nur, wie kommen wir dieser Zahl am Nächsten?

Unser Ansatz bzw. der von EloStat sieht so aus. Wie gesagt, wir gehen davon aus, dass ein Schachcomputer eine feste "Spielstärke" hat. Wobei wir wieder bei dem Punkt ankommen, ob ein Vergleich z.B. zwischen R30 und MMII sinnvoll ist. Aus meiner Sicht ja. Unter folgenden Voraussetzungen.

Wenn man es wirklich korrekt angehen will, müssen sogar alle Geräte gegeneinander antreten. Wenn alle Geräte die gleiche Gesamtanzahl an Partien aufweisen
und dabei gewährleistet ist, dass jedes Gerät gegen alle anderen Vertreter die gleichen Anzahl an Vergleichspartien gespielt hat, ist eine relative
statistische Auswertung möglich. Wobei die Gesamtanzahl der Partien ins Unendliche tendieren müßte, um der Wahrheit nahe zu kommen.

Aufgrund dieser Partien, entsteht so ein Tabelle, sozusagen eine riesige Turniertabelle, welche die Abstände der Geräte darstellt. Und aufgrund dieser Abstände können wir den einzelnen Geräten Werte zuordnen.

Jetzt das Beispiel. Und ich hoffe diesmal nicht auf Antworten, sondern ich erwarte welche, damit wir das Thema "ausdiskutieren" können. Daher ist diese Diskussion schon sinnvoll.

Wir nehmen mal das Beispiel mit den 18:2 Ergebnissen. Bei diesem Turnier spielten 2 Geräte. Wenn wir das Turnier jetzt auswerten (Startwert z.B. 2000) bekommen wir nach z.B. 20 Partien und einem Ergebnis von 18:2, diese Liste:


Gehen wir weiter davon aus, dass sich dieses Turnier jedes Jahr wiederholt und auch die Ergebnisse immer die Gleichen (bitte jetzt nicht fragen warum, ist nur ein Beispiel zur Demonstration der geposteten 18:2 Problematik) sind.

Jetzt meine Frage vor allem an Kosakenzipel, aber auch an alle anderen. Wie verändern sich die Elo-Zahlen der beiden Geräte nach 100 Partien? Wie viel gewinnt und verliert ein Gerät und warum?

Gruß,
Micha

Sorry, ich weiß leider nicht, woran es liegt. Aber mal bekomme ich Zitatfenster und Smileys an der richtigen Stelle und dann wieder nicht.

kosakenzipfel