Schachcomputer.info Community

Schachcomputer.info Community (https://www.schachcomputer.info/forum/index.php)
-   Die ganze Welt der Schachcomputer / World of chess computers (https://www.schachcomputer.info/forum/forumdisplay.php?f=2)
-   -   Frage: Mm5 nur 1575 ELO ?? (https://www.schachcomputer.info/forum/showthread.php?t=5483)

Hartmut 29.06.2017 20:42

AW: Mm5 nur 1575 ELO ??
 
Ich seh das ganze ziemlich gelassen. Die alten ELO-Listen sind - zumindest zum Teil - durch Partien gegen Menschen geeicht.

Realistische Zahlen werden wir nur kriegen, wenn diejenigen unter uns, die eine eingetragene ELO (oder DWZ)-Zahl haben unter fairen Bedingungen gegen unsere Schätzchen antreten. Keine Partien im stillen Kämmerlein sondern offen auf unserem Wettkampfserver. Damit kann man ein Mogeln zwar auch nicht ausschließen, aber wenn einer sich nur um seine Züge kümmert und der andere den Rechner bedient ist zumindest der unbewusste Drang mal kurz die "Info"-Taste zu drücken doch etwas gedämpft. Und wenn auf einmal Stockfish-Züge eintrudeln merkt der Computer-Bediener das auch.

Bei den Partien der Rechner untereinander haben wir ja jetzt schon recht schöne Wettkämpfe (Hiarcs-RISC bzw Berlin Pro) über eine größere Anzahl von Partien. Wenn die in die nächste Liste mit einfließen dann werden die entsprechenden Geräte automatisch nach unten (oder im Fall von Hiarcs nach oben) korrigiert. Je mehr User sich finden solche spannenden Wettkämpfe zu organisieren umso genauer und aussagekräftiger wird die Liste.

Das einzige Problem solcher Listen sehe ich darin, dass immer wieder von einem gewissen Startwert aus die komplette Datenbank durchgerechnet wird und nicht wie beim Weltschachbund nur die Änderungen. Und diese Änderungen ergeben sich ja nicht nur daraus, dass sich die Spielstärke der Beteiligten ändert, sondern auch aus der Tatsache heraus, dass man im Turnierjahr 2 vielleicht eine ganz andere Gegnerschaft hatte als im Turnierjahr 1. Da kann es dann durchaus statistische Ungenauigkeiten geben.

Man nehme nur das Bespiel der kürzlich durchgeführten Turniere Hiarcs - Berlin Pro / RISC 2000. Würde man jetzt wie beim Weltschachbund rechnen würden die ELO-Zahlen von RISC und Berlin Pro stark fallen (wenn sie die Punktverluste nicht durch andere Wettkämpfe wieder ausgleichen). Rechnet man die gesamte Liste ab einem gewissen Startwert dann sind das 20 von vielen hundert (wenn nicht tausend) Partien, die so nicht so stark ins Gewicht fallen. Aber um das wirklich zu beurteilen müsste ich mir die Berechnungsalgorythmen genauer ansehen und da fehlt mir ehrlich gesagt im Moment die Zeit dazu. Nichts gegen Mathe und Statistik, aber man hat ja noch andere Hobbies (z.B. Schach spielen).

Insofern nehme ich die Listen als das was sie sind, als Anhaltspunkt für eine gewisse Spielstärke von einem gewissen Standpunkt aus betrachtet. Nicht mehr und nicht weniger. Und wer meint solche Listen nun mit den wirklichen menschlichen ELO-Zahlen vergleichen zu müssen die auf ganz andere Art entstanden sind, der mag gerne weiter Äpfel mit Birnen vergleichen. Er wird nur eins feststellen. Äpfel sehen anders aus und schmecken auch anders als Birnen. Mehr gibts dazu eigentlich nicht zu sagen.

Chessguru 29.06.2017 23:28

AW: Mm5 nur 1575 ELO ??
 
Hallo Hartmut,

Zitieren:

Zitat von Hartmut (Beitrag 67508)
Realistische Zahlen werden wir nur kriegen, wenn diejenigen unter uns, die eine eingetragene ELO (oder DWZ)-Zahl haben unter fairen Bedingungen gegen unsere Schätzchen antreten.

naja, im Gegensatz zu dem faktenlosen Gebrülle aus dem CSS Forum, haben wir zumindest ein paar handfeste Sachen anzubieten. Gut, ist jetzt nicht viel, aber zumindest sind es Fakten.

Beispiele von Mitgliedern:

Chris (damalige Elo 2075) spielte 3 Turniere unter Aktivschachbedingungen. Ich hatte Chris während eines Chats einmal nach seiner Spielstärke auf Aktivschachlevel (rapid) befragt. Er schätze sich auf Aktivschach stärker ein. Mittlerweile liegt seine Turnier Elo bei 2121. Insgesamt spielte er 86 Partien.

Durch Anklicken der Ergebnisse gelangt man zu den Partien.


Stefan (Elo 1899) spielte auf Turnierstufe ein kleines U1950 Turnier. Insgesamt spielte er 10 Partien.

Durch Anklicken der Ergebnisse gelangt man zu den Partien.



Aber eine andere Frage. Kann es sein, dass die Art der Elo Berechnung durch die 3 bekannten Programme an ihre Grenzen stößt und deshalb das Geschrei beginnt? Da die PC-Engine Listen ja aufgrund der Vielzahl an Partien gegen 3100 Elo Spielern extrem groß ist, können die Listen nicht falsch sein. Also muss die Sache unten geändert werden. Dabei kommen dann diese wirren Rechenbeispiele heraus. Fakten wären Partien gegen menschliche Gegner, um die Aussagen zu untermauern. Nein, man rechnet irgendetwas hoch und runter, bis es ins Weltbild passt. Auf jetzt einsetzende Rückfragen, kommt eine bekannte Diskussionstaktik zum Einsatz. Sehr unterhaltsam...

Bewegt man sich, wie bei den meisten Listen in dem kleinen bekannten Rahmen der Top Engines, passt die Nummer. Sind zwar völlig sinnlose Elo Phantastereien, die jeder Grundlage entbehren, aber egal, mit Statistik lässt sich ja alles belegen. Wenn man sich die Werte in der CCRL 40/4 ansieht, wird es langsam eng am Ende. Da muss Stockfish dann schon mit 3484 Elo herhalten.

Verwende ich ORDO (mittlerweile Standard bei vielen Ranglisten) für die Berechnung der Aktivliste und setze die Traumwerte von 2000 Elo für den R30 an (MM V hätte dann ~1590), so lande ich am Ende der Liste sogar im negativen Bereich. Was nun? Heißt das, die Geräte am Ende der Liste spielen einfach unterirdisch? Oder ist die ganze Wahrscheinlichkeitsrechnung am Ende wahrscheinlich unwahrscheinlich?

Gruß
Micha

mclane 30.06.2017 00:15

AW: Mm5 nur 1575 ELO ??
 
Tasc r30 bei 2000. unglaublich .
Und ich dachte ich hätte schon alles im computerschach erlebt

Chessguru 30.06.2017 00:18

AW: Mm5 nur 1575 ELO ??
 
Nicht meine Aussage -> s.h. CSS Forum. Da wurden 2000 für den R30 veranschlagt, eigentlich sogar darunter. Ansonsten passt doch die MMV Elo Geschichte nicht.

Langsam erkennt man die Idee hinter der ganzen Nummer.

Hartmut 30.06.2017 01:50

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Chessguru (Beitrag 67514)
Hallo Hartmut,



naja, im Gegensatz zu dem faktenlosen Gebrülle aus dem CSS Forum, haben wir zumindest ein paar handfeste Sachen anzubieten. Gut, ist jetzt nicht viel, aber zumindest sind es Fakten.

Stimmt. Und das finde ich auch das gute an unserer Liste. Wir haben nicht nur die Partien vom SSDF sondern auch eigene Partien, die wir in die Wertung einbringen können. Das ist nachgewiesenermaßen mehr als gewisse Schreihälse aus dem CSS-Forum beizutragen haben.

...


Zitieren:

Aber eine andere Frage. Kann es sein, dass die Art der Elo Berechnung durch die 3 bekannten Programme an ihre Grenzen stößt und deshalb das Geschrei beginnt?
Ich denke davon kannst du ausgehen. Genau deswegen sind die Leute ja so verwirrt. Das was diese Programme machen ist eine Berechnung die auf einen vorgegebenen Startwert geeicht ist. Daraus resultiert nun ein berechneter Wert der die ganze Liste nun umverteilt. Dabei werden jedoch wichtige Punkte des ELO-Systems vernachlässigt, wie ich es oben schon beschrieben habe.

Zitieren:

Da die PC-Engine Listen ja aufgrund der Vielzahl an Partien gegen 3100 Elo Spielern extrem groß ist, können die Listen nicht falsch sein. Also muss die Sache unten geändert werden. Dabei kommen dann diese wirren Rechenbeispiele heraus. Fakten wären Partien gegen menschliche Gegner, um die Aussagen zu untermauern. Nein, man rechnet irgendetwas hoch und runter, bis es ins Weltbild passt. Auf jetzt einsetzende Rückfragen, kommt eine bekannte Diskussionstaktik zum Einsatz. Sehr unterhaltsam...
Yep, es ist wirklich unterhaltsam. Dabei fragt man sich aber - mit einer gewissen Berechtigung - wie man auf die Idee kommt dass die Listen nicht falsch sein können. Wie gesagt, jede der Listen basiert auf einem gewissen Startwert. Wo nimmt man den auf welcher Grundlage her? Warum diesen und keinen anderen? Einige Listen erklären noch auf welchem Startwert für die Berechnung diese Werte basieren. Keine erklärt auf welcher Grundlage man diesen und keinen anderen Wert genommen hat. Insofern sind alle diese Werte mehr oder weniger spekulativ. Sieht man sich dann die Werte genauer an, dann merkt man dass einige Engines nur immer wieder gegen bestimmte andere Engines antreten. Die Gegnerschaft ist meist überschaubar. Das ist als wenn zich Jahre lang nur im SV Hintertupfing mit Vereinskollegen gespielt und nie an einem externen Turnier teilgenommen hat. Und sowas soll vergleichbar sein? Das kann meines Erachtens nur ein total Irrer annehmen.

Zitieren:

Bewegt man sich, wie bei den meisten Listen in dem kleinen bekannten Rahmen der Top Engines, passt die Nummer. Sind zwar völlig sinnlose Elo Phantastereien, die jeder Grundlage entbehren, aber egal, mit Statistik lässt sich ja alles belegen. Wenn man sich die Werte in der CCRL 40/4 ansieht, wird es langsam eng am Ende. Da muss Stockfish dann schon mit 3484 Elo herhalten.
Das könnte bei der Bedenkzeit sogar stimmen. Gegen einen menschlichen Spieler im Modus 40/4 spielt Stockfish vermutlich wie Gott persönlich... Da gibt es nicht mal eine messbare Wahrscheinlichkeit für ein Remis aus 100 Partien.



Zitieren:

Verwende ich ORDO (mittlerweile Standard bei vielen Ranglisten) für die Berechnung der Aktivliste und setze die Traumwerte von 2000 Elo für den R30 an (MM V hätte dann ~1590), so lande ich am Ende der Liste sogar im negativen Bereich. Was nun? Heißt das, die Geräte am Ende der Liste spielen einfach unterirdisch? Oder ist die ganze Wahrscheinlichkeitsrechnung am Ende wahrscheinlich unwahrscheinlich?
Sie ist unwahrscheinlich schon aufgrund des oftmals fiktiven Startwertes aber auch aufgrund der Berechnungsmethode.

Viele meinen man dürfte die ELO-Zahl nicht berechnen wie es beispielsweise die FIDE macht, weil ein Computer im Gegensatz zu einem menschlichen Spieler sich ja nicht verbessert (wenn er fleissig übt) oder verschlechtert (wenn im Alter die Leistung nachlässt), und auch sonst keinen Formschwankungen unterworfen ist. Dabei ist das ein Fehlschluss. Denn mit jedem Turnier ändert sich ja normalerweise die Gegnerschaft und damit die Relation in der eine Wertungsveränderung zu sehen ist. Die Formschwankung ist damit nur ein kleiner Teil, der in die Berechnung einfließt. Die gibt es eventuell in einem Computerturnier auch. Sei es weil das Zufallsprinzip zuschlägt, sei es weil Eröffnungen gespielt werden die dem Programm eigentlich nicht liegen (was ein Mensch normalerweise nicht tun würde) etc. So gesehen hat auch der Computer Formschwankungen, nur sind die anderer Art. Aber es gibt noch mehrere Unterschiede.

Ist ein Spieler ohne Wertung und nimmt an einem Turnier teil, dann wird der Startwert an bestimmten Kriterien (in der Regel Durchschnitt der gewerteten Spieler) festgemacht und die endgültige Wertung dann am Ergebnis in Relation zu diesem Startwert festgemacht. Es müssen in einem Turnier auch immer eine gewisse Anzahl von Spielern gewertet sein, damit eine Wertung ungewerteter Spieler überhaupt erfolgen kann. In der Folge wird jedes Turnier neu ausgewertet oder wie beim ICCF 4mal im Jahr eine ELO-Zahl auf Basis der seit der letzten Auswertung gespielten Partien errechnet.

Die gängigen Programme, ganz egal ob ORDO, BayesElo oder ELOStat arbeiten hier total anders. Sie könnten einigermaßen genau arbeiten, wenn man sich die Mühe machen würde einzelne Turniere oder eine Serie von Partien aus einem bestimmten Zeitraum auszuwerten. Man hätte dann die alten ELO-Werte, die Veränderungen aus den gespielten Partien, einen Offset für noch ungewertete Programme basierend auf dem Durchschnitt der gewerteten Programme gegen die gespielt wird und damit eine genaue Auswertung.

Stattdessen wird einigen Programmen mit Offset ein Wert zugeordnet von dem niemand weiss wo er herkommt und dann eine riesige Liste durchlaufen. Das was dann am Schluss rauskommt ist mehr Spekulation als irgendetwas anderes. Vor allem weil die Offset-Werte nicht nachvollziehbar sind.

Warum z.B. bei deinem ORDO-Beispiel negative Werte am unteren Ende der Liste möglich sind...

Naja... eigentlich ist das nur deswegen möglich weil eben die Berechnungsgrundlagen von der normalen ELO-Berechnung abweichen. In der FIDE-ELO-Berechnung wäre das nicht möglich. Einerseits weil es einen Mindestwert gibt, bis zu dem ein Spieler noch geführt wird (liegt glaube ich bei 1200) und damit darunter keine ELO-Berechnung stattfindet, andererseits weil gewisse Regeln bei der Berechnung gelten. Ist z.B. der Unterschied zwischen 2 Spielern > 400 ELO Punkte so wird für die Berechnung ein Unterschied von 400 genommen. Damit wird verhindert, das ein Spieler unrealistische ELO-Werte bekommt indem er nur gegen zu schwache Gegner antritt. Bei den normalen ELO-Formeln liegt für diesen Fall die Gewinnerwartung auch bereits bei 92 %. Damit wäre für mehr als 400 Punkte Unterschied auch für den stärkeren kaum mehr was zu gewinnen. Wie es hier bei ORDO, ELoStat und Co ist, weiss ich nicht, vermutlich unterscheiden sich die Berechnungen aber auch hier.

Das Berechnungssystem der Fide könnte man natürlich ebenso in ein Programm pressen wie man Programme wie ELOStat oder ORDO schreiben kann, die rechnen das bei der FIDE schließlich auch nicht per Hand aus. Aber das bedeutet eben dass man nicht mehr so rechnen darf wie es die gängigen ELO-Listen jetzt machen. Man kann eben nicht mehr beliebig viele Partien aus 3 Jahrzehnten wild durcheinanderwürfeln, sondern muss wirklich Stück für Stück Zeiträume oder Turniere auswertet und neue Programme per Offset auf realistische Werte einstellen. Aber dazu ist man schlicht zu faul. Man hat zwar Zeit automatische zichttausende von Partien spielen zu lassen, aber die Zeit für eine ordentliche Liste will man eben nicht opfern. Im Moment erscheint das alles recht willkürlich. Bei uns wäre die normale ELO-Berechnung aufgrund der pro Jahr durchaus überschaubaren Partien-/Turnier-/Wettkampfzahl übrigens ein durchaus vertretbarer Aufwand wenn man ein Programm hätte, welches nach FIDE-Regeln arbeitet.

Wer mehr zur Berechnung von "richtigen" ELO-Zahlen lesen will, darf sich das gerne mal auf den FIDE-Seiten reinziehen. Vielleicht will ja einer auch ein entsprechendes Programm schreiben, lach

http://www.fide.com/fide/handbook.ht...7&view=article

Puh... jetzt hab ich doch weit mehr dazu geschrieben, als ich eigentlich wollte... Zeit fürs Bett.

Solwac 30.06.2017 07:24

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Chessguru (Beitrag 67514)
Aber eine andere Frage. Kann es sein, dass die Art der Elo Berechnung durch die 3 bekannten Programme an ihre Grenzen stößt und deshalb das Geschrei beginnt? Da die PC-Engine Listen ja aufgrund der Vielzahl an Partien gegen 3100 Elo Spielern extrem groß ist, können die Listen nicht falsch sein.

Früher war die Computerliste durch Partien gegen Menschen in ihrem Leistungsbereich sehr gut mit der menschlichen Elozahl vergleichbar. Auch passten die Elowerte durch die Aktualität gut dazu.

Wenn heute die Spitze der Computerliste Werte von gut über 3000 erreicht, dann liegt das über 1000 Punkte über dem Niveau der Vergleichspartien. Wir befinden uns hier deutlich außerhalb des Bereichs, den Arpad Elo damals für seine Berechnungen zur Verfügung stand.

Kern der Eloberechnungen sind zwei Annahmen: Bei einer Differenz von x Punkten kann ein guter Erwartungswert von y% angegeben, unabhängig vom Niveau der Spieler. Und es ist unabhängig vom genauen Pool der Gegner, solange dieser ausreichend groß ist.

Wir haben es aber in den letzten Jahren erlebt, dass Spieler aus einzelnen Ländern Schwierigkeiten beim Nachweis ihrer Elozahl bei Spielen gegen andere Regionen der Welt hatten. Und es hat einen kräftigen Zuwachs bei den Elozahlen an der Spitze gegeben. Allerdings ist das Schachspiel auch besser geworden, so dass hier keine numerische Bewertung dieses Effekts möglich ist. Es kann halt kein Großmeister heute gegen einen Großmeister von vor 30 Jahren mit dessen damaliger Leistung spielen.

Also ist die Elozahl für Menschen gut und wir haben nichts besseres. Aber es ist nicht perfekt. In den ersten Jahren war die Übereinstimmung zwischen der Computerliste und den Ergebnissen gegen Menschen gut genug um ebenfalls diese Berechnung zu nehmen. Aber es gab schon immer Zweifel und die statistischen Unsicherheiten machen es schwer diese Annahme (Verwendung des Elomodells für Menschen auch für Computer) zu widerlegen.

Zitieren:

Zitat von Chessguru (Beitrag 67514)
Verwende ich ORDO (mittlerweile Standard bei vielen Ranglisten) für die Berechnung der Aktivliste und setze die Traumwerte von 2000 Elo für den R30 an (MM V hätte dann ~1590), so lande ich am Ende der Liste sogar im negativen Bereich. Was nun? Heißt das, die Geräte am Ende der Liste spielen einfach unterirdisch? Oder ist die ganze Wahrscheinlichkeitsrechnung am Ende wahrscheinlich unwahrscheinlich?

Der negative Bereich sieht nur unschön aus, spielt aber für den praktischen Einsatz für die Berechnung von Erwartungswerten keine Rolle.

Solwac 30.06.2017 07:31

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Hartmut (Beitrag 67518)
Viele meinen man dürfte die ELO-Zahl nicht berechnen wie es beispielsweise die FIDE macht, weil ein Computer im Gegensatz zu einem menschlichen Spieler sich ja nicht verbessert (wenn er fleissig übt) oder verschlechtert (wenn im Alter die Leistung nachlässt), und auch sonst keinen Formschwankungen unterworfen ist. Dabei ist das ein Fehlschluss. Denn mit jedem Turnier ändert sich ja normalerweise die Gegnerschaft und damit die Relation in der eine Wertungsveränderung zu sehen ist. Die Formschwankung ist damit nur ein kleiner Teil, der in die Berechnung einfließt. Die gibt es eventuell in einem Computerturnier auch. Sei es weil das Zufallsprinzip zuschlägt, sei es weil Eröffnungen gespielt werden die dem Programm eigentlich nicht liegen (was ein Mensch normalerweise nicht tun würde) etc. So gesehen hat auch der Computer Formschwankungen, nur sind die anderer Art. Aber es gibt noch mehrere Unterschiede.

Das ist falsch.

Die Auswertungsmethode per Elostat und Co. basiert auf der Annahme, dass die Erwartung in einem Duell zweier Computerprogramme zeitlich unverändert ist. Dies stimmt ja auch solange keine zu umfangreichen Lernmöglichkeiten implementiert werden (Gegenbeispiel BeBe). Es gibt keine Formschwankungen, es gibt nur die Statistik und die kann man mathematisch beschreiben.

Diese Art der Berechnung schließt eine zeitliche Entwicklung aus, kann also für menschliche Gegner nicht oder nur für sehr kurze Zeiträume angewendet werden.

borromeus 30.06.2017 08:07

AW: Mm5 nur 1575 ELO ??
 
So, ich habe nun etwas nachgedacht, vielleicht sind die Gedanken dazu ja nicht ganz falsch:
denken wir mal nur an die Rechengeschwindigkeit...
das Problem ist, dass Schachprogramme laut den ELO Listen sehr stark vom Geschwindigkeitszuwachs profitieren, wenn sie gegeneinander spielen.
Man spricht von 70 Elopunkten bei Verdoppelung der Geschwindigkeit.
Mag sein und das Ergebnis spiegelt sich ja auch 1:1 in den ELO Listen wieder- das ist mathematisch gesehen auch vollkommen korrekt.
Das führt aber m.E. dazu, dass die Spreizung vom ersten zum letzten- ELO-mässig korrekt berechnet zu einer Differenz führt, die eben vom Menschen nicht so gefühlt wird.

Heisst: egal welcher Startwert für die Berechnung, die Spreizung ist zu hoch und liegt an der Computer gegebenen Eigenschaft.
Wenn sich für mich ein Computer der 1800 ComputerElo hat so anfühlt wie ein 1800er gemäss Menschen Elo, ist er 4x schneller trotzdem kein 1940er.
Ich habe in den letzten Monaten doch ein paar Partien gegen die Compis gespielt, aber eher gegen 2000 aufwärts- und hier ist der subjektive Eindruck entstanden, dass die Werte zu hoch sind.

Lassen wir die Liste wie sie ist, ein MMV wird eventuell gemäss Liste performen, ein London 68030 vermutlich nicht.

Das kann man einfach auch so akzeptieren und seine Schlüsse selber ziehen.

Ein generelles Abziehen von Punkten über die gesamte Liste ist daher m. E. Unsinn und bringt uns keinen Schritt weiter hinsichtlich Vergleichbarkeit ComputerElos und MenschenELOs.

Solwac 30.06.2017 10:25

AW: Mm5 nur 1575 ELO ??
 
@borromeus: Du brauchst es nicht auf die Verbesserung durch höhere Rechengeschwindigkeiten verkürzen, es scheint mir eine wahrscheinliche Erklärung zu sein, dass Programme anders auf Spielstärkeunterschiede reagieren als Menschen.

Rechenbeispiel: Wir haben C1800, ein Schachcomputer mit einer Leistung von ca. 1800 gegen Menschen. Und wir haben C2000, ein besseres Programm und einer Leistung von ca. 2000 gegen Menschen. Jetzt lassen wir beiden Computer gegeneinander antreten und erwarten 76% für C2000. Aber stimmt das auch?

Wenn sich aus vielen solcher Matches zwischen Cxxxx und Cyyyy ergeben würde, dass bei nominell 200 Punkten Unterschied ein Erwartungswert von 85% heraus kommt, was würde das für unsere Tabellen bedeuten? Nun, 85% entsprechen 300 Elo Unterschied, d.h. bei nominell 1050 Elo Differenz zwischen einem aktuellen Spitzenprogramm auf angemessener Hardware und einem Spitzenprogramm vor 30 Jahren ergeben sich für eine menschliche Skala nur 700 Elo Differenz - der Unterschied von 350 Elo ist jetzt natürlich rein zufällig. ;)

Die Frage ist natürlich auch, stimmt die angenommen Verteilung überhaupt für Computer? Bayes-Elo usw. sind ja Ergebnis der Suche nach einer Verteilung, halt immer ausgehend von der für Menschen per Definition passenden Beschreibung.

Hartmut 30.06.2017 11:24

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Solwac (Beitrag 67520)
Die Auswertungsmethode per Elostat und Co. basiert auf der Annahme, dass die Erwartung in einem Duell zweier Computerprogramme zeitlich unverändert ist.

Und da trifft Statistik auf Logik. Die Annahme ist nämlich falsch. Wäre die Annahme richtig, dann wäre eine Auswertung unnötig. Man wüsste ja aufgrund der zeitlich unlimitierten Erwartung bereits wer der bessere ist. Die ELO-Auswertung lebt aber davon dass die Erwartungen aufgrund der Berechnungen sich mit der Zeit ändern. Verfälscht wird das ganze dann noch dass man glaubt vom genauen Pool der Gegner unabhängig zu sein solange dieser groß genug ist, wie Du in einem anderen Post schreibst. Nun, das ist eine schöne mathematische Behauptung. Aber wie in der Mathematik üblich muss man solche Theorien auch beweisen. Und diesen Beweis habe ich bisher nirgends gesehen.

Hartmut 30.06.2017 11:34

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Solwac (Beitrag 67525)
Rechenbeispiel: Wir haben C1800, ein Schachcomputer mit einer Leistung von ca. 1800 gegen Menschen. Und wir haben C2000, ein besseres Programm und einer Leistung von ca. 2000 gegen Menschen. Jetzt lassen wir beiden Computer gegeneinander antreten und erwarten 76% für C2000. Aber stimmt das auch?

Wenn sich aus vielen solcher Matches zwischen Cxxxx und Cyyyy ergeben würde, dass bei nominell 200 Punkten Unterschied ein Erwartungswert von 85% heraus kommt, was würde das für unsere Tabellen bedeuten?

Aber genau das kann sich ja nicht ergeben. Bei der Elo-Berechnung ist ja der Erwartungswert bei einem gegebenen Wertungsunterschied fest. Es kann sich aus den Matches allenfalls ergeben dass z.B. Computer X gegen Computer Y eben nicht 76% sondern 85% geholt, also über dem Erwartungswert gepunktet hat. Daraus ergibt sich dann durch die Berechnungsformeln die neue ELO-Zahl. Treffen die beiden in einem neuen Match wieder aufeinander, dann sind auch aufgrund geänderter ELO-Zahlen die Erwartungswerte anders.

Solwac 30.06.2017 12:51

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Hartmut (Beitrag 67526)
Man wüsste ja aufgrund der zeitlich unlimitierten Erwartung bereits wer der bessere ist.

Woher?

Aber richtig ist, wenn ich einmal die Gewinnerwartung zwischen zwei Programmen ermittelt habe, dann habe ich es für immer. Da aber ein (Pseudeo-)Zufallsfaktor in die einzelnen Partien eingeht müsste ich diesen exakt ermitteln. In der Praxis bedeutet das, dass es viele Partien braucht um die Eröffnungsbibliotheken mit ihren Chancen zu ermitteln (dabei kommt dann wieder das Thema Wertung von Dubletten eine Rolle).

Es würde aber theoretisch ausreichen, z.B. Rebel 5 und MM IV zu nehmen, die Eröffnungsbibliotheken auszulesen (samt Algorithmus zur Auswahl) und dann alle möglichen Partien einma auszuspielen und mit der Chance ihres Auftretens zu wichten. Dann hätte man ein für alle Mal den Wettkampf erfasst. Bei einem Turnier würden die beiden Partien dann den "Tagessieger" ausfechten können.
Nimmt man dann die größere Bibliothek HG440, das ganze Prozedere von vorn.

Nirgendwo geht aber der Faktor Zeit ein. Ich nehme jedes Mal wieder das Modul wie frisch aus der Erstverpackung. Deshalb die Bemerkung zum Lernen. Plötzlich macht es einen Unterschied ob ich zuerst gegen A oder gegen B spiele.

Solwac 30.06.2017 12:58

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Hartmut (Beitrag 67527)
Aber genau das kann sich ja nicht ergeben.

Warum nicht? Warum sollen Computer untereinander nicht zu einem anderen Gewinnverhältnis kommen als gegen Menschen?
85% ist natürlich zu hoch, aber überlege Dir mal was bei 80% herauskommt. Für Computer im Bereich von 1500 bis 2100 wären die Unterschiede gegenüber der Annahme 76% relativ klein, innerhalb der Fehler, die sich durch die geringe Partienzahl gegen Menschen ergeben.
Extrapoliert man jetzt aber auf Computer im Bereich 3000+, dann werden die Abweichungen größer.

Chessguru 30.06.2017 15:33

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Solwac (Beitrag 67519)
Der negative Bereich sieht nur unschön aus, spielt aber für den praktischen Einsatz für die Berechnung von Erwartungswerten keine Rolle.

Darauf wollte ich nicht hinaus. Das Beispiel habe ich bewusst gewählt. Es zeigt sehr schön, wie die mathematische Korrektheit die Praxistauglichkeit überholt hat.

Zu welchen Auswirkungen diese Darlegungen führen, sieht man nun im CSS Forum. Die Behauptung der MMV hätte 1550 Elo rührt doch einzig aus der theoretischen Berechnung, die sich zwangsläufig ergibt, betrachtet man stärkere Hardwarevarianten und bricht dann entsprechend nach unten. Genauso wird auch argumentiert. Somit müssen alle anderen nachfolgenden Geräte ebenfalls abgewertet werden, s.h. Beispiel R30 = 2000 Elo. Ansonsten bricht das Theoriemodel in sich zusammen.

Oder einfacher formuliert: Man versucht die Fakten seiner Theorie anzugleichen und nicht die Theorie den Fakten.

Erkennt man sehr leicht an der Art der Argumentation. Nicht Partien werden vorgelegt, sondern rein theoretische Berechnungen. Wenn sich für Gerät A auf der Hardware tralala lt. Liste B folgende Elo zeigt, so muss zwangsläufig für hardwareschwächere Geräte Elo C greifen. Aber warum? Weil die Listenberechnung es so auswerfen würde. Das Dogma der Unfehlbarkeit der Listenberechnung greift.

Diese Argumentation trägt aber ein kleines Problem mit sich. Im Bereich von 3000 Elo aufwärts, existiert keine praktische Möglichkeit der Theorieüberprüfung, ob dargelegte Zahlen mit menschlichen Spielstärkebereichen korrelieren. Es ist und bleibt eine reine Wahrscheinlichkeitsberechnung.

Anders sieht am unteren Ende der Nahrungskette aus. Aus diesem Bereich stehen etliche Vergleiche zur Verfügung und zeigen die relative Korrektheit vieler im Laufe der Jahre ermittelten Vergleichswerte.

Aber es kann nicht sein, was nicht sein darf. Und die Unsinnigkeit zeigt sich eben sehr gut in den negativen Elo Werten. Für den Statistiker kein Problem, aber wie Hartmut so schön sagte, „da trifft Statistik auf Logik“. Genauso ist es. Worin lag eigentlich der Sinn dieser Listen im Ursprung?

Man scheint so festgefahren in seinen Denkstrukturen und presst seine Theorien unter Aufbietung noch so fragwürdiger Argumente in die eigenen Denkschablonen bis die Sache für das Ego wieder stimmt. Die eigene Meinung bzw. eigenen Erfahrungen wiegen so schwer und stehen als unfehlbar über Allem, dass jegliche Fakten ignoriert werden.

Niemals werden wir in diesem Forum zu einer Elo Liste gelangen, die auch nur im Ansatz allen Meinungen gerecht wird. Man kann noch so oft darauf hinweisen, dass diese Listen nur als Anhaltspunkt gesehen werden und NIEMALS zu 100% korrekte Werte auswerfen können, aber es perlt ab. Immer und immer wieder.

Man sucht sich immer seinen Weg durch die Argumente, um der eigenen Meinung Unterstützung zu liefern und sie bestätigt zu sehen.

Gruß
Micha

borromeus 30.06.2017 17:35

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Chessguru (Beitrag 67536)
.

Niemals werden wir in diesem Forum zu einer Elo Liste gelangen, die auch nur im Ansatz allen Meinungen gerecht wird. Man kann noch so oft darauf hinweisen, dass diese Listen nur als Anhaltspunkt gesehen werden und NIEMALS zu 100% korrekte Werte auswerfen können, aber es perlt ab. Immer und immer wieder.

Man sucht sich immer seinen Weg durch die Argumente, um der eigenen Meinung Unterstützung zu liefern und sie bestätigt zu sehen.

Gruß
Micha

Micha, also ich bin von meinem Beitrag
https://www.schachcomputer.info/foru...2&postcount=58
überzeugt.

Computer erzeugen eine grössere Spreizung, daher wird nie eine Computereloliste mit Menschen vergleichbar sein.
Nur in einem bestimmten Bereich von- Hausnummer- 400 Elo halbwegs passen.

Das ist einfach ein intrinsisches Problem des Verhaltens von Schachcomputern.
Lass Deine Liste wie sie ist, sie ist perfekt!

Gruss
Karl

Belcantor 30.06.2017 17:38

AW: Mm5 nur 1575 ELO ??
 
Michas letzte Einlassung eignet sich meines Erachtens bestens als Schlusswort und Ausrufezeichen! Für mich ist die CSS-Diskussion ein Sturm im Wasserglas.

Liebe Grüße
Matthias

Hartmut 30.06.2017 18:25

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Solwac (Beitrag 67530)
Woher?

Ganz einfach. Wenn die Gewinnerwartung feststeht und sich nicht ändert, weiss man ja wer der bessere ist. Ansonsten wäre die Gewinnerwartung und damit die ganze Berechnungsgrundlage logisch falsch.

Zitieren:

Aber richtig ist, wenn ich einmal die Gewinnerwartung zwischen zwei Programmen ermittelt habe, dann habe ich es für immer.
Und das ist eben der falsche Ansatz. Dann braucht man auch keine ELO-Zahlen berechnen. Denn es gibt ja nur 2 mögliche Zustände. Entweder ist die Gewinnerwartung falsch oder sie ist richtig.

Zitieren:

Da aber ein (Pseudeo-)Zufallsfaktor in die einzelnen Partien eingeht müsste ich diesen exakt ermitteln. In der Praxis bedeutet das, dass es viele Partien braucht um die Eröffnungsbibliotheken mit ihren Chancen zu ermitteln (dabei kommt dann wieder das Thema Wertung von Dubletten eine Rolle).

Es würde aber theoretisch ausreichen, z.B. Rebel 5 und MM IV zu nehmen, die Eröffnungsbibliotheken auszulesen (samt Algorithmus zur Auswahl) und dann alle möglichen Partien einma auszuspielen und mit der Chance ihres Auftretens zu wichten. Dann hätte man ein für alle Mal den Wettkampf erfasst. Bei einem Turnier würden die beiden Partien dann den "Tagessieger" ausfechten können.
Nimmt man dann die größere Bibliothek HG440, das ganze Prozedere von vorn.
Dabei vergisst Du aber, dass nach Verlassen der Eröffnungsbibliothek eventuell bei 2 als völlig gleichwertig berechneten Zügen eventuell der Zufallsgenerator eine Rolle spielt und die Partien dann unterschiedlich ausfallen können. Bei den Schachengines vergisst Du ferner dass hier zichtausend Einstellungen möglich sind mit denen man die Suche verfeinern könnte, etc. Das ist zwar ein mathematisch endliches Problem, aber du kannst noch so viele Partien spielen, du wirst nie alles abdecken (zumindest nicht in diesem Leben). Dass man dann auch noch bei UCI-Engines verschiedene Bibliotheken einbinden könnte, käme noch erschwerend hinzu. Das ELO-System lebt von den sich ändernden Gewinnerwartungen. Und das ist auch die gerechteste Möglichkeit der Annäherung.

Hartmut 30.06.2017 18:33

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Solwac (Beitrag 67531)
Warum nicht? Warum sollen Computer untereinander nicht zu einem anderen Gewinnverhältnis kommen als gegen Menschen?

Das habe ich nicht behauptet. Aber: Das Gewinnverhältnis oder genauer gesagt das erwartete Gewinnverhältnis ergibt sich ja aus dem Unterschied der Wertung. Bei 200 Punkten ELO-Unterschied kann sich nun mal keine Gewinnerwartung von 80 oder gar 85 % ergeben. Ergibt sie sich im praktischen Spiel bei dem genannten Unterschied dann ist der angenommene Wertungsunterschied falsch. Da bei den Methoden von ELOSTat und Co aber eben die Gewinnerwartung festgeschrieben ist, egal wieviel Partien gespielt werden und über welchen Zeitraum ist die gesamte Rechnung bereits logisch falsch. Sie wäre nur dann logisch richtig, wenn nach Auswertung der ELO-Unterschied und damit die daraus resultierende neue Gewinnerwartung dem erzielten Ergebnis entsprechen würde. Und das - du kannst es gerne nachrechnen - tut sie nicht. Damit ist das ganze Berechnungsmodell sinnlos.

Wolfgang2 30.06.2017 18:35

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von borromeus (Beitrag 67539)
...Computer erzeugen eine grössere Spreizung, daher wird nie eine Computereloliste mit Menschen vergleichbar sein.
Nur in einem bestimmten Bereich von- Hausnummer- 400 Elo halbwegs passen.

Das ist einfach ein intrinsisches Problem des Verhaltens von Schachcomputern.
...
Gruss
Karl

Darüber hatte ich auch schon öfter (vor Jahren) bei den Listen-Diskussionen geschrieben. Man bräuchte im Prinzip einen "Stauchungsfaktor" (Multiplikator <1) angewandt, um dem gerecht zu werden.
Das wird auch aus der aktuellen Diskussion deutlich. Eine Abwertung in der oberen Leistungsklasse könnten sich einige Forenteilnehmer hier vorstellen. Aber sie stimmen im Zweifel mit "Nein", weil die schwächeren Geräte dann zu niedrig eingestuft würden.
Und in letzterem Punkt muss ich zustimmen. Beispiel: Ich halte einen Novag Super Constellation angesichts seiner bisweilen aggressiven Spielweise für einen relativ starken Gegner, der mehr als die 1635 SSDF-Elo haben müsste.

Ich sehe aber subjektiv nicht, warum ein Mephisto Genius oder London, der einen mit unangenehmen Attacken weitgehend verschont, jetzt "echte" rund 550 Punkte, wie sie in den Listen abgebildert werden, mehr haben soll.

Leider weiß ich nicht, wie ein Anfänger oder eine Person Elo-mäßig zu beurteilen ist, die außer über die Kenntnis der Schachregeln über keine weiteren verfügt, aber trotzdem im Freundeskreis hin und wieder spielt.
Kürzlich beobachtete ich so eine Situation, d.h. zwei "Parkschach"-Spieler in einem Kurort. Haben die Elo 500 oder 800 .... ?
Sicher ist, dass diese beteiligten Personen selbst mit Computern wie dem Chess Champion MK III oder Novag Piccolo, o.ä. überfordert wären.

Gruß
Wolfgang

Chessguru 30.06.2017 19:13

AW: Mm5 nur 1575 ELO ??
 
Hallo Wolfgang,

Zitieren:

Zitat von Wolfgang2 (Beitrag 67544)
Leider weiß ich nicht, wie ein Anfänger oder eine Person Elo-mäßig zu beurteilen ist, die außer über die Kenntnis der Schachregeln über keine weiteren verfügt, aber trotzdem im Freundeskreis hin und wieder spielt.

Kürzlich beobachtete ich so eine Situation, d.h. zwei "Parkschach"-Spieler in einem Kurort. Haben die Elo 500 oder 800 .... ?
Sicher ist, dass diese beteiligten Personen selbst mit Computern wie dem Chess Champion MK III oder Novag Piccolo, o.ä. überfordert wären.

da kommst du zu einem weiteren Problem. Die niedrigste Fide Elo beträgt 1000...

Gruß
Micha

Egbert 30.06.2017 19:52

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Wolfgang2 (Beitrag 67544)


... Darüber hatte ich auch schon öfter (vor Jahren) bei den Listen-Diskussionen geschrieben. Man bräuchte im Prinzip einen "Stauchungsfaktor" (Multiplikator <1) angewandt, um dem gerecht zu werden.

Gruß
Wolfgang

Hallo Wolfgang,

in der Theorie wäre Dein Ansatz wahrscheinlich der Richtige, aber in der Praxis ist dies auch mit viel Fragezeichen versehen.

- ab wann (Elo) soll der Stauchungsfaktor greifen?
- wie soll der Stauchungsfaktor greifen (linear)?

Also auch hier kommen wieder subjektive Vorgaben ins Spiel und ich sehe schon die nächsten Diskussionen aufflammen, vom Arbeitsaufwand für Micha einmal ganz abgesehen.

Gruß
Egbert

Hartmut 30.06.2017 20:01

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Chessguru (Beitrag 67547)
Hallo Wolfgang,



da kommst du zu einem weiteren Problem. Die niedrigste Fide Elo beträgt 1000...

Gruß
Micha

Sind sie jetzt schon auf 1000 runter? Meine letzte Information war eigentlich 1200...

Mythbuster 30.06.2017 20:14

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Hartmut (Beitrag 67552)
Sind sie jetzt schon auf 1000 runter? Meine letzte Information war eigentlich 1200...

... 1000 ist der Wert, den ein Anfänger hat, der die Regeln selbständig beherrscht und eine Partie ohne Hilfe spielen kann ... ;)

Wenn man jetzt bedenkt, dass nach CSS Vorstellungen Computer wie ein Mephisto I, II oder auch III dann bei unter 1000 (also eigentlich einem Negativwert) liegen würden, zeigt allein das, wie dümmlich die "Argumentationsketten" sind, die FQ anführt ...

Hartmut 30.06.2017 20:17

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Egbert (Beitrag 67550)
Also auch hier kommen wieder subjektive Vorgaben ins Spiel und ich sehe schon die nächsten Diskussionen aufflammen, vom Arbeitsaufwand für Micha einmal ganz abgesehen.

ELO-Berechnungen sind immer aufwändig wenn man nicht die Quick and Dirty-Lösungen von ELOStat und Co verwendet und bevor man dann anfängt sich den Arbeitsaufwand mit solchen Stauchungsfaktoren, Probeberechnungen etc. zu geben kann man auch gleich nach FIDE-Regeln auswerten.

By the Way: Wenn man das wirklich machen wollte - nur so als theoretische Überlegung - gibt es zumindest hier ein paar Hilfsmittel: http://www.schachbund.de/fide-rating.html

die korrekten Berechnungsregeln findet man hier: http://www.fide.com/fide/handbook.ht...7&view=article

und wenn man es sich ein wenig einfacher machen will. Das Programm Swiss Perfekt (kann auch Rundenturniere oder Wettkämpfe bearbeiten) rechnet zwar nicht die kompletten ELO-Zahlen aus, aber alle für die Berechnung nötigen Werte. Nur der letzte Schritt, und das ist eine einfache Addition oder Subtraktion, muss noch von Hand gemacht werden (oder man erstellt sich eine Excel Tabelle dafür).

Aber solang keiner Lust hat sowas mal in Programmcode umzusetzen müssen wir halt mit den - leider sehr unvollkommenen - Lösungen leben. Und sie werden - da kann man darüber diskutieren was man will und mag - immer unvollkommen und für den einen oder anderen unbefriedigend bleiben, weil schon die ganze Berechnungsart in sich unlogisch ist.

Solwac 30.06.2017 21:41

AW: Mm5 nur 1575 ELO ??
 
Zitieren:

Zitat von Hartmut (Beitrag 67541)
Ganz einfach. Wenn die Gewinnerwartung feststeht und sich nicht ändert, weiss man ja wer der bessere ist. Ansonsten wäre die Gewinnerwartung und damit die ganze Berechnungsgrundlage logisch falsch.

Verstehe ich nicht. Ich gebe Dir zwei Schachcomputer, deren Eigenschaften stehen fest und damit auch die Gewinnerwartung. Aber welchen Wert hat sie?

Zitieren:

Zitat von Hartmut (Beitrag 67541)
Und das ist eben der falsche Ansatz. Dann braucht man auch keine ELO-Zahlen berechnen. Denn es gibt ja nur 2 mögliche Zustände. Entweder ist die Gewinnerwartung falsch oder sie ist richtig.

Verstehe ich auch nicht. Eine Gewinnerwartung ist ein Prozentwert und keine Boolsche Variable. Und da die Gewinnerwartung i.A. nicht bekannt ist, können wir nur durch Wettkämpfe versuchen eine möglichst gute Schätzung zu geben, samt Unsicherheit.

Zitieren:

Zitat von Hartmut (Beitrag 67541)
Dabei vergisst Du aber, dass nach Verlassen der Eröffnungsbibliothek eventuell bei 2 als völlig gleichwertig berechneten Zügen eventuell der Zufallsgenerator eine Rolle spielt und die Partien dann unterschiedlich ausfallen können. Bei den Schachengines vergisst Du ferner dass hier zichtausend Einstellungen möglich sind mit denen man die Suche verfeinern könnte, etc. Das ist zwar ein mathematisch endliches Problem, aber du kannst noch so viele Partien spielen, du wirst nie alles abdecken (zumindest nicht in diesem Leben). Dass man dann auch noch bei UCI-Engines verschiedene Bibliotheken einbinden könnte, käme noch erschwerend hinzu. Das ELO-System lebt von den sich ändernden Gewinnerwartungen. Und das ist auch die gerechteste Möglichkeit der Annäherung.

Die letzten zwei Sätze haben aber doch nichts mit den Zeilen davor zu tun. :confused:


Alle Zeitangaben in WEZ +2. Es ist jetzt 15:25 Uhr.

Powered by vBulletin (Deutsch)
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
©Schachcomputer.info