Schachcomputer.info Community

Zurück   Schachcomputer.info Community > Schachcomputer / Chess Computer: > Teststellungen und Elo Listen / Test positions and Elo lists


Antwort
 
Themen-Optionen Ansicht

  #1  
Alt 07.01.2019, 14:08
Benutzerbild von spacious_mind
spacious_mind spacious_mind ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.06.2006
Ort: Alabama, USA
Land:
Beiträge: 1.927
Abgegebene Danke: 47
Erhielt 327 Danke für 197 Beiträge
Aktivitäten Langlebigkeit
0/20 18/20
Heute Beiträge
0/3 sssss1927
Gedanken ueber Schachcomputer Performance

Was Frank schreibt in sein ELO Bericht ist interessant und mich dann reizte diesen Bericht zu Schreiben.

Hier will mal kurz Zeigen wie die alten computers alle in bestimmte spiele ihre schwaechen und staerken haben. Diese resultaten die ich hier zeige sind nicht werte aus bestimmte Stellungen sondern das benehmen von den Schachcomputers innerhalb gesamt spiele. Ich finde sehr lustig wenn ich mir es anschaue.

Code:
Name	                                   Level	G1	G2	G3	G4	G5	RATING
RESURRECTION FRUIT V. '05	             30S FIXED	2780	2325	2870	1812	2340	2338
MEPHISTO BERLIN PRO LONDON ACTIVE	LV 4 30S AV.	2494	2471	2555	1724	2414	2259
REVELATION LONDON ACTIVE	             30S AV.	2386	2309	2525	1845	2398	2240
REVELATION VANCOUVER ACTIVE	             30S AV.	2492	2398	2369	1814	2260	2209
MEPHISTO VANCOUVER 68000 ACTIVE	             30S AV.	2486	2354	2478	1716	2093	2155
MAXSTATION 386SX-16 MHZ GENIUS 1.0	     30S AV.	2346	2374	2550	1762	2025	2150
REVELATION ROMA	LV 50                        30S AV.	2326	2414	2512	1639	2197	2147
MEPHISTO LONDON 68000 RISKY	             30S AV.	2418	2210	2536	1694	2201	2144
MEPHISTO BERLIN 68000	                     30S AV.	2434	2391	2435	1576	2263	2141
MEPHISTO LONDON 68000 SOLID	             30S AV.	2526	2147	2378	1699	2176	2118
REVELATION DALLAS	                LV 3 30S AV.	2346	2223	2527	1672	2149	2117
SAITEK BARRACUDA	                     30S AV.	2480	1980	2215	2026	1682	2048
MEPHISTO MONTANA	                  H1 30S	2386	1951	2305	2037	1682	2046
RADIO SHACK MEGA 2050X	                  H1 30S	2386	1936	2215	2039	1746	2042
FIDELITY ELITE PREMIERE 2265	       LV A5 30S AV.	2508	2093	2342	1505	1956	1998
FIDELITY ELITE PREMIERE VANCOUVER      LV A5 30S AV.	2696	1841	2258	1559	1999	1990
CHESS KING TRIOMPHE	               LV  3 30S	2008	1514	1807	1650	1452	1665
SYSTEMA GEMINI PLUS	               LV 48 30S AV.	2132	1282	1875	1638	1421	1642
SAITEK MK 12 TRAINER	               LV  4 15S	1854	1430	1682	1708	1407	1613
SAITEK SENSOR CHESS MOD. 165	       LV  4 20S	2016	1349	1623	1660	1422	1601
PERI BETA	                          A4 30S	2028	1462	1616	1645	1330	1600
FIDELITY SILVER BULLET	               LV  4 30S	2150	1345	1560	1533	1443	1577
SCISYS EXECUTIVE CHESS	               LV3 4 30S	2036	1286	1623	1511	1214	1507
NOVAG MICRO CHESS	               LV3 5 25S	1952	1218	1364	1759	1194	1506
ZB ganz oben in der Liste Resurrection Fruit '05 ein starkes Programm, versteht Test spiel 4 ueberhaupt nicht. Alle Langs verstehen Testspiel 4 uebhaupt nicht und fallen in dieses spiel bis auf 1500 ELO herunter.

Und das ist das Lustige fuer mich dabei ueber den gesamten Spiel 4 ablauf da findet sogar ein Systema Gemini Plus oder Saitek Sensor Chess bessere zuege waehrend den gesamten spiel ablauf als der Elite Premiere.

Ein paar Morsch sind oben auch dabei, diese zeigen das sie Ihre groessere schwaechen haben in den ablauf von Testspiel 5.

Diese beispiele sagen nicht das ein Vancouver gegen den Systema Gemini verlieren wuerde. Was sie aber zeigen ist das alle Programme Ihre staerken und schwaechen haben mit Ihre zug wahl in bestimmte situationen. Ein schwacher computer stolpert sogar solche in situationen auf ein besseren Zug als ein starker computer.

Der Mensch der wird sobald er erkennt in bestimmte Spiel situationen das der Vancouver 1500 ELO leistung bringt dann dieses auch naturlich jedes mal voll ausnuetzen. Er uebersieht dann auch das der Vancouver in andere spiel situationen sogar auch ueber 2500 ELO spielen koennte.

Bei Fruit '05 zb sieht man auch das er in Spiel 4 mi sein 1800 ELO Wert auch fuer normale gute spieler schlagbar ist sobald man seine schwaechen erkennt.

Die besten computers fuer gegen Menschen spiele oft sind nicht die staerksten auf einer Liste sondern die programme die im gross und ganzen am ausgeglichenen spielen ueber mehrere spiel situationen und sich nicht so gross hoch und herunter schwanken lassen.

Viele Gruesse
Nick

Geändert von Chessguru (07.01.2019 um 15:08 Uhr) Grund: Tabellendarstellung korrigiert
Mit Zitat antworten
Folgende 5 Benutzer sagen Danke zu spacious_mind für den nützlichen Beitrag:
Chessguru (07.01.2019), Egbert (07.01.2019), Mythbuster (07.01.2019), pato4sen (07.01.2019)
  #2  
Alt 07.01.2019, 15:12
Benutzerbild von spacious_mind
spacious_mind spacious_mind ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.06.2006
Ort: Alabama, USA
Land:
Beiträge: 1.927
Abgegebene Danke: 47
Erhielt 327 Danke für 197 Beiträge
Aktivitäten Langlebigkeit
0/20 18/20
Heute Beiträge
0/3 sssss1927
Re: Gedanken ueber Schachcomputer Performance

Ach ja ich hatte vergessen zu sagen. Test Spiel 4 ist ein Anti-Computer schachschpiel aus dem Jahr 1793! Als Schwarz erziehlte Philidor 2339, gute 500 Punkte mehr als Fruit'05 und das ohne computers oder schachbuecher. Zu den Zeitpunkt gab es keine Buecher ausser das Buch von Greco von 150 Jahre frueher. Bis Philidor selber buecher schrieb und zum gleichen Zeitpunkt Musik schrieb. Sein Gegner Thomas Bowdler erzielte 2164 ELO. 350 ELO mehr als Fruit'05.

Ich denke mal das die Leute die meinen Anti-Computer Schach erfunden zu haben treumen und sollten mal Philidor anschauen der so naturlich spielte. Also Philidor = Erfinder von Anti-Computer Schach 200 Jahre vor es schachcomputer gab!

Mit sein Spielstiel ich denke mal das der Philidor nach ein paar uebungen saemtliche computers in der Liste die ich zeigte schlagen wuerde ohne grosse muehe und das ohne Buch oder Computer assistance

Viele gruesse
Nick
Mit Zitat antworten
Folgender Benutzer sagt Danke zu spacious_mind für den nützlichen Beitrag:
  #3  
Alt 07.01.2019, 17:13
user_2071
Gast
 
Beiträge: n/a
Aktivitäten Langlebigkeit
0/20 0/20
Heute Beiträge
sssssssss
AW: Gedanken ueber Schachcomputer Performance

Nick,

ich mache keinen Hehl daraus, dass mich die Ansatzpunkte von Dir begeistern. Das ist genau das was ich mir wünsche.

Wollte mich auch intensiver mit Deinen Ansatzpunkten auseinandersetzen und dachte kürzlich erst wieder, aufgrund einer Diskussion im Hiarcs Forum, an Deine Worte.

Hatte Polgar 10Mhz - Yeno 532 XL laufen (weiß jetzt nicht genau aber zwischen 250 - 300 Elo Unterschied). Polgar spielte die Eröffnung zwar passiv aber gut und kam in Vorteil. Das Programm von Ulf typisch mit schlechten Bauernketten bei vielen Figuren auf dem Brett. Dann begann das späte Mittelspiel. So langsam kämpfte sich der Yeno von -2.5 zurück auf -1.0 und dann der Aussetzer vom Polgar und Ulf Rathsmann gewann aufgrund von zwei schlechten Zügen des Polgars die hintereinanderkamen.

Geht mit 1:0 für den Yeno in die Elo Berechnung ein.
Der typische Käse!

Tatsächlich war das Bild doch ein ganz anderes:
Der Polgar spielte zusammengenommen die bessere Partie. Der Yeno spielte taktisch gut aber positionell katastrophal. Zusammengenommen, Fehler auf beiden Seiten aber auch gute positionelle Züge vom Polgar und taktisches vom Yeno.

Ich bewertete die Partie mit 45%:55% für den Polgar, obwohl der Yeno gewonnen hatte (ein Bewertungssystem welches ich teste ... nichts besonderes, nicht reif um mehr dazu zu schreiben).

Zurück zu Deinem Posting!
Die Frage ist wie wir Dein Konzept so umsetzen, dass sich vergleichbar zu einer Ratingliste nachvollziehbare Informationen bilden.

Wie viele Partien sind notwendig?
Die Partien sorgfältig auszuwählen ist, die für Ratingzwecke dann eingesetzt werden ist wahrscheinlich eine andere Frage.

Fest steht, das der Ansatz von Dir ein wirklicher richtig guter Ansatz ist.

Grob gesagt:
Je niedriger die Elo desto mehr Fehler in einer Partie (kein Geheimnis). Fehler können Partieentscheidend sein (kein Geheimnis), müssen es aber nicht (auch kein Geheimnis). Bei Schachcomputer Partien oft zu sehen, dass weder Schachcomputer 1 oder Schachcomputer 2 den entscheidenden Zug spielen. Lasse z. B. immer gerne Wasp mitlaufen, wenn 2 Schachcomputer gegeneinander spielen. Innerhalb einer einzigen Partie passiert das gar mehrfach das keiner der beiden Schachcomputer den richtigen Weg sieht, der gar einen 1.500 Elo Spieler sofort ins Auge springt.

Muss ehrlicher Weise schreiben, dass meine persönlichen Ansätze in eine ganz andere Richtung gehen (Ansätze, die ich gar seit vielen Jahren verfolge), diese aber nach näherer Betrachtungsweise im Vergleich zu Deinen ...

Murks will ich nicht schreiben ...
über Board werfen will ich die ja auch nicht ...
Wie soll ich schreiben?
Deine begeistern mich halt, sind also besser.
Jetzt ist es raus!

Ich wollte mich schon zur Jahreswende damit beschäftigen aber ich bin derzeit ein wenig lahmgelegt (persönliche Gründe).

Aber die Frage die ich mir stelle:
Wie viele dieser Partien brauchen wir, damit die Ratings genau werden. Wie können wir dann abgrenzen zwischen "Mittelspiel / Übergang Endspiel und Endspiel? Das muss da irgendwie berücksichtig werden.

Also, ganz großes Kino!
Weil das was hier beschrieben wird ist die Realität und nicht die dumme Elo für sich allein gestellt.

Nur wie bekommen wir das noch besser verpackt?

Werde mich damit beschäftigen, zurzeit bin ich noch nicht so weit, um irgendetwas brauchbares beizusteuern, weil meine Überlegungen in eine andere Richtung gehen und dafür jetzt hinderlich sind.

Umdenken ist angesagt (bei mir).

Viele Grüße
Frank
Mit Zitat antworten
  #4  
Alt 07.01.2019, 17:29
user_2071
Gast
 
Beiträge: n/a
Aktivitäten Langlebigkeit
0/20 0/20
Heute Beiträge
sssssssss
AW: Gedanken ueber Schachcomputer Performance

Im Detail:

Derzeit meine Denke:
Nehmen wir an wir haben 20 Partien als Basis!
Die werten wir genau so aus, wie von Dir beschrieben. Die Partien müssen natürlich gut ausgewählt sein!
Gehe davon aus, dass Du Dir hier schon Gedanken gemacht hast bzw. gut ausgewählt hast.

Könnten wir ja weiter mit Elo arbeiten aber zusätzlich die gefundenen Fehler in ein Diagramm einarbeiten.

Fehler bei verbliebenen Figuren auf dem Brett:
- bei 30-28 = 0, 27-25 Figuren auf dem Brett = 2, 24-21 = 7, ... bis zu 2.

Dann könnten wir anhand einer Grafik neben Elo darstellen, in welchen Partiephasen die meisten Fehler produziert wurden. Wir könnten sofort sehen, welche Programme in welcher Partiephase eine Stärke oder Schwäche haben. Könnten Kurven von gleichen Programmen aufeinanderlegen. Und das wäre erst der Anfang dessen was möglich wäre.

Hoffe Du kannst das so ein wenig nachvollziehen wie ich mir die Darstellung vorstelle.

1. Berlin 68000 ... 2.000 Elo ... und dahinter die statistische Darstellung.
2. Roma 68000 ... 1.875 Elo ... und dahinter die statistische Darstellung.

Jetzt ziehen wir uns alles von Richard Lang zusammen und legen die Kurven aufeinander.

Irgendwie so ...
Das wäre alles sehr einfach umsetzbar.
Na ja, zunächst mal verhältnismäßig einfach!

Ich schrieb Dir glaube ich auch im Hiarcs Forum, dass sich hierfür auch ein Excel Experte brennend interessieren würde.

Die Frage ist nur, wie viele von diesem Partien benötigen wir um ein wirklich gutes und genaues Ergebnis zu produzieren?
Sicherlich ist viel weniger Material erforderlich als wir bei einer Ratingliste erzeugen müssten?!

Gruß
Frank

Geändert von user_2071 (07.01.2019 um 17:34 Uhr)
Mit Zitat antworten
  #5  
Alt 07.01.2019, 18:29
Benutzerbild von udo
udo udo ist offline
Lebende Foren Legende
 
Registriert seit: 19.08.2006
Ort: Itzehoe
Alter: 69
Land:
Beiträge: 2.200
Abgegebene Danke: 330
Erhielt 1.137 Danke für 677 Beiträge
Aktivitäten Langlebigkeit
9/20 18/20
Heute Beiträge
0/3 sssss2200
AW: Gedanken ueber Schachcomputer Performance

Was sind das den für Stellungen bei G1- G5 , bzw. Spielsituationen?

Ich nehme an, G1 ist Eröffnung, G5 ist Endspiel, aber gerade G4, wo die Lang Programme relativ schlecht sind, was ist das?
Mit Zitat antworten
  #6  
Alt 07.01.2019, 18:48
user_2071
Gast
 
Beiträge: n/a
Aktivitäten Langlebigkeit
0/20 0/20
Heute Beiträge
sssssssss
AW: Gedanken ueber Schachcomputer Performance

Hallo Udo,

g für game!
Game 1, Game 2 ... G1, G2

Gesamtergebnis für die dargestellten Partien zusammengezogen.

Also, nicht das eher weniger aussagende Endergebnis einer Partie werten, sondern die komplette Partie checken und Zugbewertungen durchführen. Master-Partien herausfinden, die sich für solche Bewertungen eignen.

Gab zu Schachcomputer Zeiten mal Bücher wo GM Züge bewertet wurden. Dann konnte Punkte erzielt werden. Eine vergleichbare Vorgehensweise.

Jeder Zug kann grundsätzlich bewertet werden.
Finde das macht bei Schachcomputern auch mehr Sinn als ein Endergebnis zu bewerten.

Und so spielte Fruit z. B. eine Partie die nach 1.800 Elo aussah, hatte einen voller Aussetzer drin. Gemini in Partie 1 überraschte.

Sammeln von Fehlern ist das Thema hier!
Wenn wir Fehler sammeln und Anzahl der Figuren auf dem Brett den Fehlern zuordnen können entstehen sehr schöne Stats.

Gibt viele Ansatzpunkte:
Nur bei diesem Ansatzpunkt werden Besonderheiten der Programme schneller ersichtlich. Einzig und allein übrig bleibt nur ein Kritikpunkt: Wurde jetzt ein guter Zug zufällig gespielt oder nicht. Aber wie das mit Statistiken ist ... weniges was fragwürdig ist verschwindet in der Masse der statistischen Auswertung.

Dieser Ansatzpunkt ist einfach.
Zugbewertungen zwecks Spielstärkemessung sind nicht neu.

Aber hier wird es kontinuierlich abgetestet und wir sehen wie stark dann die Endergebnisse sind wenn diese zusammengefügt werden. Und aus diesen Endergebnissen läßt sich viel basteln.

Spielwiese für Statistiker!!

Viele Grüße
Frank

Der Umkehrschluss ist:
Schachcomputer A - Schachcomputer B
Fertige Partie mittels Master Engine, Enscheidungsengine würden wir bei 3-Hirn sagen analysieren lassen.
Oder taktische Analyse bei ChessBase ... ChessBase gibt einen Prozentwert für das taktische Ergebnis aus.

Milano (Taktik 45%) - TurboKing B (Taktik 32%), 0:1 ... aha, da ist etwas faul gewesen.
Etc..

Sind derzeit einige spannende Statistik Ideen die entwickelt werden.
Die hier z. B. reizt ...

Geändert von user_2071 (07.01.2019 um 19:07 Uhr)
Mit Zitat antworten
  #7  
Alt 07.01.2019, 22:23
Benutzerbild von Rasmus
Rasmus Rasmus ist offline
Mephisto London 68030
 
Registriert seit: 26.08.2016
Land:
Beiträge: 373
Abgegebene Danke: 165
Erhielt 443 Danke für 175 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
1/20 8/20
Heute Beiträge
0/3 ssssss373
AW: Gedanken ueber Schachcomputer Performance

 Zitat von Frank Quisinsky Beitrag anzeigen
Nick,Geht mit 1:0 für den Yeno in die Elo Berechnung ein.
Der typische Käse!
Überhaupt kein Käse, so ist Schach. Da kann nunmal ein einziger Zug eine an sich gute Partie wegwerfen. Spielstärker ist der, dem das auf lange Sicht seltener passiert.
Mit Zitat antworten
Folgende 4 Benutzer sagen Danke zu Rasmus für den nützlichen Beitrag:
Manfred Wolff (08.01.2019), marste (08.01.2019), Mythbuster (07.01.2019), Wolfgang2 (07.01.2019)
  #8  
Alt 08.01.2019, 00:08
Benutzerbild von spacious_mind
spacious_mind spacious_mind ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.06.2006
Ort: Alabama, USA
Land:
Beiträge: 1.927
Abgegebene Danke: 47
Erhielt 327 Danke für 197 Beiträge
Aktivitäten Langlebigkeit
0/20 18/20
Heute Beiträge
0/3 sssss1927
Re: Gedanken ueber Schachcomputer Performance

Ich werde gleich versuchen meine Antwort zu Schreiben auf Englisch weil wenn ich das auf Deutsch versuche dann werde ich es bestimmt nicht gut erklaeren koennen.

Gruss
Nick
Mit Zitat antworten
  #9  
Alt 08.01.2019, 00:38
user_2071
Gast
 
Beiträge: n/a
Aktivitäten Langlebigkeit
0/20 0/20
Heute Beiträge
sssssssss
AW: Gedanken ueber Schachcomputer Performance

Hallo Rasmus,

diese Spielchen haben was mit "Objektiv" und "Subjektiv" zu tun.

Warum findet Person A Tal gut?
Warum findet Person B Novag geil?
Person C ist TheKing Fan!
Person D mag den SuperConny!

Frage den Super Conny Fan:
Warum findest Du den Super Conny gut?!

Kommt nicht als Antwort: 1800 Elo, eine dumme Zahl aus 1:0, 0:1 und Remis.
Da kommt eine ganz andere Antwort. Da muss eine ganze andere Antwort kommen sonst schaut das irgendwie komisch aus.

Frage den SG Wattenscheid 09 Fan.
Da kommt nicht Liga IV 25 Punkte nach 21 Spielen ... shit, will gar nicht daran denken, verschweige das ja lieber.
Würde das also subjektiver verpacken ... WENN DIE CHANCE BESTEHT (menschlich).

Egal was dann als Antwort kommt: Subjektive Komponente!
Die Antwort könnte sich aber auch objektiver gestalten.

Fakten, Fakten, Fakten ... Focus!
Fakten bedeutet nicht nur in Zahlen zu reden, die ein Dritter nicht versteht oder die in sich nicht logisch sind weil unterschiedlich ausgelegt.

Oft denke ich mir ...
Wenn nicht "Mission Control Center" hoffentlich nicht die Damen Boutique um die Ecke. Wenn die Damen Boutique um die Ecke als Antwort gibt:

1800 Elo ... Mittelspiel = 76%, Übergang Endspiel = 28%, Endspiel = 16% (jetzt mal der Super Constellation in Realität)
Was soll diese dumme Frage, bist Du nicht im Bilde?

Und mir dann erzählt das Super Conny das Mittelspiel sehr aufregend spielt und dort extrem stark ist.

Würde jetzt noch ein bissel was dahinter stehen:
Opferbereitschaft mit einer Prozentzahl
und in einer Liste plötzlich Schachcomputer auftauchen die das gar besser spielen ...

Oh mein Gott ...
Wäre das ganze Volk wieder unterwegs.

Wenn die Dame mir das erzählen würde dann glaube mir ...
Ich würde da stehen wie bekloppt und nicht abgeholt.
Ich würde sofort Herrenmode verkaufen.

Also:
Computerschach = Mission Control Center beim Schach allgemein.
Irgendwie muss das lösbar sein und zwar schlüssig und am besten von der Community selbst.
Bevor überspitzt die Damen Boutique um die Ecke ...

Das was Nick hier gepostet hat, absolut schlüssig.
Muss ja nur auf das gebildete Gesamtergebnis schauen!

Gruß
Frank

Geändert von user_2071 (08.01.2019 um 00:59 Uhr)
Mit Zitat antworten
  #10  
Alt 08.01.2019, 01:28
Benutzerbild von spacious_mind
spacious_mind spacious_mind ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.06.2006
Ort: Alabama, USA
Land:
Beiträge: 1.927
Abgegebene Danke: 47
Erhielt 327 Danke für 197 Beiträge
Aktivitäten Langlebigkeit
0/20 18/20
Heute Beiträge
0/3 sssss1927
Re: Gedanken ueber Schachcomputer Performance

There is a book that I played a thousand times when I was young and still enjoy it today it was written in the late 1960's it is called Solitaire Chess.

https://www.amazon.com/Solitaire-Che.../dp/4871878236

This one was written by Al Horowitz. But there are also others with the same concepts that are fun for humans to play when they are at home alone. It has a points rating system but it is very basic.

Peter mentioned Yagaz, his ideas are similar and probably have the same roots but also have the same problems today as the book example I just gave.

The problem with these books today is that if you run the games through a modern computer, you see that the people who wrote them had something important missing.

1) They did not allow for the hundreds of alternative reasonably good moves. As they gave scoring points for one or two moves and that is it.

2) In many cases the points they gave were wrong when you study them today as they missed better moves which they evaluated as zero points.

So although these books are great, they had gaps in knowledge and research. It did not matter if Grandmaster helped them to create it. Modern analysis will show the mistakes made.

But I loved these books and the concept behind them. So in 2014 when I created these tests I decided to use modern technology to help me evaluate everything. Every possible move, move by move for any game.

But to start I had to sit back and think through the exact same questions which are being asked today, because I knew that regardless of what is done people will find a way to critize its accuracy, choice of game etc etc.

So before I even started working on the first test, I made a small list of problems:

1) What games do I pick
2) How do I know that the evaluations are correct
3) How do I evaluate them
4) etc...

And when I started making these notes, just like comments I am reading here in the posts. A light bulb went on and it said this is crazy!

1) Why am I worried about which game to pick?
2) Why am I worried about the absolute exactness of the evaluation?

Well for 1) and 2) I realized that my questions and worrying about them is absolutely crazy and totally irellevant if I plan to evaluate every single move possible.

So the question is why is it crazy?

Well lets start with the obvious. In 2014 Stockfish 8 or 9 was the strongest program, cant remember which. It sits at 3400 ELO and is about 600 ELO better than the best human player in existence. So why would I be worried about it evaluating a move here and there perhaps differently to Houdini or Komodo. Who cares and what difference does it make.

Let me explain the "Who cares" comment so I will put it again in bold and perhaps the Light will shine with more people. Here is the Light:

I AM EVALUATING EVERY POSSIBLE MOVE WITHIN EVERY POSSIBLE MOVE IN A GAME AND SCORING IT!

That is the Light that has to first shine before the game rating system can be understood. So what does that mean?

Lets say the best move within a given tolerance gets 30 points. And the next move which is almost as good gets 29.4 points and so on down to zero. What difference does it make to the final score whether I used Stockfish, Komodo, Houdini or LC0? The answer is the almost "ZERO DIFFERENCE"

Why? Well because if Komodo evaluated the one move here of there better than Stockfish and vice versa over the the 238 moves that are being evaluated they probably cancel each other out. So lets say over these 5 games there is a difference of 30 points between the best programs out of a Total of 6780 points what is that as a percentage 30/6780? Well it is 0.44% What if the difference is 100 points? Well it is 1.4% Well in a rating system 1.4% amounts to a +/- 14 ELO on a 2000 ELO computer.

So once you sit back and realize this you start to laugh at how crazy you are to even ask a question such as what if the evaluation is wrong from a Stockfish that has a rating of 3400 ELO and where you are planning to evaluate each move by about an hour at a time to get to at least 35 ply or higher (this was a few years ago when i did this test). Try running Critter 1.6 rated CCRL at 3159 ELO. Try running it at 3 minutes per move or 30 seconds per move and you will see that it will not come close to 35-50 ply. So yes once you know this, you also know that you can pretty much evaluate everything and rate it.

The second light that needs to shine is this: IT MAKES ABSOLUTELY NO DIFFERENCE WHICH CHESS GAME YOU USE!

That is the second misconception. I can rate any game I want. Because the game itself is cosmetic. It is the evaluation from Stockfish for example that matters.!!!

Once you get past these two fundamental misconceptions which are bred into us because of the Tests we grew up with like BT2450 or BT2630 then you will realize that there are other ways to do this nowadays!

Anyway this what made me realize that I could do something different, be very accurate in comparisons, not only in the test scores between computers, but also at the same time have a very accurate tool for Clone tests and related programs as you can see deviations or no deviations in each of the 5 games.

I converted the test scores to ELO only for cosmetic reasons because I just like everyone else here likes to get a feel were the rating stands in ELO. But it is cosmetic only.

Frank you asked how many games are needed?

Well when I realized that it made no difference which game to evaluate. I then became nostalgic. I wanted to also rate famous names in history right from the beginning to today. That is why I started with the 1st test which came from a Poem written in the year 1475 that follows a game between Francesco di Castellvi playing Narcisco Vinyoles. That is the earliest ever chess game recorded in history. The second game is the Turk (Automaton) from 1770. The 3rd game is a beautiful series of sacrifices made by Thomas Bowdler in the year 1788. Games 4 and 5 are Philidor. All these games are pre 1800.

I am planning to someday do famous games and players between 1800-1900 and then 1900 to 2000 and then 2000 to now.

As I said it makes no difference to me what the game is. I just want them to be famous players and beautiful games that lets me also compare the rating of the human who played them. Not just the computer that is being tested.

Just imagine for example if I picked 20 Steinitz games or picked his World Championship games. I would be able to rate Steinitz as a player and compare him to Lasker for example. The possibilities are endless.

Anyway to answer your question my 5 games is too small a representation for obtaining accurate data across many different styles of play. But if for example I had another set of games for each of the following timelines then I think it would be extremely accurate and fun to test and play:

5 for before 1800
5 for 1800-1850
5 for 1850-1900
5 for 1900-1950
5 for 1950-2000
5 for 2000-2019

Now these should be classic Games..ie Anderssen's Immortal Game !!

BTW each game because of the depth of analysis needed takes about a week to prepare so you can see why so far I had only done 5 games.

Best regards

Geändert von spacious_mind (08.01.2019 um 01:34 Uhr)
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu spacious_mind für den nützlichen Beitrag:
Fluppio (09.01.2019)
Antwort

Themen-Optionen
Ansicht

Forumregeln
Du bist nicht berechtigt, neue Themen zu erstellen.
Du bist nicht berechtigt, auf Beiträge zu antworten.
Du bist nicht berechtigt, Anhänge hochzuladen.
Du bist nicht berechtigt, deine Beiträge zu bearbeiten.

BB code ist An
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist An.

Gehe zu

Ähnliche Themen
Thema Erstellt von Forum Antworten Letzter Beitrag
Idee: Gedanken eines Schachcomputer-Liebhabers Egbert Die ganze Welt der Schachcomputer / World of chess computers 16 03.10.2017 13:04
Info: Gedanken zum Thema Schachprogramm und Elo Solwac Die ganze Welt der Schachcomputer / World of chess computers 3 06.10.2016 07:51
Frage: ueber Milano Pro spacious_mind Die ganze Welt der Schachcomputer / World of chess computers 3 08.12.2007 18:37


Alle Zeitangaben in WEZ +1. Es ist jetzt 10:01 Uhr.



Powered by vBulletin (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
©Schachcomputer.info