Schachcomputer.info Community

Zurück   Schachcomputer.info Community > Schachcomputer / Chess Computer: > Teststellungen und Elo Listen / Test positions and Elo lists


Antwort
 
Themen-Optionen Ansicht

  #21  
Alt 04.02.2023, 09:46
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Next step is an easy one: let's find out the Elo gain value per doubling. No need for hard calculations, the worksheet does it for us: just scale the speed according to number of doubling, and add a linear regression line - the slope factor is the value:



The gain is 61.48 Elo points per doubling (on average, according to the Khmelnitsky test).
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	KT_doubling.jpg
Hits:	314
Größe:	19,3 KB
ID:	5857  
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Chessguru (04.02.2023), Egbert (04.02.2023)
  #22  
Alt 04.02.2023, 10:45
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

So far we "only" leveraged the Khmelnitsky test data, in a rather straightforward way. Let's now explore a more hazardous area: try to standardize the data, introducing the knowledge we have thanks to the Wiki-Elo-List.
As the KT results do comply with the rule of thumb (constant Elo gain per doubling), to my understanding we only need a shift in the KT score to better align with the Wiki-Elo-List (meaning: add a constant value).
Do you remember the polynomial formula displayed above? We juste need to substitute a better value to the final constant (and keep the x² and x part of the formula unchanged).
So far, the scope of the test only includes two devices for which the Wiki-Elo-List provides values: the fast MephiIIIS and the Ph.Revelation. But we have a third device with a known Elo within the list: the Ph.Revelation II. Let's use it as well, as the polynomial formula can provide an estimate for its KT Elo:

Code:
                                SMhz	   Constant-free          Wiki Elo       Delta       Standardized KT Elo
IIIS Glasgow                    7.2              0.0                                                 1701
IIIS Glasgow 12Mhz              12              53.2                1707        1653.8               1754
Phoenix Revelation              38             165.6                1900        1734.4               1866
Phoenix Revelation II           109            259.0                1973        1714.0               1960
Phoenix Revelation II AE        196            307.2                                                 2008
Phoenix Reflexion 1,5Ghz        244            324.4                                                 2025
Phoenix Reflexion 1,7Ghz        272            332.8                                                 2034
Mephisto Phoenix                480            375.3                                                 2076
                                                               average delta:   1700.7
The "constant-free" formula is -21.3015036253151*LOG10(SMhz/7.2)^2+244.626198127018*LOG10(SMhz/7.2)
(see above formula within the graph)
The delta is the Wiki-Elo minus the constant-free value; from which an average value is calculated.
The standardized KT Elo is of course the same polynomial pattern with the average delta as a new constant: -21.3015036253151*LOG10(SMhz/7.2)^2+244.626198127018*LOG10(SMhz/7.2)+1700.7

This provides this new graph with "better" Elo values (better meaning standardized according to the Wiki-Elo-List data available so far):



'x' is still a bit of a complicated value (log of the speed ratio), so let's expand the x axis to the SMhz (speed in Mhz) value, and add a logarithmic regression curve to get a less cumbersome formula:



New formula displayed: 89.7821030247115*LN(SMhz)+1531.25499276664
or, should you prefer the log function: 206.730932042356*LOG10(SMhz)+1531,25499276664

Resulting tab, using either of the above:
Code:
IIIS Glasgow                1708
IIIS Glasgow 12Mhz          1754
Phoenix Revelation          1858
Phoenix Revelation II       1952
Phoenix Revelation II AE    2005
Phoenix Reflexion 1,5Ghz    2025
Phoenix Reflexion 1,7Ghz    2035
Mephisto Phoenix            2086
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	Std_KT.jpg
Hits:	305
Größe:	21,0 KB
ID:	5858   Klicke auf die Grafik für eine größere Ansicht

Name:	Std_KT2.jpg
Hits:	305
Größe:	20,0 KB
ID:	5859  
Mit Zitat antworten
Folgende 5 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Chessguru (04.02.2023), Egbert (04.02.2023), Roberto (24.07.2023), Thomas J (04.02.2023), udo (14.02.2023)
  #23  
Alt 04.02.2023, 11:05
Benutzerbild von Egbert
Egbert Egbert ist offline
Lebende Foren Legende
 
Registriert seit: 20.12.2009
Ort: Dreieich
Alter: 60
Land:
Beiträge: 9.583
Abgegebene Danke: 14.004
Erhielt 16.513 Danke für 6.421 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
13/20 15/20
Heute Beiträge
0/3 sssss9583
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Hello Eric,

very nice, the Elo numbers should now harmonise very well with our existing lists. I am curious, should Mephisto Glasgow on Mephisto Phoenix actually get to approx. 2080 Elo in my competitions, that would be a real surprise for me. My experience has shown that the performance of Mephisto Glasgow is extremely dependent on the opponent. Very nice to see in the modest result against the Revelation II AE CXG Sphinx 40 with approx. 1983 Elo. Against the Novag Super Expert C, however, it was already around 2070 Elo and currently against Mephisto Dallas 68000, 12 MHz it looks like an even better result than 2070 Elo could come out. But of course after 3 games it is not yet possible to make a reliable forecast. I hope that all my results can contribute to calibrating your highly interesting Khmelnitsky test.

Greetings
Egbert
Mit Zitat antworten
Folgende 3 Benutzer sagen Danke zu Egbert für den nützlichen Beitrag:
Chess Monarch (15.02.2023), Chessguru (04.02.2023), Tibono (04.02.2023)
  #24  
Alt 04.02.2023, 11:09
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

As a conclusion to the outcomes of the test, the KT figures (for those who prefer figures to graphs ):

Code:
 
                        Score  Endgame  Midgame   Opening  Calcu. Std.Endg. Strategy Tactics R.Threats Attack Ct.attack  Defense Sacrifice
IIIS Slow (waits)       1374     1328     1410     1598     1375     1057     1727     1237     1550     1310     1339     1475     1086
IIIS Fast (w/o waits)   1441     1328     1502     1909     1241     1057     1808     1374     1592     1401     1339     1446     1216
Phoenix Revelation      1541     1328     1806     2155     1683     1123     1472     1731     1784     1501     1767     1475     1520
Mephisto Phoenix        1755     1506     1890     2308     1824     1212     1521     2088     2022     1501     1980     1835     1691

MfG, Eric.
Mit Zitat antworten
Folgende 6 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
applechess (14.02.2023), Chessguru (04.02.2023), chessman68 (04.02.2023), Egbert (04.02.2023), Mapi (04.02.2023), Thomas J (04.02.2023)
  #25  
Alt 14.02.2023, 07:53
Benutzerbild von Egbert
Egbert Egbert ist offline
Lebende Foren Legende
 
Registriert seit: 20.12.2009
Ort: Dreieich
Alter: 60
Land:
Beiträge: 9.583
Abgegebene Danke: 14.004
Erhielt 16.513 Danke für 6.421 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
13/20 15/20
Heute Beiträge
0/3 sssss9583
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Good morning Eric,

tournament practice with the Mephisto Glasgow shows that the programme characteristics do indeed correspond to the profile you determined in the "Khmelnitsky test". I am impressed by the significance of this test procedure! If Mephisto Glasgow were improved in terms of endgame theory and endgames in general, it could rise to even higher playing strength regions, especially under Mephisto Phoenix.

Greetings
Egbert
Mit Zitat antworten
  #26  
Alt 14.02.2023, 15:10
Benutzerbild von udo
udo udo ist offline
Lebende Foren Legende
 
Registriert seit: 19.08.2006
Ort: Itzehoe
Alter: 69
Land:
Beiträge: 2.207
Abgegebene Danke: 332
Erhielt 1.148 Danke für 682 Beiträge
Aktivitäten Langlebigkeit
7/20 18/20
Heute Beiträge
0/3 sssss2207
AW: Khmelnitsky test: Mephisto IIIS Glasgow

 Zitat von Tibono Beitrag anzeigen
Bisher haben wir „nur“ die Khmelnitsky-Testdaten auf recht einfache Weise genutzt. Lassen Sie uns nun einen gefährlicheren Bereich erkunden: Versuchen Sie, die Daten zu standardisieren, indem Sie das Wissen einbringen, das wir dank der Wiki-Elo-Liste haben.
Da die KT-Ergebnisse der Faustregel (konstanter Elo-Gewinn pro Verdopplung) entsprechen, müssen wir meines Wissens nur den KT-Wert verschieben, um ihn besser an die Wiki-Elo-Liste anzupassen (dh einen konstanten Wert hinzufügen).
Erinnern Sie sich an die oben gezeigte Polynomformel? Wir müssen nur die letzte Konstante durch einen besseren Wert ersetzen (und den x²- und den x-Teil der Formel unverändert lassen).
Bisher umfasst der Testumfang nur zwei Geräte, für die die Wiki-Elo-Liste Werte liefert: das schnelle MephiIIIS und das Ph.Revelation. Aber wir haben noch ein drittes Gerät mit bekannter Elo in der Liste: das Ph.Revelation II. Lassen Sie uns es auch verwenden, da die Polynomformel eine Schätzung für seinen KT Elo liefern kann:



Code:
                                SMhz	   Constant-free          Wiki Elo       Delta       Standardized KT Elo
IIIS Glasgow                    7.2              0.0                                                 1701
IIIS Glasgow 12Mhz              12              53.2                1707        1653.8               1754
Phoenix Revelation              38             165.6                1900        1734.4               1866
Phoenix Revelation II           109            259.0                1973        1714.0               1960
Phoenix Revelation II AE        196            307.2                                                 2008
Phoenix Reflexion 1,5Ghz        244            324.4                                                 2025
Phoenix Reflexion 1,7Ghz        272            332.8                                                 2034
Mephisto Phoenix                480            375.3                                                 2076
                                                               average delta:   1700.7
Die "konstantenfreie" Formel lautet -21.3015036253151*LOG10(SMhz/7.2)^2+244.626198127018*LOG10(SMhz/7.2)
(siehe obige Formel innerhalb der Grafik)
Das Delta ist das Wiki-Elo minus dem konstanten freien Wert; woraus ein Durchschnittswert errechnet wird.
Das standardisierte KT Elo ist natürlich das gleiche Polynommuster mit dem durchschnittlichen Delta als neue Konstante: -21.3015036253151*LOG10(SMhz/7.2)^2+244.626198127018*LOG10(SMhz/7.2)+1700.7

Dadurch erhält diese neue Grafik "bessere" Elo-Werte (besser bedeutet standardisiert nach den bisher verfügbaren Daten der Wiki-Elo-Liste):



'x' ist immer noch ein etwas komplizierter Wert (Log des Geschwindigkeitsverhältnisses), also erweitern wir die x-Achse auf den SMhz-Wert (Geschwindigkeit in MHz) und fügen eine logarithmische Regressionskurve hinzu, um eine weniger umständliche Formel zu erhalten:



Neue Formel angezeigt: 89.7821030247115*LN(SMhz)+1531.25499276664
oder falls Sie die Protokollfunktion bevorzugen: 206.730932042356*LOG10(SMhz)+1531,25499276664

Resultierende Registerkarte mit einer der oben genannten Methoden:

Code:
IIIS Glasgow                1708
IIIS Glasgow 12Mhz          1754
Phoenix Revelation          1858
Phoenix Revelation II       1952
Phoenix Revelation II AE    2005
Phoenix Reflexion 1,5Ghz    2025
Phoenix Reflexion 1,7Ghz    2035
Mephisto Phoenix            2086
Ich habe das einmal übersetzt, für schlecht Englischkundige wie mich (und auch andere) mittels Übersetzer.
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu udo für den nützlichen Beitrag:
Egbert (14.02.2023), Tibono (14.02.2023)
  #27  
Alt 14.02.2023, 18:31
Hartmut Hartmut ist offline
Lebende Foren Legende
 
Registriert seit: 01.04.2010
Ort: Nürnberg
Alter: 60
Land:
Beiträge: 2.174
Abgegebene Danke: 3.217
Erhielt 1.544 Danke für 898 Beiträge
Aktivitäten Langlebigkeit
2/20 14/20
Heute Beiträge
1/3 sssss2174
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Seems like you need a login there to read it...

 Zitat von Beeco76 Beitrag anzeigen
Hi Eric,

Thank you very much for your detailed analysises.

Like your excellent analysis of the Chessmaster Diamond on your website, they provide valuable information about the strength and weaknesses of the engines.

I've a question regarding the test setting though:

I found a description in German language, how the Khmelnitsky test distinguishes between strategy, tactics, opening, endgame, etc.
(For those, who are interested:
https://www.freechess.info/ueebersic...ing-guide.html)

But where are the human player profiles taken from?

Best regards
Markus
__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3
Mit Zitat antworten
  #28  
Alt 23.07.2023, 20:00
Benutzerbild von Egbert
Egbert Egbert ist offline
Lebende Foren Legende
 
Registriert seit: 20.12.2009
Ort: Dreieich
Alter: 60
Land:
Beiträge: 9.583
Abgegebene Danke: 14.004
Erhielt 16.513 Danke für 6.421 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
13/20 15/20
Heute Beiträge
0/3 sssss9583
AW: Khmelnitsky test: Mephisto IIIS Glasgow

 Zitat von Tibono Beitrag anzeigen
Of course I cannot leave without a synthesis: all in one graph!
A larger one to better zoom on the skills profiles:



...Maybe strategic elements are mainly computed at root level?

... Another small oddity lies in the calculations, where the fast IIIS performs less then the slow one; but otherwise the calculations scores look to range accordingly to expectations.
MfG, Eric
Hello Eric,

I think your assumption could well be correct Thomas Nitsche identified some of the weak points of Mephisto Glasgow in a lecture in 2016. Among other things, one of the main criticisms was that the programme did not consider field control in sufficient depth. This is in line with your observation that certain strategic elements are only taken into account at the root.

Best regards
Egbert
Mit Zitat antworten
Folgender Benutzer sagt Danke zu Egbert für den nützlichen Beitrag:
Tibono (23.07.2023)
  #29  
Alt 24.07.2023, 01:47
Benutzerbild von udo
udo udo ist offline
Lebende Foren Legende
 
Registriert seit: 19.08.2006
Ort: Itzehoe
Alter: 69
Land:
Beiträge: 2.207
Abgegebene Danke: 332
Erhielt 1.148 Danke für 682 Beiträge
Aktivitäten Langlebigkeit
7/20 18/20
Heute Beiträge
0/3 sssss2207
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Interessantes Profil der verschiedenen Mephisto III Varianten. Seltsam , das der Glasgow in Teilbereichen sogar schlechter wird ?

Anscheinend greift die höhere Rechengeschwindigkeit im wesentlichen im Bereich der Taktik, sowie der Erkennung von Drohungen, aber das Schachwissen wird ja nicht mehr, was sich auch in dem Profil herauskristallisiert.
Im Standard Positions Endgame könnte es sogar sein, das der Mephisto III Phoenix etwas berechnet und sieht, was die langsameren Mephisto III nicht gesehen haben, und das entweder falsch interpretiert, oder vorsichtiger spielt, oder gar dem erweitertem Horizonteffekt zum Opfer fällt. Ist zumindestens meine Überlegung dazu .
Aber auch im normalen Endspiel legt er verhältnissmäßig wenig zu, gegenüber den "normalen" Mephisto III.
Taktisch hat er aber einen enormen Leistungssprung nach oben.
Mit Zitat antworten
Folgende 3 Benutzer sagen Danke zu udo für den nützlichen Beitrag:
Egbert (24.07.2023), Roberto (24.07.2023), Tibono (24.07.2023)
  #30  
Alt 24.07.2023, 04:57
Benutzerbild von Egbert
Egbert Egbert ist offline
Lebende Foren Legende
 
Registriert seit: 20.12.2009
Ort: Dreieich
Alter: 60
Land:
Beiträge: 9.583
Abgegebene Danke: 14.004
Erhielt 16.513 Danke für 6.421 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
13/20 15/20
Heute Beiträge
0/3 sssss9583
AW: Khmelnitsky test: Mephisto IIIS Glasgow

 Zitat von udo Beitrag anzeigen
Interessantes Profil der verschiedenen Mephisto III Varianten. Seltsam , das der Glasgow in Teilbereichen sogar schlechter wird ?

Anscheinend greift die höhere Rechengeschwindigkeit im wesentlichen im Bereich der Taktik, sowie der Erkennung von Drohungen, aber das Schachwissen wird ja nicht mehr, was sich auch in dem Profil herauskristallisiert.
Im Standard Positions Endgame könnte es sogar sein, das der Mephisto III Phoenix etwas berechnet und sieht, was die langsameren Mephisto III nicht gesehen haben, und das entweder falsch interpretiert, oder vorsichtiger spielt, oder gar dem erweitertem Horizonteffekt zum Opfer fällt. Ist zumindestens meine Überlegung dazu .
Aber auch im normalen Endspiel legt er verhältnissmäßig wenig zu, gegenüber den "normalen" Mephisto III.
Taktisch hat er aber einen enormen Leistungssprung nach oben.
Hallo Udo,

gut zusammengefasst. Im Vergleich zum Mephisto Glasgow Original wurde auch die Fähigkeit der Verteidigung enorm verbessert.

Gruß
Egbert
Mit Zitat antworten
Antwort

Themen-Optionen
Ansicht

Forumregeln
Du bist nicht berechtigt, neue Themen zu erstellen.
Du bist nicht berechtigt, auf Beiträge zu antworten.
Du bist nicht berechtigt, Anhänge hochzuladen.
Du bist nicht berechtigt, deine Beiträge zu bearbeiten.

BB code ist An
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist An.

Gehe zu

Ähnliche Themen
Thema Erstellt von Forum Antworten Letzter Beitrag
Test: Mephisto IIIS Glasgow Phoenix mclane Partien und Turniere / Games and Tournaments 108 01.04.2024 14:35
Frage: Mephisto Glasgow applechess Technische Fragen und Probleme / Tuning 8 06.01.2019 12:31
Frage: Mephisto III Glasgow hebel Technische Fragen und Probleme / Tuning 1 25.06.2013 19:40


Alle Zeitangaben in WEZ +2. Es ist jetzt 02:22 Uhr.



Powered by vBulletin (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
©Schachcomputer.info