Schachcomputer.info Community

Zurück   Schachcomputer.info Community > Schachcomputer / Chess Computer: > Teststellungen und Elo Listen / Test positions and Elo lists


Antwort
 
Themen-Optionen Ansicht

  #11  
Alt 03.02.2023, 20:50
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Hi, time for the outcome... I shall split the data across several posts, for an easyer reading.

Let's start with a first graph displaying the skills domains of the slow Mephisto IIIS Glasgow, the one set with CPU waits (7.2 Mhz equivalent):



The peak strength is strategy, a usually weak domain for oldies, but known to have a large impact (with tactics) on the overall strength. That is a much uncommon feature, revealing deeply thought chess software!

Opening management is strong, then middlegame and endgame loose some strength, a usual trend with our chess computers. Level of play is very weak in standard endgame positions (lack of theoretical knowledge), and the program is rather blind or reluctant to sacrifices. Tactics and calculation ability are limited, whilst threats recognition and defense are fine.

The overall KT score is 1374, to be taken with a grain of salt: the test has not been designed nor standardized for chess computers (nevertheless, some kind of standardization can be applied, I shall do my best in a later post). So, let's compare profiles to a 1374 Elo player:



Playing level is roughly on par with regards to tactical skills (tactics, recognizing threats, attack, counterattack and defense), and as well about calculations ability, middlegame and endgame. This provides a very human-like distribution of skills, highlighted by the better strategy management. The lack of endgame theory (standard positions) is the most obvious weakness compared to the human player.
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	1-Slow.jpg
Hits:	169
Größe:	18,8 KB
ID:	5843   Klicke auf die Grafik für eine größere Ansicht

Name:	1-Slow_Plr.jpg
Hits:	169
Größe:	19,7 KB
ID:	5844  
Mit Zitat antworten
Folgende 7 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Beeco76 (04.02.2023), Chessguru (03.02.2023), chessman68 (04.02.2023), Egbert (04.02.2023), Hartmut (06.02.2023), Mapi (03.02.2023), mclane (03.02.2023)
  #12  
Alt 03.02.2023, 21:12
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Let's continue with the fast version of the Mephisto IIIS Glasgow: without wait states, thus 12Mhz efficient.



The profile is a bit more round, with slight enhancements for some weak points of the slow version: tactics, attack, sacrifice. Opening (playing skills once out of book) and strategy, already strong, keep on progressing. No hope for endgame theory, the slight increase in speed cannot make for the lack of knowledge.

The overall KT score is 1441, so let's check with a puny human:



Still this much unusual domination as far as strategy is concerned! The player should better wait for the endgame. Tactical domains keep on being on par. An interesting opponent for the human player!
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	2-Fast.jpg
Hits:	169
Größe:	18,9 KB
ID:	5845   Klicke auf die Grafik für eine größere Ansicht

Name:	2-Fast_Plr.jpg
Hits:	165
Größe:	20,0 KB
ID:	5846  
Mit Zitat antworten
Folgende 5 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Beeco76 (04.02.2023), Chessguru (03.02.2023), Egbert (04.02.2023), Hartmut (06.02.2023), Mapi (03.02.2023)
  #13  
Alt 03.02.2023, 21:33
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Let's speed up the device, using the Phoenix Revelation (simulated as explained top of the thread); 38Mhz equivalent:



The overall pattern looks different. The strategy is no more the peak strength, the tactical domains now prevail, undoubtly with regards to far better calculations ability. Leveraging calculations, the Glasgow program can now strongly counterattack, and even commit or recognize sacrifice opportunities. Opening to middlegame phase is very strong.

The overall KT score is 1541, 100 Elo points stronger than the previous 12Mhz.
Compared to a similar strength human:



No more any advantage in strategy, the human is slightly stronger at that level. Nevertheless, he will have a hard time until late middlegame!
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	3-Ph_Rev.jpg
Hits:	166
Größe:	18,9 KB
ID:	5847   Klicke auf die Grafik für eine größere Ansicht

Name:	3-Ph_Rev_Plr.jpg
Hits:	165
Größe:	20,6 KB
ID:	5848  
Mit Zitat antworten
Folgende 5 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Beeco76 (04.02.2023), Chessguru (04.02.2023), Egbert (04.02.2023), Hartmut (06.02.2023), Mapi (03.02.2023)
  #14  
Alt 03.02.2023, 21:44
Benutzerbild von Mapi
Mapi Mapi ist offline
Schachcomputer Koryphäe
 
Registriert seit: 25.04.2006
Ort: Bocholt
Alter: 59
Land:
Beiträge: 1.240
Abgegebene Danke: 6.263
Erhielt 2.054 Danke für 710 Beiträge
Aktivitäten Langlebigkeit
6/20 18/20
Heute Beiträge
0/3 sssss1240
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Hi Tibono,

your Tests are very interesting.

Thank You

best regards

Markus
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu Mapi für den nützlichen Beitrag:
Egbert (04.02.2023), Tibono (03.02.2023)
  #15  
Alt 03.02.2023, 21:58
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Now the long awaited cherry on the cake, the Mephisto Phoenix profile, with an overwhelming 480Mhz speed equivalence:



Well, the bad news is strategy is now one weak point amongst few others at similar level (like attack and endgame). Not that surprising, more speed is not more knowledge! For the very same reason, standard engame positions do not progress much. On another hand, tactical capabilities reach a significantly higher level. Still not a great attacker, nevertheless now stronger defender and counterattacker. Defense is commonly strong with other chess computers, a quality the Glasgow program did not highlight until this large acceleration.

What about a human opponent? The KT score being 1755, here you are:



The endgame knowledge of the human player is overwhelming. The Glasgow must rely on its strong opening and middlegame phase, then expect some tactical opportunity to avoid the endgame, at least get some concrete advantage before entering it.
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	4-Mep_Ph.jpg
Hits:	163
Größe:	20,0 KB
ID:	5849   Klicke auf die Grafik für eine größere Ansicht

Name:	4-Mep_Ph_Plr.jpg
Hits:	164
Größe:	21,2 KB
ID:	5850  
Mit Zitat antworten
Folgende 5 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Beeco76 (04.02.2023), Chessguru (03.02.2023), Egbert (04.02.2023), Hartmut (06.02.2023), Mapi (04.02.2023)
  #16  
Alt 03.02.2023, 22:40
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Of course I cannot leave without a synthesis: all in one graph!
A larger one to better zoom on the skills profiles:



There is a striking oddity in this graph, but I think it can be explained: not only the strategic skills did not step forward with the acceleration, as previously observed, but the graph displays a regression! The good strategic guidelines embedded in the Glasgow program weight higher with short thinking time; deeper calculations steer the score away because of tactical connsiderations, that is my opinion. Maybe strategic elements are mainly computed at root level?
Another small oddity lies in the calculations, where the fast IIIS performs less then the slow one; but otherwise the calculations scores look to range accordingly to expectations. The fast IIIS must have been on a wrong track with some position, there is of course some alea related to the current score at the time the thinking process is stopped.
Opening, middlegame, tactics, threat recognition and sacrifice progress rather evenly and significantly along with speed.
As already pointed out, defense skills were stuck without any significant progress, until the large acceleration provided by the Mephisto Phoenix. Counterattack is sort of similar, with unleashed power starting with the Revelation. And the Glasgow program kept brakes on attacking skills, but that is not uncommon with our dear chess computers (a bit passive, lacking any attacking plan and awaiting tactical opportunities).

Feel welcome to comment further!
I'll be back very soon with additional data to share, but enough for today.
MfG, Eric
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	All_in_one.jpg
Hits:	265
Größe:	41,5 KB
ID:	5851  
Mit Zitat antworten
Folgende 4 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Beeco76 (04.02.2023), Chessguru (04.02.2023), Egbert (04.02.2023), Roberto (24.07.2023)
  #17  
Alt 04.02.2023, 04:31
Beeco76 Beeco76 ist offline
Mephisto Montreux
 
Registriert seit: 23.03.2020
Beiträge: 254
Abgegebene Danke: 1.313
Erhielt 409 Danke für 179 Beiträge
Aktivitäten Langlebigkeit
0/20 4/20
Heute Beiträge
0/3 ssssss254
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Hi Eric,

Thank you very much for your detailed analysises.

Like your excellent analysis of the Chessmaster Diamond on your website, they provide valuable information about the strength and weaknesses of the engines.

I've a question regarding the test setting though:

I found a description in German language, how the Khmelnitsky test distinguishes between strategy, tactics, opening, endgame, etc.
(For those, who are interested:
https://www.freechess.info/ueebersic...ing-guide.html)

But where are the human player profiles taken from?

Best regards
Markus
Mit Zitat antworten
Folgende 3 Benutzer sagen Danke zu Beeco76 für den nützlichen Beitrag:
Chessguru (04.02.2023), Egbert (04.02.2023), Tibono (04.02.2023)
  #18  
Alt 04.02.2023, 05:03
Benutzerbild von Egbert
Egbert Egbert ist offline
Lebende Foren Legende
 
Registriert seit: 20.12.2009
Ort: Dreieich
Alter: 60
Land:
Beiträge: 9.583
Abgegebene Danke: 14.004
Erhielt 16.513 Danke für 6.421 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
13/20 15/20
Heute Beiträge
0/3 sssss9583
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Hello Eric,

Thank you very much for this very informative test series. Especially the improved defensive capability of the Mephisto Glasgow on the Mephisto Phoenix I could also observe in the context of my competitions! The overall weak endgame performances, even under Mephisto Phoenix also correspond to my expectations and are also present in practice. I also share your assessments, which are based on your test. Really great work Eric!

Greetings
Egbert

Geändert von Egbert (04.02.2023 um 07:50 Uhr) Grund: Ergänzung
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu Egbert für den nützlichen Beitrag:
Chessguru (04.02.2023), Tibono (04.02.2023)
  #19  
Alt 04.02.2023, 08:58
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

 Zitat von Beeco76 Beitrag anzeigen
But where are the human player profiles taken from?
Hi Markus, they are extracted from the data of the very same Khmelnitsky's test. The Elo values come from a data sheet in the book, providing two columns per domain (attack, counterattack,...); one column being the % of your score in the domain, the other the corresponding Elo observed per statistics across a number of players. 99% score is achieved by 2500+ players, 3% by 815 or so players. In between, the distribution vary according to each domain. Elo values for intermediate % values (they are provided per 3% step, so 3%, 6%, 9%... up to 96%, 99%) rely on interpolation.

Well, the data sheet can be red the other way around: I am a 1400 Elo player, which score (%) am I supposed to achieve per domain of chess knowledge? An interpolation can be performed between two Elo values in order to get an accurate percentage within the 3% spread.
Of course, the computer-player comparison cannot usefully rely on an Elo graph (this would just add a circle to the basic Elo-graph, plotting the player's strength). So the comparison graph is based on %, as well displaying usual, average strengths and weaknesses of the human player.
By the way, time ago I used this idea (not mentioned within the book!) to provide a graph displaying how the skills develop along to the Elo, and posted about in the Hiarcs forum. Here is the graph:



and my comments:
Code:
- skills develop rather evenly from 830 to 900 player (very same shape), with natural ability for calculations and no, to very little, knowledge about opening phase. Of course, standard endgame positions are likely to be unknown.
- 1000 player gets some clues at tactics and related stuff (attack, defense, recognizing threats)
- 1200 player has developped clues in strategy and standard endgame positions
- 1400 player is a better attacker and went on developping knowledge about standard endgame positions
- 1600 player developped tactical skills including sacrifice
- 1800 player went on with tactics and better endgame knowledge
- 2000 player is a better defender and attacker
- 2200 player shows evidence of a breakthrough with strategy, plus reinforced endgame mastery
- 2400 player is very balanced, with strategy, opening and middlegame as most enhanced areas. Beware the strong defenser and counterattacker!
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	KT_Players_eng.jpg
Hits:	136
Größe:	33,7 KB
ID:	5855  
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Chessguru (04.02.2023), Egbert (04.02.2023)
  #20  
Alt 04.02.2023, 09:25
Tibono Tibono ist offline
Mephisto Wundermaschine
 
Registriert seit: 22.05.2018
Ort: Frankreich
Alter: 62
Land:
Beiträge: 466
Abgegebene Danke: 2.181
Erhielt 1.134 Danke für 370 Beiträge
Aktivitäten Langlebigkeit
8/20 6/20
Heute Beiträge
0/3 ssssss466
AW: Khmelnitsky test: Mephisto IIIS Glasgow

Now back to my mainstream, the Glasgow program.
Code:
SMhz	Ratio/7.2Mhz    Log(Ratio)     KT Elo
7.2	   1.00           0.000000       1374
12	   1.67           0.221849       1441
38	   5.28           0.722451       1541
480	  66.67           1.823909       1755
This table is quite simple: Speed in Mhz, ratio based on the 7.2 basic speed, log(base 10) of the ratio, and achieved KT Elo from the test. The base of the log function has no influence on the below graph pattern:



The curve's closeness to a straight line is obvious. This means the Elo growth follows the usual rule (a constant value gain per doubling in speed) even when reaching sky-high acceleration. I was expecting more of a drop in the curve from the Mephisto Phoenix, it is not so, well done from the Glasgow program!
I added a polynomial regression curve to get the displayed formula we will use later on.
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	KT_SMhz.jpg
Hits:	131
Größe:	21,8 KB
ID:	5856  

Geändert von Tibono (04.02.2023 um 09:28 Uhr) Grund: typo
Mit Zitat antworten
Folgende 3 Benutzer sagen Danke zu Tibono für den nützlichen Beitrag:
Chess Monarch (15.02.2023), Chessguru (04.02.2023), Egbert (04.02.2023)
Antwort

Themen-Optionen
Ansicht

Forumregeln
Du bist nicht berechtigt, neue Themen zu erstellen.
Du bist nicht berechtigt, auf Beiträge zu antworten.
Du bist nicht berechtigt, Anhänge hochzuladen.
Du bist nicht berechtigt, deine Beiträge zu bearbeiten.

BB code ist An
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist An.

Gehe zu

Ähnliche Themen
Thema Erstellt von Forum Antworten Letzter Beitrag
Test: Mephisto IIIS Glasgow Phoenix mclane Partien und Turniere / Games and Tournaments 108 01.04.2024 14:35
Frage: Mephisto Glasgow applechess Technische Fragen und Probleme / Tuning 8 06.01.2019 12:31
Frage: Mephisto III Glasgow hebel Technische Fragen und Probleme / Tuning 1 25.06.2013 19:40


Alle Zeitangaben in WEZ +2. Es ist jetzt 01:06 Uhr.



Powered by vBulletin (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
©Schachcomputer.info