Schachcomputer.info Community

Schachcomputer.info Community (https://www.schachcomputer.info/forum/index.php)
-   Teststellungen und Elo Listen / Test positions and Elo lists (https://www.schachcomputer.info/forum/forumdisplay.php?f=10)
-   -   Stellung: Mephisto Phoenix - BT-Test der nativen Engines (https://www.schachcomputer.info/forum/showthread.php?t=6804)

pato4sen 02.02.2023 21:20

Mephisto Phoenix - BT-Test der nativen Engines
 
Ich habe mit den zur Zeit im Mephisto Phoenix enthaltenen nativen Engines einen BT-Test durchgeführt.

Dafür wurde für jedes Programm die Grund-Systemeinstellungen belassen.
Über "CHESS-SETT" habe ich folgende Parameter Angepasst:

Komodo 14.1: HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13.5: ELO -> 2800; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13,5 NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
HIARCS 14.2: ELO - off; HASH -> 1024; PONDER -> off; SPEED -> 100%
STOCKFISH 15: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> off
STOCKFISH 15 NNUE: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> on

Es wurden beide Testreihen durchgeführt, also BT-2450 und BT-2630.

Da nur die Stellungen 13, 15, 16, 21, 23, 28 und 29 in den beiden Testreihen unterschiedlich sind, habe ich beide Lösungen in einer Tabelle zzusammengefasst.
Die schwarz geschriebenen Werte entsprechen dem BT-2450 Test, wo dann bei den oben genannten Stellungen die blauen entsprechend dem BT-2630 Test zuzuordnen sind.



NummerLösungKomodo 14.1Shredder 13.5Shredder 13.5 NNUEHiarcs 14.2Stockfish 15Stockfish 15 NNUE
........................................................................................
011.Sxg7000000000001000000
........................................................................................
021.Lxb6001016010001001001
........................................................................................
031.Te6001002002002005006
........................................................................................
041.Df7900900900004258004
........................................................................................
051.Ka6001001001001001001
........................................................................................
061.e3001002009001001005
........................................................................................
071...Td6002002003001005007
........................................................................................
081.Txc6+000000000000000000
........................................................................................
091...g5004114011002001001
........................................................................................
101.Txg7+003002001002000002
........................................................................................
111...Dxh2+005001001001003000
........................................................................................
121...De4011900822001900040
........................................................................................
131.Sb4002015014003015011
131...Le6002002009001001001
........................................................................................
141.Txh7002004006002065032
........................................................................................
151.Tg6000003008000000000
151.e5002000000005000001
........................................................................................
161...g6003001001001001001
161...Sxg2002900900017001001
........................................................................................
171.Dxf4002001001001006011
........................................................................................
181.d6001001003000000000
........................................................................................
191...f3006041033001190900
........................................................................................
201.Ta2001003010001002002
........................................................................................
211.Te6000001000000000000
211.Te1002068079003001002
........................................................................................
221...a3000000000001000000
........................................................................................
231.Df6001001000001014018
231.g4006051050001002003
........................................................................................
241.g6003449417004000000
........................................................................................
251...Sd3003015012002003900
........................................................................................
261.f5043900029001002002
........................................................................................
271.e6900900900900900900
........................................................................................
281.Se4001000000001000000
281.e5900900900018900900
........................................................................................
291.Ke1900900900796900900
291.0-0-0900030017009900900
........................................................................................
301.f4001000002001000000
........................................................................................
BTSumme279851754096173439853749
2450ELO235722782313239223172325
........................................................................................
BTSumme37056205512898648603727
2630EOL250724232459259724682506


Besonders ist mir aufgefallen, das bei der Stellung 27 des BT-2450 Test der gesuchte Zug 1.e6! nicht der wirklich stärkste ist.
Alle Engines fanden nach wenigen Sekunden den Zug 1.Lb4 als den besseren.

Gruß
Rüdiger

Robert 03.02.2023 09:40

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
Hallo Rüdiger,

Zitieren:

Zitat von pato4sen (Beitrag 113958)
Besonders ist mir aufgefallen, das bei der Stellung 27 des BT-2450 Test der gesuchte Zug 1.e6! nicht der wirklich stärkste ist.
Alle Engines fanden nach wenigen Sekunden den Zug 1.Lb4 als den besseren.

das ist ja interessant, danke für den Hinweis! Dann müsste man eigentlich die bisher getesteten Geräte nochmal auf diese Stellung ansetzen, denn vielleicht haben manche 1. Lb4 tatsächlich als besser bewertet...

Viele Grüße
Robert

Robert 03.02.2023 10:02

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
Ich habe jetzt begonnen, auch die anderen Stellungen mit Komodo 13 zu prüfen (da die Tests als pgn und epd vorliegen, ist das ja recht einfach)

Bei BT2450-04 scheint 1. Df7 auch nur zu Remis zu führen (nach einiger Zeit wird Tf1 als etwas besser bewertet +0,72); aber das zu erkennen, dürfte für Oldies kaum möglich sein.

Und bei BT2450-29 wird nach ein paar Sekunden 1. Dd8 als etwas besser als 1. Ke1 eingestuft.

Viele Grüße
Robert

applechess 03.02.2023 11:18

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
Zitieren:

Zitat von pato4sen (Beitrag 113958)
Ich habe mit den zur Zeit im Mephisto Phoenix enthaltenen nativen Engines einen BT-Test durchgeführt.

Grossartige (Gedulds-)Arbeit Rüdiger. Vielen Dank.
Gruss
Kurt

Chessguru 03.02.2023 12:42

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
Hallo Rüdiger,

danke für den Test.

Allerdings „krankt“ der Test daran, dass die Höchstgrenze auf 2630 Test-Elo begrenzt ist. Ich würde schätzen, die Engines sind stärker, als die veranschlagten Test-Elos. Die BT-Tests waren mehr für die alten Schachcomputer so ab 1750 Elo gedacht. Für die Engines der heutigen Generation stellen diese Aufgaben keine große Herausforderung dar. Schlimmer sogar, sie widerlegen sogar Aufgaben.

Gruß
Micha

Lucky 03.02.2023 13:44

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
... und wer weiß, vielleicht in 10 Jahren, wenn die Engines bei Elo 5000 angelangt sein werden und beste Züge über eine Tiefe von 40 oder 50 Zügen [*gröhl*] finden, sind wieder andere Züge die dann stärksten, oder die zuvor von schwachen Computern gefundenen Lösungszüge sind plötzlich doch wieder die besten, weil tiefere Fortsetzungen sich als besser erweisen könnten.

Aber ist es nicht so, dass je tiefer gerechnet wird, desto mehr Abschneidungsfehler schleichen sich ein? Bin da kein Experte, Ihr wisst es besser.

Gruß!

pato4sen 03.02.2023 22:48

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
1 Anhang/Anhänge
Die Testreihe hat zwar einigen an Zeit beansprucht, doch das hielt sich in Grenzen, da ich den Test jeweils mit einer Videokamera aufgenommen habe.
So brauchte ich nur nach mindestens 15 Minuten in mein Arbeitszimmer gehen und den aktuellen Test stoppen.
Da ich 128GB SD Karten benutze, passt schon einiges darauf, auch wenn ich erst nach 1 Stunde die Möglichkeit hatte, den Rechenvorgang zu stoppen.

Meine Vorgehensweise war folgende:
1 - Stellung auf dem Brett aufbauen
2 - Engine anwählen und die Einstellungen in CHESS-SETT anpassen
3 - COMF MENU -> SHOW-ACTU aktivieren
4 - Aufnahme mit der Kamera starten
5 - MODE -> POSITION -> Zugfarbe aktivieren -> CONFIRM
6 - MODE -> HUMAN-ANALYSE (Start der Berechnung)
7 - nach min. 15 Min. Aufnahme beenden
weiter mit der nächsten Engine bei Punkt 2
Wenn alle gewünschten Engines diese Stellung berechnet haben weiter mit Punkt 1

Nach jeder Serie habe ich dann im Schnittprogramm die sekundengenaue Auswertung vorgenommen und in einer Exceltabelle eingetragen.
Durch meine Formeln habe ich dann alle benötigten Daten.
So trage ich auch ein, welches der beste Berechnete Zug nach 15 Minuten war, wenn ein anderer Zug bevorzugt wurde und wie die Engine die Stellung dann bewertet.
Auch erfasse ich, wenn ein Matt erkannt wurde und nach welcher Zeit.

Wenn einer von Euch Interesse an meiner Tabelle hat, dann bitte eine PN.


Gruß
Rüdiger

udo 04.02.2023 00:01

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
1 Anhang/Anhänge
Gerade müssen die Bilder sein, immer gerade :D
Aber eine coole Sache mit der Camera. Man könnte noch nach 15 Minuten eine Eieruhr klingeln lassen. ;)

borromeus 04.02.2023 12:49

AW: Mephisto Phoenix - BT-Test der nativen Engines
 
Zitieren:

Zitat von pato4sen (Beitrag 114030)
Die Testreihe hat zwar einigen an Zeit beansprucht, doch das hielt sich in Grenzen, da ich den Test jeweils mit einer Videokamera aufgenommen habe.
So brauchte ich nur nach mindestens 15 Minuten in mein Arbeitszimmer gehen und den aktuellen Test stoppen.
Da ich 128GB SD Karten benutze, passt schon einiges darauf, auch wenn ich erst nach 1 Stunde die Möglichkeit hatte, den Rechenvorgang zu stoppen.

Meine Vorgehensweise war folgende:
1 - Stellung auf dem Brett aufbauen
2 - Engine anwählen und die Einstellungen in CHESS-SETT anpassen
3 - COMF MENU -> SHOW-ACTU aktivieren
4 - Aufnahme mit der Kamera starten
5 - MODE -> POSITION -> Zugfarbe aktivieren -> CONFIRM
6 - MODE -> HUMAN-ANALYSE (Start der Berechnung)
7 - nach min. 15 Min. Aufnahme beenden
weiter mit der nächsten Engine bei Punkt 2
Wenn alle gewünschten Engines diese Stellung berechnet haben weiter mit Punkt 1

Nach jeder Serie habe ich dann im Schnittprogramm die sekundengenaue Auswertung vorgenommen und in einer Exceltabelle eingetragen.
Durch meine Formeln habe ich dann alle benötigten Daten.
So trage ich auch ein, welches der beste Berechnete Zug nach 15 Minuten war, wenn ein anderer Zug bevorzugt wurde und wie die Engine die Stellung dann bewertet.
Auch erfasse ich, wenn ein Matt erkannt wurde und nach welcher Zeit.

Wenn einer von Euch Interesse an meiner Tabelle hat, dann bitte eine PN.


Gruß
Rüdiger

Bin ehrlich gesagt sehr tief beeindruckt!
Toll gemacht!
Das ganze Setting hat absoluten Proficharakter!

Gruß
Karl


Alle Zeitangaben in WEZ +1. Es ist jetzt 01:38 Uhr.

Powered by vBulletin (Deutsch)
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
©Schachcomputer.info