Schachcomputer.info Community

Zurück   Schachcomputer.info Community > Schachcomputer / Chess Computer: > Teststellungen und Elo Listen / Test positions and Elo lists


Antwort
 
Themen-Optionen Ansicht

  #1  
Alt 02.02.2023, 21:20
Benutzerbild von pato4sen
pato4sen pato4sen ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.09.2007
Ort: Viersen
Alter: 67
Land:
Beiträge: 1.666
Abgegebene Danke: 974
Erhielt 1.062 Danke für 380 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
4/20 17/20
Heute Beiträge
0/3 sssss1666
Mephisto Phoenix - BT-Test der nativen Engines

Ich habe mit den zur Zeit im Mephisto Phoenix enthaltenen nativen Engines einen BT-Test durchgeführt.

Dafür wurde für jedes Programm die Grund-Systemeinstellungen belassen.
Über "CHESS-SETT" habe ich folgende Parameter Angepasst:

Komodo 14.1: HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13.5: ELO -> 2800; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
Shredder 13,5 NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%
HIARCS 14.2: ELO - off; HASH -> 1024; PONDER -> off; SPEED -> 100%
STOCKFISH 15: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> off
STOCKFISH 15 NNUE: NNUE: ELO - off; HASH -> 1024; THREAD -> 2; PONDER -> off; SPEED -> 100%; NNUE -> on

Es wurden beide Testreihen durchgeführt, also BT-2450 und BT-2630.

Da nur die Stellungen 13, 15, 16, 21, 23, 28 und 29 in den beiden Testreihen unterschiedlich sind, habe ich beide Lösungen in einer Tabelle zzusammengefasst.
Die schwarz geschriebenen Werte entsprechen dem BT-2450 Test, wo dann bei den oben genannten Stellungen die blauen entsprechend dem BT-2630 Test zuzuordnen sind.



NummerLösungKomodo 14.1Shredder 13.5Shredder 13.5 NNUEHiarcs 14.2Stockfish 15Stockfish 15 NNUE
........................................................................................
011.Sxg7000000000001000000
........................................................................................
021.Lxb6001016010001001001
........................................................................................
031.Te6001002002002005006
........................................................................................
041.Df7900900900004258004
........................................................................................
051.Ka6001001001001001001
........................................................................................
061.e3001002009001001005
........................................................................................
071...Td6002002003001005007
........................................................................................
081.Txc6+000000000000000000
........................................................................................
091...g5004114011002001001
........................................................................................
101.Txg7+003002001002000002
........................................................................................
111...Dxh2+005001001001003000
........................................................................................
121...De4011900822001900040
........................................................................................
131.Sb4002015014003015011
131...Le6002002009001001001
........................................................................................
141.Txh7002004006002065032
........................................................................................
151.Tg6000003008000000000
151.e5002000000005000001
........................................................................................
161...g6003001001001001001
161...Sxg2002900900017001001
........................................................................................
171.Dxf4002001001001006011
........................................................................................
181.d6001001003000000000
........................................................................................
191...f3006041033001190900
........................................................................................
201.Ta2001003010001002002
........................................................................................
211.Te6000001000000000000
211.Te1002068079003001002
........................................................................................
221...a3000000000001000000
........................................................................................
231.Df6001001000001014018
231.g4006051050001002003
........................................................................................
241.g6003449417004000000
........................................................................................
251...Sd3003015012002003900
........................................................................................
261.f5043900029001002002
........................................................................................
271.e6900900900900900900
........................................................................................
281.Se4001000000001000000
281.e5900900900018900900
........................................................................................
291.Ke1900900900796900900
291.0-0-0900030017009900900
........................................................................................
301.f4001000002001000000
........................................................................................
BTSumme279851754096173439853749
2450ELO235722782313239223172325
........................................................................................
BTSumme37056205512898648603727
2630EOL250724232459259724682506


Besonders ist mir aufgefallen, das bei der Stellung 27 des BT-2450 Test der gesuchte Zug 1.e6! nicht der wirklich stärkste ist.
Alle Engines fanden nach wenigen Sekunden den Zug 1.Lb4 als den besseren.

Gruß
Rüdiger
__________________
shine on...
Mit Zitat antworten
Folgende 18 Benutzer sagen Danke zu pato4sen für den nützlichen Beitrag:
applechess (03.02.2023), Beeco76 (04.02.2023), borromeus (04.02.2023), Bryan Whitby (03.02.2023), Chessguru (03.02.2023), Egbert (03.02.2023), ferribaci (03.02.2023), Fluppio (02.02.2023), germangonzo (02.02.2023), Mapi (02.02.2023), mclane (03.02.2023), MichaelN (03.02.2023), Oberstratege (03.02.2023), paulwise3 (02.02.2023), Robert (03.02.2023), Schachhucky (03.02.2023), Tibono (03.02.2023), Wolfgang2 (02.02.2023)
  #2  
Alt 03.02.2023, 09:40
Benutzerbild von Robert
Robert Robert ist offline
Lebende Foren Legende
 
Registriert seit: 30.06.2004
Ort: Regensburg
Alter: 60
Land:
Beiträge: 4.179
Abgegebene Danke: 1.782
Erhielt 783 Danke für 464 Beiträge
Aktivitäten Langlebigkeit
7/20 20/20
Heute Beiträge
0/3 sssss4179
AW: Mephisto Phoenix - BT-Test der nativen Engines

Hallo Rüdiger,

 Zitat von pato4sen Beitrag anzeigen
Besonders ist mir aufgefallen, das bei der Stellung 27 des BT-2450 Test der gesuchte Zug 1.e6! nicht der wirklich stärkste ist.
Alle Engines fanden nach wenigen Sekunden den Zug 1.Lb4 als den besseren.
das ist ja interessant, danke für den Hinweis! Dann müsste man eigentlich die bisher getesteten Geräte nochmal auf diese Stellung ansetzen, denn vielleicht haben manche 1. Lb4 tatsächlich als besser bewertet...

Viele Grüße
Robert
Mit Zitat antworten
  #3  
Alt 03.02.2023, 10:02
Benutzerbild von Robert
Robert Robert ist offline
Lebende Foren Legende
 
Registriert seit: 30.06.2004
Ort: Regensburg
Alter: 60
Land:
Beiträge: 4.179
Abgegebene Danke: 1.782
Erhielt 783 Danke für 464 Beiträge
Aktivitäten Langlebigkeit
7/20 20/20
Heute Beiträge
0/3 sssss4179
AW: Mephisto Phoenix - BT-Test der nativen Engines

Ich habe jetzt begonnen, auch die anderen Stellungen mit Komodo 13 zu prüfen (da die Tests als pgn und epd vorliegen, ist das ja recht einfach)

Bei BT2450-04 scheint 1. Df7 auch nur zu Remis zu führen (nach einiger Zeit wird Tf1 als etwas besser bewertet +0,72); aber das zu erkennen, dürfte für Oldies kaum möglich sein.

Und bei BT2450-29 wird nach ein paar Sekunden 1. Dd8 als etwas besser als 1. Ke1 eingestuft.

Viele Grüße
Robert

Geändert von Robert (03.02.2023 um 11:13 Uhr) Grund: Nachtrag
Mit Zitat antworten
  #4  
Alt 03.02.2023, 11:18
Benutzerbild von applechess
applechess applechess ist offline
Lebende Foren Legende
 
Registriert seit: 18.09.2011
Ort: Kanton Zürich
Land:
Beiträge: 7.191
Abgegebene Danke: 9.716
Erhielt 14.909 Danke für 5.312 Beiträge
Aktivitäten Langlebigkeit
16/20 13/20
Heute Beiträge
3/3 sssss7191
AW: Mephisto Phoenix - BT-Test der nativen Engines

 Zitat von pato4sen Beitrag anzeigen
Ich habe mit den zur Zeit im Mephisto Phoenix enthaltenen nativen Engines einen BT-Test durchgeführt.
Grossartige (Gedulds-)Arbeit Rüdiger. Vielen Dank.
Gruss
Kurt
Mit Zitat antworten
  #5  
Alt 03.02.2023, 12:42
Benutzerbild von Chessguru
Chessguru Chessguru ist offline
Administrator
 
Registriert seit: 29.06.2004
Ort: Rostock
Alter: 55
Land:
Beiträge: 6.474
Bilder: 1
Abgegebene Danke: 1.589
Erhielt 4.575 Danke für 1.377 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
9/20 20/20
Heute Beiträge
0/3 sssss6474
AW: Mephisto Phoenix - BT-Test der nativen Engines

Hallo Rüdiger,

danke für den Test.

Allerdings „krankt“ der Test daran, dass die Höchstgrenze auf 2630 Test-Elo begrenzt ist. Ich würde schätzen, die Engines sind stärker, als die veranschlagten Test-Elos. Die BT-Tests waren mehr für die alten Schachcomputer so ab 1750 Elo gedacht. Für die Engines der heutigen Generation stellen diese Aufgaben keine große Herausforderung dar. Schlimmer sogar, sie widerlegen sogar Aufgaben.

Gruß
Micha
Mit Zitat antworten
Folgende 6 Benutzer sagen Danke zu Chessguru für den nützlichen Beitrag:
applechess (03.02.2023), Beeco76 (04.02.2023), borromeus (04.02.2023), Egbert (03.02.2023), Oberstratege (04.02.2023), pato4sen (03.02.2023)
  #6  
Alt 03.02.2023, 13:44
Lucky Lucky ist offline
Mephisto Wundermaschine
 
Registriert seit: 23.09.2011
Beiträge: 489
Abgegebene Danke: 461
Erhielt 357 Danke für 226 Beiträge
Aktivitäten Langlebigkeit
6/20 13/20
Heute Beiträge
1/3 ssssss489
AW: Mephisto Phoenix - BT-Test der nativen Engines

... und wer weiß, vielleicht in 10 Jahren, wenn die Engines bei Elo 5000 angelangt sein werden und beste Züge über eine Tiefe von 40 oder 50 Zügen [*gröhl*] finden, sind wieder andere Züge die dann stärksten, oder die zuvor von schwachen Computern gefundenen Lösungszüge sind plötzlich doch wieder die besten, weil tiefere Fortsetzungen sich als besser erweisen könnten.

Aber ist es nicht so, dass je tiefer gerechnet wird, desto mehr Abschneidungsfehler schleichen sich ein? Bin da kein Experte, Ihr wisst es besser.

Gruß!
Mit Zitat antworten
  #7  
Alt 03.02.2023, 22:48
Benutzerbild von pato4sen
pato4sen pato4sen ist offline
Schachcomputer Koryphäe
 
Registriert seit: 29.09.2007
Ort: Viersen
Alter: 67
Land:
Beiträge: 1.666
Abgegebene Danke: 974
Erhielt 1.062 Danke für 380 Beiträge
Member Photo Albums
Aktivitäten Langlebigkeit
4/20 17/20
Heute Beiträge
0/3 sssss1666
AW: Mephisto Phoenix - BT-Test der nativen Engines

Die Testreihe hat zwar einigen an Zeit beansprucht, doch das hielt sich in Grenzen, da ich den Test jeweils mit einer Videokamera aufgenommen habe.
So brauchte ich nur nach mindestens 15 Minuten in mein Arbeitszimmer gehen und den aktuellen Test stoppen.
Da ich 128GB SD Karten benutze, passt schon einiges darauf, auch wenn ich erst nach 1 Stunde die Möglichkeit hatte, den Rechenvorgang zu stoppen.

Meine Vorgehensweise war folgende:
1 - Stellung auf dem Brett aufbauen
2 - Engine anwählen und die Einstellungen in CHESS-SETT anpassen
3 - COMF MENU -> SHOW-ACTU aktivieren
4 - Aufnahme mit der Kamera starten
5 - MODE -> POSITION -> Zugfarbe aktivieren -> CONFIRM
6 - MODE -> HUMAN-ANALYSE (Start der Berechnung)
7 - nach min. 15 Min. Aufnahme beenden
weiter mit der nächsten Engine bei Punkt 2
Wenn alle gewünschten Engines diese Stellung berechnet haben weiter mit Punkt 1

Nach jeder Serie habe ich dann im Schnittprogramm die sekundengenaue Auswertung vorgenommen und in einer Exceltabelle eingetragen.
Durch meine Formeln habe ich dann alle benötigten Daten.
So trage ich auch ein, welches der beste Berechnete Zug nach 15 Minuten war, wenn ein anderer Zug bevorzugt wurde und wie die Engine die Stellung dann bewertet.
Auch erfasse ich, wenn ein Matt erkannt wurde und nach welcher Zeit.

Wenn einer von Euch Interesse an meiner Tabelle hat, dann bitte eine PN.


Gruß
Rüdiger
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	20230201_154831.jpg
Hits:	50
Größe:	74,0 KB
ID:	5853  
__________________
shine on...

Geändert von pato4sen (03.02.2023 um 22:59 Uhr) Grund: Bild eingefügt
Mit Zitat antworten
Folgende 8 Benutzer sagen Danke zu pato4sen für den nützlichen Beitrag:
applechess (04.02.2023), Beeco76 (04.02.2023), borromeus (04.02.2023), Egbert (04.02.2023), mclane (04.02.2023), Michael (04.02.2023), Oberstratege (04.02.2023), Tibono (04.02.2023)
  #8  
Alt 04.02.2023, 00:01
Benutzerbild von udo
udo udo ist offline
Lebende Foren Legende
 
Registriert seit: 19.08.2006
Ort: Itzehoe
Alter: 69
Land:
Beiträge: 2.200
Abgegebene Danke: 330
Erhielt 1.137 Danke für 677 Beiträge
Aktivitäten Langlebigkeit
9/20 18/20
Heute Beiträge
0/3 sssss2200
AW: Mephisto Phoenix - BT-Test der nativen Engines

Gerade müssen die Bilder sein, immer gerade
Aber eine coole Sache mit der Camera. Man könnte noch nach 15 Minuten eine Eieruhr klingeln lassen.
Miniaturansicht angehängter Grafiken
Klicke auf die Grafik für eine größere Ansicht

Name:	Unbenannt (2).jpg
Hits:	60
Größe:	146,6 KB
ID:	5854  
Mit Zitat antworten
  #9  
Alt 04.02.2023, 12:49
borromeus borromeus ist offline
Fidelity Elite Avantgarde 68060
 
Registriert seit: 24.02.2017
Land:
Beiträge: 411
Abgegebene Danke: 913
Erhielt 463 Danke für 227 Beiträge
Aktivitäten Langlebigkeit
5/20 7/20
Heute Beiträge
1/3 ssssss411
AW: Mephisto Phoenix - BT-Test der nativen Engines

 Zitat von pato4sen Beitrag anzeigen
Die Testreihe hat zwar einigen an Zeit beansprucht, doch das hielt sich in Grenzen, da ich den Test jeweils mit einer Videokamera aufgenommen habe.
So brauchte ich nur nach mindestens 15 Minuten in mein Arbeitszimmer gehen und den aktuellen Test stoppen.
Da ich 128GB SD Karten benutze, passt schon einiges darauf, auch wenn ich erst nach 1 Stunde die Möglichkeit hatte, den Rechenvorgang zu stoppen.

Meine Vorgehensweise war folgende:
1 - Stellung auf dem Brett aufbauen
2 - Engine anwählen und die Einstellungen in CHESS-SETT anpassen
3 - COMF MENU -> SHOW-ACTU aktivieren
4 - Aufnahme mit der Kamera starten
5 - MODE -> POSITION -> Zugfarbe aktivieren -> CONFIRM
6 - MODE -> HUMAN-ANALYSE (Start der Berechnung)
7 - nach min. 15 Min. Aufnahme beenden
weiter mit der nächsten Engine bei Punkt 2
Wenn alle gewünschten Engines diese Stellung berechnet haben weiter mit Punkt 1

Nach jeder Serie habe ich dann im Schnittprogramm die sekundengenaue Auswertung vorgenommen und in einer Exceltabelle eingetragen.
Durch meine Formeln habe ich dann alle benötigten Daten.
So trage ich auch ein, welches der beste Berechnete Zug nach 15 Minuten war, wenn ein anderer Zug bevorzugt wurde und wie die Engine die Stellung dann bewertet.
Auch erfasse ich, wenn ein Matt erkannt wurde und nach welcher Zeit.

Wenn einer von Euch Interesse an meiner Tabelle hat, dann bitte eine PN.


Gruß
Rüdiger
Bin ehrlich gesagt sehr tief beeindruckt!
Toll gemacht!
Das ganze Setting hat absoluten Proficharakter!

Gruß
Karl
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu borromeus für den nützlichen Beitrag:
mclane (04.02.2023), pato4sen (04.02.2023)
Antwort

Themen-Optionen
Ansicht

Forumregeln
Du bist nicht berechtigt, neue Themen zu erstellen.
Du bist nicht berechtigt, auf Beiträge zu antworten.
Du bist nicht berechtigt, Anhänge hochzuladen.
Du bist nicht berechtigt, deine Beiträge zu bearbeiten.

BB code ist An
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist An.

Gehe zu

Ähnliche Themen
Thema Erstellt von Forum Antworten Letzter Beitrag
Test: Mephisto IIIS Glasgow Phoenix mclane Partien und Turniere / Games and Tournaments 94 Gestern 23:00
Turnier: Mephisto Phoenix mit Mephisto Glasgow-Emulation Egbert Partien und Turniere / Games and Tournaments 1864 24.02.2024 20:34
Test: Wie Phoenix aus der Asche, die Reflection engines mclane Partien und Turniere / Games and Tournaments 22 21.02.2024 23:41
Treffen: Mephisto Phoenix Owners Lounge Micha Die ganze Welt der Schachcomputer / World of chess computers 491 14.03.2023 21:18


Alle Zeitangaben in WEZ +1. Es ist jetzt 11:26 Uhr.



Powered by vBulletin (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
©Schachcomputer.info