Zitat von
BHGP
Hi, ich habe jetzt mal mit den folgenden Settings:
:
Default Settings, backend=cudnn-fp16, NNCacheSize=20000000, MiniBatchSize=1024, MaxCollisionsEvents=1024, Threads=4
den Eigenmann Rapid Engine Test in der ARENA-GUI durchgeführt mit Netz 41812. Bei mir wurden weniger als 60 Stellungen gelöst (ich glaube gerade mal 54 waren es). Normalerweise sollte das Ergebnis noch bei fast 80 gelösten Stellungen sein. An was kann das liegen?
Naja, 80 halte ich für etwas übertrieben. Nach einem anderen Test kommt LC 0 gerade mal auf 68 gelöste Stellungen.
https://glarean-magazin.ch/2019/03/0...igenmann-test/
Zudem ist eine Engine wie LC0 nicht auf Stellungstests ausgelegt. Leela geht es darum zu gewinnen. Das tut sie meist auch. Allerdings nicht immer auf dem schnellsten Weg, wie man bei den TCEC-Turnieren schon mehr als einmal beobachten konnte. Zudem kommt es natürlich auch immer darauf an, welches Net benutzt wird. Aber wenn es um das reine Problemlösen geht, ist Leela einfach schwächer als andere. Ist leider so. Auch kann es oftmals vorkommen, dass ein Test beim 2. Durchlauf völlig andere Ergebnisse liefert. Interessant wäre in diesem Zusammenhang natürlich auch, ob die entsprechenden Lösungszüge irgendwann als BestMove aufgetaucht sind und dann wieder verworfen wurden.
Das oben gesagte (mehrere Testläufe) wird übrigens durch folgenden Artikel bestätigt:
https://glarean-magazin.ch/2017/03/0...ine-test-eret/
Hier wird sogar der Rat gegeben 3-5 Testläufe pro Engine zu generieren, da es auch bei anderen Enignes (nicht nur Leela) häufig Fluktuationen gibt.
By the way: Auch Eigmann selbst hat im Januar verschiedene Engines getestet und da kam Leela auch gerade mal auf 60 Stellungen
http://forum.computerschach.de/cgi-b...w.pl?tid=10166
obwohl sie zu diesem Zeitpunkt im praktischen Spiel bereits stärker war als manche Engine mit besserem Ergebnis
Insofern finde ich Dein Ergebnis nun nicht gerade verwunderlich