Auf talkchess gefunden:
Aren't the 1500 positions from the Strategic Test Suite look promising to compare several lc0 networks without any search involved? Lets find out.
[STS rating v13.1 for Lc0 0.21.2
with nodes = 1 or search depth = 1|4 for ab-engines
Code:
STS(elo) net (nodes=1) | eng (depth=1|4)
-----------------------------------------------
1405 Hakkapeliitta TCEC v2 (d=1)
1449 K2 v.0.95 (d=1)
1473 Arasan 21.3 (d=1)
1519 Arasan 21.3 (d=4)
1540 11258-16x2-se
1555 Texel 1.07 (d=1)
1602 Vajolet 2.6.2 (d=1)
1690 11258-24x3-se
1705 Stockfish 10 (d=1)
1754 Komodo 10 (d=1)
1767 Stockfish 10 (d=4)
1780 11258-32x4-se
1954 Hakkapeliitta TCEC v2 (d=4)
1993 11258-48x5-se
1999 net54023
2052 K2 v.0.95 (d=4)
2077 new net54057
2094 Texel 1.07 (d=4)
2105 Komodo 10 (d=4)
2116 11258-64x6-se
2233 11258-80x7-se
2239 32930-112x9-se
2287 11258-96x8-se
2292 11258-104x9-se
2333 11258-112x9-se
2334 net52340
2353 11258-128x10-se
2367 net53316
2475 net40x256_130
2516 net33000
2517 new net40x256_150
2529 11258-256x12-se
2536 net42610
2544 new net42647
2567 11258-200x20-se
2571 netT40.T8.610
2625 net11258
It's obvious, that networks without search are in quiet positions superior to ab-engines with minimal search. Imo STS delivers this and ranks the different networks quite nice :idea:
Ich bin generell kein Freund von Stellungstests zur Spielstärkeermittlung. Aber diese Ergebnisse in diesem extrem umfangreichen Strategietest sind so krass, daß ich sie mal hier posten wollte: lc0 mit dem Net aus dem TCEC Superfinal kommt hier
ohne Suche auf eine Performance von 2571. Stockfish 10 mit Tiefe 1 auf 1705 und mit Tiefe 4 auf 1767. Das sind 800 Elo weniger !!!
Das erklärt so manches... z.B. warum lc0 trotz etwa Faktor 1000 langsamerer Suche als Stockfish im praktischen Spiel auf Augenhöhe mit Stockfish kommt.
Interessant auch (und erwartbar!), daß die destillierten, kleineren Netze deutlich schlechtere Ergebnisse in diesem Test ohne jede Suche erbringen (dafür sind diese Netze ja in der Suche dann deutlich schneller).
24.06.2019, 18:37
Baum-Darstellung
Ähnliche Themen