Schachcomputer.info Community - Tipp: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau (Der LC0 Thread)

Schachcomputer.info Community (https://www.schachcomputer.info/forum/index.php)

- Die ganze Welt der Schachcomputer / World of chess computers (https://www.schachcomputer.info/forum/forumdisplay.php?f=2)

- - Tipp: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau (Der LC0 Thread) (https://www.schachcomputer.info/forum/showthread.php?t=5030)

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von Hartmut (Beitrag 73712)

Nur manchmal frage ich mich, was sie denkt, die Gute... Nicht falsch verstehen. Mich begeistert diese Engine, selbst als reine CPU-Version bringt sie beachtliche Ergebnisse mit. Und manchmal denkt man sich: "Was haben sie ihr denn jetzt in den Kaffee getan...". Heute eine Partie gegen das recht schwache Programm Bugchess mit der Einstellung 40 Züge in 20 Minuten. Leela (ID 330) sieht einfach nicht, dass ihre Dame einzügig geschlagen werden kann, bewertet sich mit +40 weil sie einen zwingenden Gewinn sieht, um nach dem Schlagen ihrer Dame auf -20 zu fallen... Da bin ich dann wirklich fast vom Stuhl gefallen. Ich warte noch, bis der Spießrutenlauf gegen die Gegnerschaft von einigen ELO 2000-2100 Gegnern durch ist und poste die Partie dann...

Sowas gehört wohl zum "Menschlich-werden" der KI dazu.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von (Beitrag 73714)

Sowas gehört wohl zum "Menschlich-werden" der KI dazu.

Mag sein. Trotzdem verwunderlich. Zumal im Rückkampf dasselbe wieder passierte. LCZero deklassiert die komplette Gegnerschaft, nur gegen Bugchess (das laut Elo-Listen auch nicht stärler ist, als die anderen Programme) wird sie nach nur 24 Zügen mattgesetzt. Ob der Name Bugchess daher kommt, dass das Programm bei seinen Gegnern Bugs erzeugt oder bestehende hervorholt? Fast könnte man es glauben. Naja... 2 Partien sind noch zu spielen, dann kommt das komplette pgn-File und ihr könnt Euch selber ein Urteil bilden.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Guten Morgen...

Hier meine erste gepostete Partie . Vielleicht etwas ungleich der Wettkampf aber Leela mit zirka 100 Rollouts/s und damit ~100 langsamer gegenüber einer 1080 Ti . Modena gab schon einige Züge vorher auf .Aber ich hatte irgendwie das Gefühl wo der Schwarze König matt gesetzt wird und spielte daher weiter ;)

[Event "Computer Schach"]
[Site "Mark 1"]
[Date "2018.05.27"]
[Round "?"]
[White "LC Zero Id 342"]
[Black "Modena L3"]
[Result "1-0"]
[BlackElo ""]
[ECO "A06"]
[Opening "Reti Eröffnung"]
[Time "08:48:13"]
[Variation "Nimzowitsch-Larsen"]
[WhiteElo ""]
[TimeControl "610+2"]
[Termination "normal"]
[PlyCount "61"]
[WhiteType "program"]
[BlackType "program"]

1. Nf3 d5 2. b3 Nc6 3. Bb2 {(Lc1-b2 Lc8-f5 e2-e3 e7-e6 Lf1-b5 Sg8-e7 O-O
a7-a6 Lb5-e2 Se7-g6 d2-d4 Lf8-e7 c2-c4) +0.16/17 9} Bg4 4. e3 {(e2-e3 e7-e5
h2-h3 Lg4xf3 Dd1xf3 Sg8-f6 Lf1-b5 Lf8-d6 c2-c4 a7-a6 Lb5xc6+ b7xc6 Sb1-c3
O-O) +0.26/17 8} e5 5. h3 {(h2-h3 Lg4xf3 Dd1xf3 Sg8-f6 Lf1-b5 Lf8-d6 c2-c4
e5-e4 Lb2xf6 e4xf3 Lf6xd8 f3xg2 Th1-g1 Ke8xd8 Lb5xc6 b7xc6) +0.23/17 7}
Bxf3 6. Qxf3 {(Dd1xf3 g7-g6 Lf1-b5 Lf8-g7 Lb5xc6+ b7xc6 Sb1-c3 e5-e4 Df3-e2
Sg8-h6 d2-d3 e4xd3) +0.25/18 3} Nb4 7. Na3 {(Sb1-a3 e5-e4 Df3-g3 Sg8-f6
Sa3-b5 Ta8-c8 O-O-O Sb4xa2+ Kc1-b1 Sa2-b4 Sb5xa7 Tc8-a8) +0.21/18 12} e4 8.
Qg3 {(Df3-g3 Sg8-f6 Sa3-b5 Ta8-c8 Sb5-d4 c7-c5 Lf1-b5+ Sb4-c6 Sd4xc6 b7xc6
Lb5-a6 Tc8-c7 Lb2-e5) +0.32/18 9} Nf6 9. Nb5 {(Sa3-b5 Ta8-c8 Sb5-d4 c7-c5
Lf1-b5+ Sf6-d7 a2-a3 c5xd4 a3xb4 a7-a6 Lb5xd7+ Dd8xd7 Lb2xd4 Tc8xc2 Dg3-e5+
Dd7-e6) +0.64/18 7} c6 10. Nd4 {(Sb5-d4 Lf8-d6 Dg3xg7 Th8-g8 Dg7-h6 Tg8-g6
Dh6-h4 c6-c5 a2-a3 c5xd4 a3xb4 d4xe3 d2xe3 Ld6xb4+ c2-c3 Lb4-e7 Dh4-f4
Dd8-b6 b3-b4 a7-a5 Lf1-e2 Tg6xg2 Ke1-f1) +0.30/18 11} Bc5 11. Kd1 {(Ke1-d1
Lc5xd4 Lb2xd4 O-O a2-a3 Sb4-a6 Lf1xa6 b7xa6 b3-b4 Tf8-e8 Kd1-e2 Te8-e6
h3-h4 h7-h5) +1.32/18 11} O-O 12. Nf5 {(Sd4-f5 g7-g6 Dg3-g5 d5-d4 Sf5-h6+
Kg8-g7 Dg5xc5 d4xe3 f2xe3 Sb4-d5 Sh6-g4 Kg7-g8 c2-c4 Sf6xg4 h3xg4) +3.18/17
8} g6 13. Qg5 {(Dg3-g5 d5-d4 Sf5-h6+ Kg8-g7 Dg5xc5 d4xe3 Dc5xb4 Kg7xh6
f2xe3 Sf6-d5 Db4xe4 Tf8-e8 De4-d4 f7-f6 c2-c4 Sd5xe3+) +4.37/18 8} d4 14.
Nh6+ {(Sf5-h6+ Kg8-g7 Dg5xc5 d4xe3 Dc5xb4 Kg7xh6 f2xe3 Sf6-d5 Db4xe4 Tf8-e8
De4-d4 f7-f6 Lf1-c4 Te8-e5) +4.76/18 4} Kg7 15. Qxc5 {(Dg5xc5 d4xe3 f2xe3
Kg7xh6 Dc5xb4 Sf6-d5 Db4xe4 Tf8-e8 De4-d4 f7-f6 e3-e4 Sd5-c7 Dd4xd8)
+5.73/18 3} Nxc2 16. Kxc2 {(Kd1xc2 d4-d3+ Kc2-b1 Kg7xh6 g2-g4 Sf6-d5 h3-h4
f7-f6 Lf1-g2 f6-f5 g4-g5+ Kh6-h5 f2-f3 b7-b6 Dc5-c4) +6.18/18 14} d3+ 17.
Kb1 {(Kc2-b1 Kg7xh6 g2-g4 Sf6-d5 Lf1-g2 f7-f5 f2-f4 e4xf3/ep Lg2xf3 f5-f4
Lf3xd5 c6xd5 e3xf4) +6.12/18 11} Kxh6 18. g4 {(g2-g4 Sf6-d5 Lf1-g2 f7-f5
f2-f4 e4xf3/ep Lg2xf3 Dd8-h4 Lf3xd5 c6xd5 Dc5-d4 Tf8-f7 a2-a4 f5xg4 h3xg4)
+6.38/19 16} Nd5 19. Qd4 {(Dc5-d4 Dd8-a5 g4-g5+ Kh6xg5 Dd4-e5+ f7-f5 h3-h4+
Kg5-h6 De5-g7+ Kh6-h5 Dg7xh7+ Kh5-g4 Dh7xg6+ Kg4-f3) +5.07/19 15} Qh4 20.
Qg7+ {(Dd4-g7+ Kh6-g5 Lf1-g2 Dh4xf2 h3-h4+ Kg5xg4 Lg2-h3+ Kg4-f3 Th1-f1
f7-f5 Tf1xf2+ Kf3xf2 Dg7xh7 f5-f4 e3xf4) +5.19/18 15} Kg5 21. Bg2 {(Lf1-g2
Dh4xf2 h3-h4+ Kg5xg4 Lg2-h3+ Kg4-f3 Th1-f1 f7-f5 Tf1xf2+ Kf3xf2 Dg7xh7
f5-f4 e3xf4 e4-e3 Lb2-d4 Tf8xf4 d2xe3) +4.91/19 16} Qxf2 22. h4+ {(h3-h4+
Kg5xg4 Lg2-h3+ Kg4-f3 Th1-f1 f7-f5 Tf1xf2+ Kf3xf2 Dg7xh7 f5-f4 e3xf4 e4-e3
Lb2-d4 Tf8xf4 d2xe3 Sd5xe3) +4.99/18 8} Kxg4 23. Bh3+ {(Lg2-h3+ Kg4-f3
Th1-f1 f7-f5 Tf1xf2+ Kf3xf2 Dg7xh7 f5-f4 e3xf4 e4-e3 Lb2-d4 Tf8xf4 Ld4xe3+
Sd5xe3) +5.44/18 4} Kf3 24. Rf1 {(Th1-f1 f7-f5 Tf1xf2+ Kf3xf2 Dg7xh7 f5-f4
e3xf4 e4-e3 Lb2-d4 Tf8xf4 Ld4xe3+ Sd5xe3 d2xe3) +5.53/18 4} Qxf1+ 25. Bxf1
{(Lh3xf1 f7-f5 Dg7xh7 f5-f4 Dh7xg6 Tf8-g8 Dg6-h5+ Tg8-g4 Lf1-h3 Ta8-g8
Lh3xg4+ Tg8xg4 e3xf4) +7.06/17 8} b6 26. Qe5 {(Dg7-e5 f7-f5 De5-h2 f5-f4
Dh2-g2+) +9.55/18 16} Kf2 27. Qxe4 {(De5xe4 Kf2xf1 De4-f3+ Kf1-e1 Kb1-c1
f7-f5 Lb2-e5 Ta8-e8 Le5-g3+) +11.38/18 16} Kxf1 28. Qf3+ {(De4-f3+ Kf1-e1
Lb2-g7 Tf8-e8 Kb1-b2+ Ke1xd2 Ta1-d1+) +11.71/18 9} Ke1 29. Bg7 {(Lb2-g7
Tf8-e8 Kb1-b2+ Ke1xd2 Ta1-d1+) +18.51/18 9} Nc3+ 30. Bxc3 {(Lg7xc3 f7-f5
Kb1-b2+) +70.84/17 11} Rac8 31. Kb2# {(Kb1-b2+) +122.77/17 10} 1-0

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Eine schöne Partie. Aber zwischenzeitlich ist Leela wohl ach in der CPU-Version über die Bretties hinausgewachsen. Ich bin auch gerade gewaltig abgewatscht worden (und das schaffen die Bretties normalerweise nicht, schon gar nicht so...)

By the Way: War die Eröffnung vorgegeben? Ich habe Leela noch nie mit Sf3 eröffnen sehen...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Ja , ich spielte mit einen kleinen Eröffnungsbuch Ausspielung max. 4 Halb Züge

Gruß Mark 1

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

So, der Testrun bzw. das 300 Partien long thinking-time Turnier (12'+5'') mit LC Zero CUDA (180521) Net 322 ist nun durch. Ergebnis + Partiendownload sind online.

https://www.sp-cc.de

Elo-performance von Leela gegen die 10 Gegnerengines mit einem CEGT-Eloschnitt von 3000: 42%, also 2944 Elo (laut Elotabelle).

LC0 Cuda(180521) N 322 (size: 15x192)(date: 180520): 300 (+ 68,=116,-116)
42.0 % (opponent-Elo: 3000) Elo-performance: 2944

Damit ist es wohl nun so, daß Leela Cuda auf einem ganz normalen 900€-Notebook, mit langweiliger mobile-Grafikkarte (Nvidia Cuda Gforce GTX 950M), so stark geworden ist, daß sich selbst die allerstärksten Menschen wohl sehr warm anziehen müssen.

Zum Vergleich: dies war das letzte Ergebnis der "normalen" GPU-Leela von vor 2 Wochen:

lczero v0.8 (GPU) N 251 (size: 15x192)(date: 180505): 320 (+164,= 73,- 83)
62.7 % (opponent-Elo: 2524) Elo-performance: 2614

Leela Cuda spielt ja bei mir mit drei Parameter-Änderungen, die ein User per CLOP-tuning ermittelt hat (wobei ich Scale thinking time etwas gesenkt habe)
FPU reduction = -0.068300
Cpuct MCTS = 3.168000
Scale thinking time = 2.500000

Um festzustellen, wieviel dieses Setting ausmacht (positiv (hoffentlich...)) spiele ich gerade auf meinem Reserve-Notebook zwei Gauntlets, nämlich einmal Leela Cuda mit default-settings und einmal mit diesen Spezial-Settings jeweils gegen Komodo 5, mit 5'+3'' Bedenkzeit. Je 250 Partien (also 500 Partien insgesamt). Nach momentan je 50 gespielten Partien liegt das Spezial-Setting knapp unter +30 Elo besser. Das ist natürlich noch ein recht früher Zwischenstand. Aber es scheint so, daß das Spezial-Setting im praktischen Spiel wirklich etwas bringt. Das Endergebnis werde ich dann voraussichtlich nächste Woche auf der "Experiments"-Unterseite bekanntgeben.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von StPohl (Beitrag 73781)

Hallo Stefan
Vielen Dank für deine immer interessanten Infos. Was da Leela Cuda für
eine Leistung zeigt, ist wirklich erstaunlich wie ebenso erfreulich.
MfG
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von applechess (Beitrag 73782)

Hallo Stefan
Vielen Dank für deine immer interessanten Infos. Was da Leela Cuda für
eine Leistung zeigt, ist wirklich erstaunlich wie ebenso erfreulich.
MfG
Kurt

Naja und die Net-Version ist ja schon weit veraltet. Zwischenzeitlich sind wir ja im 350er-Bereich. Und auch wenn es da in der Selbsttest-Elo immer mal wieder Schwankungen nach unten gibt so ist sie im praktischen Spiel immer stärker geworden. Selbst die reine CPU-Version schlägt sich gegen eine durchschnittliche Gegnerschaft von ELO 2300 zwischenzeitlich mit einer Gewinnquote von über 70 %. Und die CPU-Version ist ja noch weit schwächer als die normale GPU. Von CUDA mal gar nicht zu reden...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von Hartmut (Beitrag 73790)

Naja und die Net-Version ist ja schon weit veraltet. Zwischenzeitlich sind wir ja im 350er-Bereich.

Diese Net-Version war aktuell, als ich das Turnier gestartet habe. 300 Partien mit 12'+5'' Bedenkzeit dauern nun mal gute 7 Tage. Zaubern kann ich auch nicht.
Jetzt läuft ja bereits der nächste Testrun bzw. das nächste Turnier. Mit Net 353. Das wird dann auch schon "weit veraltet" sein, wenn die 300 Partien durch sind.
Daß man eine Software (Neuralnetz), die nicht mal 10 Tage alt ist, ausgerechnet in einem Schachcomputer-Forum als "weit veraltet" bezeichnet, finde ich doch schon reichlich absurd. Was wohl das Mephisto 2 Brikett dazu sagen würde?!?

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau

Zitieren:

Zitat von StPohl (Beitrag 73791)

Diese Net-Version war aktuell, als ich das Turnier gestartet habe. 300 Partien mit 12'+5'' Bedenkzeit dauern nun mal gute 7 Tage. Zaubern kann ich auch nicht.
Stefan

Es war ja auch kein Vorwurf sondern nur eine Feststellung bezüglich Deiner Einschätzung der Spielstärke. Soll heissen, wenn Diese Net-Version bereits die entsprechende Leistung bringt und Leela nun schon wieder 35 Versionen weiter ist, dann kann man sich vorstellen, wie es weitergeht. Das ganze verbunden mit meiner Feststellung wieviel bereits die reine CPU-Version mit Net 350 leistet.

Klar, 300 Partien dauern eine Weile. Und ich bin schon gespannt auf die nächsten Ergebnisse. Spielst Du die eigentlich auch live auf Twitch-TV? Könnte mir vorstellen, dass Du da einige Follower hättest...