Schachcomputer.info Community

Schachcomputer.info Community (https://www.schachcomputer.info/forum/index.php)
-   Mess Emu & andere Emulationen / Mess Emu and other Emulations (https://www.schachcomputer.info/forum/forumdisplay.php?f=53)
-   -   Turnier: Oldies vs. Leela (https://www.schachcomputer.info/forum/showthread.php?t=6158)

AlexS 08.04.2020 20:45

Oldies vs. Leela
 
Hallo zusammen,

Ich finde es faszinierend, wie stark Leela Zero auch ohne Berechnung spielen kann Ein Computer der nicht rechnet, sondern oftmals den besten Zug einfach weis. Für mich persönlich eine Neuauflage des Kampfes Mensch gegen Maschine. Die Herausforderung ist nicht mehr gegen die Rechenkraft eines Computers zu bestehen, sondern gegen ein Neuronales Netz, das die Maschine selbst erlernt hat.

Um die Spielstärke einschätzen zu können habe ich verschiedene Netze gegen verschiedene EMU auf Turnierstufe in einem Turnier antreten lassen, hier das für mich doch etwas überraschende Ergebnis:

Code:

2019.05.13 - 2020.04.08
                                      Nat    Score    Ta Me Me Fi No Le Sa CX Co Le CX Me De Le Ch Sc Percnt
-------------------------------------------------------------------------------------------------------------
 1: Tasc R30 v2.5                    NED  27.5 / 30  XX =1 11 11 11 == 11 =1 11 11 =1 11 11 11 11 11  91.6%  (+25 -0 =5)
 2: Mephisto Risc II                  NED  25.0 / 30  =0 XX == 10 11 11 11 10 11 1= 11 11 11 11 11 11  83.3%  (+23 -3 =4)
 3: Mephisto Vancouver 68020          ENG  24.5 / 30  00 == XX == =1 1= 11 11 11 =1 11 11 11 11 11 11  81.6%  (+21 -2 =7)
 4: Fidelity Elite Mach IV            USA  21.5 / 30  00 01 == XX 11 10 10 11 =1 01 10 11 11 11 11 11  71.6%  (+20 -7 =3)
 5: Novag Super Expert C              USA  19.0 / 30  00 00 =0 00 XX 10 11 11 =0 1= 11 1= 11 11 11 11  63.3%  (+17 -9 =4)
 6: Leela Zero 0.24.1 63108 (320x24)  BEL  17.5 / 30  == 00 0= 01 01 XX 01 01 =1 11 11 01 10 1= =1 =1  58.3%  (+14 -9 =7)
 7: Saitek Maestro D+ 5MHz            ARG  17.0 / 30  00 00 00 01 00 10 XX 10 01 11 1= 11 11 11 =1 11  56.6%  (+16 -12 =2)
 8: CXG Sphinx Dominator v2.05        NED  15.5 / 30  =0 01 00 00 00 10 01 XX =1 11 0= 00 11 11 11 11  51.6%  (+14 -13 =3)
 9: Conchess Plymate Victoria        SWE  12.5 / 30  00 00 00 =0 =1 =0 10 =0 XX =0 1= 11 01 00 =1 11  41.6%  (+9 -14 =7)
10: Leela Zero 0.24.1 42850 (256x20)  BEL  12.5 / 30  00 0= =0 10 0= 00 00 00 =1 XX =1 1= 01 11 =1 01  41.6%  (+9 -14 =7)
11: CXG Sphinx 40                    USA  12.5 / 30  =0 00 00 01 00 00 0= 1= 0= =0 XX 11 10 10 11 11  41.6%  (+10 -15 =5)
12: Mephisto III-S Glasgow            GER  11.5 / 30  00 00 00 00 0= 10 00 11 00 0= 00 XX 11 11 1= 11  38.3%  (+10 -17 =3)
13: Debut-M                          RUS  7.0 / 30  00 00 00 00 00 01 00 00 10 10 01 00 XX 10 01 01  23.3%  (+7 -23 =0)
14: Leela Zero 0.24.1 591226 (128x10) BEL  6.5 / 30  00 00 00 00 00 0= 00 00 11 00 01 00 01 XX 10 10  21.6%  (+6 -23 =1)
15: Chafiz Destiny Prodigy            USA  5.5 / 30  00 00 00 00 00 =0 =0 00 =0 =0 00 0= 10 01 XX 01  18.3%  (+3 -22 =5)
16: SciSys Chess Champion Mark V      USA  4.5 / 30  00 00 00 00 00 =0 00 00 00 10 00 00 10 01 10 XX  15.0%  (+4 -25 =1)
-------------------------------------------------------------------------------------------------------------
240 games: +112 =32 -96

[Event "?"]
[Site "?"]
[Date "2020.04.08"]
[Round "?"]
[White "Leela Zero 0.24.1 63108 (320x24)"]
[Black "Fidelity Elite Mach IV"]
[Result "1-0"]
[ECO "D35"]
[Opening "QGD"]
[PlyCount "267"]
[TimeControl "40/36000"]
[Variation "Exchange, positional line, 5...c6"]

1.d4
{+9.96/1 0.42s}
1...d5
{1.5s}
2.c4
{+10.47/1 0.10s}
2...e6
{1.6s}
3.Nc3
{+11.49/1 0.061s}
3...Nf6
{1.7s}
4.cxd5
{+10.40/1 0.089s}
4...exd5
{1.9s}
5.Bg5
{+9.31/1 0.089s}
5...c6
{1.1s}
6.e3
{+10.41/1 0.063s}
6...Be7
{1.3s}
7.Bd3
{+16.26/1 0.075s}
7...Ne4
{1.8s}
8.Bf4
{+18.52/1 0.060s}
8...Nxc3
{132s}
9.bxc3
{+17.89/1 0.055s}
9...Bd6
{113s}
10.Nf3
{+29.73/1 0.056s}
10...Bxf4
{78s}
11.exf4
{+25.63/1 0.057s}
11...Qe7+
{43s}
12.Kf1
{+20.93/1 0.056s}
12...O-O
{71s}
13.h4
{+26.26/1 0.056s}
13...f5
{57s}
14.h5
{+55.32/1 0.067s}
14...a5
{201s}
15.h6
{+76.65/1 0.058s}
15...g6
{58s}
16.g3
{+76.16/1 0.061s}
16...Nd7
{116s}
17.Kg2
{+83.33/1 0.066s}
17...Nf6
{62s}
18.a4
{+83.13/1 0.059s}
18...Ne4
{49s}
19.Qc1
{+87.18/1 0.058s}
19...Be6
{74s}
20.Rb1
{+87.62/1 0.062s}
20...Kh8
{69s}
21.Re1
{+93.39/1 0.064s}
21...Rac8
{57s}
22.Rb6
{+93.51/1 0.061s}
22...Rce8
{87s}
23.Qb2
{+92.60/1 0.065s}
23...Bc8
{85s}
24.c4
{+89.80/1 0.074s}
24...dxc4
{50s}
25.Bxc4
{+94.07/1 0.062s}
25...Qf6
{68s}
26.d5
{+93.09/1 0.065s}
26...Qxb2
{46s}
27.Rxb2
{+91.71/1 0.066s}
27...Nc3
{81s}
28.Rxe8
{+91.80/1 0.062s}
28...Rxe8
{2.7s}
29.dxc6
{+94.15/1 0.055s}
29...bxc6
{2.2s}
30.Ng5
{+95.21/1 0.055s}
30...Nd5
{73s}
31.Bxd5
{+95.11/1 0.083s}
31...cxd5
{3.0s}
32.Rc2
{+93.76/1 0.058s}
32...Bd7
{102s}
33.Rc7
{+94.42/1 0.060s}
33...Re7
{97s}
34.Ra7
{+94.06/1 0.063s}
34...Kg8
{92s}
35.Rxa5
{+92.96/1 0.065s}
35...d4
{67s}
36.Ra8+
{+93.87/1 0.077s}
36...Re8
{109s}
37.Rxe8+
{+93.93/1 0.059s}
37...Bxe8
{2.3s}
38.a5
{+93.83/1 0.061s}
38...Bb5
{106s}
39.Kf3
{+87.99/1 0.063s}
39...Bc4
{107s}
40.g4
{+76.51/1 0.061s}
40...Bd5+
{97s}
41.Ke2
{+93.96/1 0.065s}
41...Bc4+
{61s}
42.Kd2
{+94.76/1 0.065s}
42...fxg4
{67s}
43.Ne4
{+92.76/1 0.060s}
43...Kh8
{62s}
44.Nf6
{+94.59/1 0.068s}
44...Bb5
{90s}
45.Nxg4
{+93.73/1 0.064s}
45...Ba6
{27s}
46.Ne5
{+94.41/1 0.072s}
46...Kg8
{46s}
47.Nf3
{+94.69/1 0.072s}
47...Kf7
{78s}
48.Nxd4
{+94.38/1 0.067s}
48...Bb7
{59s}
49.Ke3
{+95.29/1 0.061s}
49...Ke7
{88s}
50.Nf3
{+95.62/1 0.062s}
50...Kf7
{212s}
51.Ng5+
{+95.07/1 0.067s}
51...Kg8
{27s}
52.Kd4
{+94.91/1 0.064s}
52...Bc8
{49s}
53.Kc5
{+95.10/1 0.074s}
53...Bb7
{22s}
54.Kb6
{+95.40/1 0.085s}
54...Ba8
{33s}
55.a6
{+95.41/1 0.079s}
55...Bd5
{64s}
56.a7
{+95.53/1 0.074s}
56...Ba8
{52s}
57.Kc7
{+95.70/1 0.063s}
57...Kf8
{37s}
58.Nxh7+
{+95.67/1 0.078s}
58...Kg8
{85s}
59.Kb8
{+97.04/1 0.073s}
59...Bf3
{70s}
60.Ng5
{+96.08/1 0.076s}
60...Bd5
{63s}
61.a8=Q
{+96.45/1 0.064s}
61...Bxa8
{48s}
62.Kxa8
{+98.21/1 0.079s}
62...Kh8
{46s}
63.Nf7+
{+98.60/1 0.079s}
63...Kg8
{63s}
64.Ng5
{+97.84/1 0.065s}
64...Kh8
{64s}
65.Kb7
{+97.73/1 0.077s}
65...Kg8
{2.4s}
66.h7+
{+97.93/1 0.065s}
66...Kg7
{69s}
67.h8=Q+
{+M72/1 0.079s}
67...Kxh8
{3.8s}
68.Kc6
{+M74/1 0.065s}
68...Kg7
{101s}
69.Kd5
{+M34/1 0.071s}
69...Kf6
{81s}
70.Ke4
{+M28/1 0.076s}
70...Kg7
{70s}
71.f5
{+M21/1 0.078s}
71...Kf6
{97s}
72.Nh7+
{+M14/1 0.079s}
72...Kg7
{363s}
73.fxg6
{+M18/1 0.044s}
73...Kxg6
{1.3s}
74.f3
{+M1/1 0.047s}
74...Kxh7
{28s}
75.Kf4
{+M4/1 0.098s}
75...Kg6
{47s}
76.Ke5
{+M8/1 0.059s}
76...Kf7
{36s}
77.Kf5
{+M22/1 0.050s}
77...Ke7
{53s}
78.Kg6
{+M15/1 0.063s}
78...Ke6
{53s}
79.f4
{+M29/1 0.045s}
79...Ke7
{46s}
80.f5
{+M17/1 0.046s}
80...Kf8
{55s}
81.Kf6
{+98.82/1 0.051s}
81...Ke8
{49s}
82.Kg7
{+M6/1 0.053s}
82...Ke7
{54s}
83.f6+
{+M10/1 0.059s}
83...Kd6
{69s}
84.f7
{+M2/1 0.051s}
84...Ke6
{71s}
85.f8=R
{+M1/1 0.057s}
85...Ke5
{31s}
86.Rf1
{+M1/1 0.068s}
86...Ke6
{27s}
87.Kh7
{+M2/1 0.066s}
87...Kd5
{80s}
88.Rb1
{+M2/1 0.063s}
88...Ke4
{95s}
89.Kh8
{+M1/1 0.064s}
89...Kd3
{48s}
90.Ra1
{+M2/1 0.058s}
90...Kc4
{65s}
91.Ra5
{+M4/1 0.078s}
91...Kb4
{65s}
92.Rd5
{+M5/1 0.063s}
92...Kc4
{68s}
93.Rg5
{+M10/1 0.062s}
93...Kd3
{47s}
94.Kg8
{+M10/1 0.056s}
94...Ke3
{59s}
95.Rc5
{+M13/1 0.061s}
95...Kd4
{61s}
96.Ra5
{+M60/1 0.066s}
96...Ke3
{79s}
97.Kf8
{+M59/1 0.069s}
97...Kd2
{55s}
98.Rd5+
{+M45/1 0.056s}
98...Ke2
{70s}
99.Rg5
{+M49/1 0.061s}
99...Ke3
{70s}
100.Rg6
{+M61/1 0.060s}
100...Kd3
{69s}
101.Kg8
{+M87/1 0.055s}
101...Ke4
{56s}
102.Kh8
{+M91/1 0.062s}
102...Ke3
{72s}
103.Rg8
{+M99/1 0.071s}
103...Kd4
{44s}
104.Rc8
{+98.89/1 0.061s}
104...Kd3
{57s}
105.Kg7
{+98.82/1 0.061s}
105...Kd4
{51s}
106.Rc1
{+98.72/1 0.060s}
106...Kd5
{82s}
107.Kh7
{+98.37/1 0.061s}
107...Kd4
{59s}
108.Rb1
{+98.61/1 0.067s}
108...Ke4
{61s}
109.Kg6
{+74.80/1 0.065s}
109...Ke5
{58s}
110.Rd1
{+85.23/1 0.055s}
110...Ke6
{108s}
111.Rd2
{+80.05/1 0.061s}
111...Ke5
{42s}
112.Re2+
{+78.89/1 0.062s}
112...Kd4
{26s}
113.Kh6
{+96.76/1 0.065s}
113...Kd3
{36s}
114.Re8
{+96.45/1 0.068s}
114...Kc4
{28s}
115.Kh7
{+97.10/1 0.066s}
115...Kc5
{58s}
116.Kh8
{+97.38/1 0.066s}
116...Kc4
{33s}
117.Rg8
{+97.59/1 0.065s}
117...Kd4
{33s}
118.Rg1
{+77.26/1 0.062s}
118...Ke3
{30s}
119.Rg2
{+77.40/1 0.064s}
119...Kf3
{40s}
120.Rh2
{+75.74/1 0.088s}
120...Ke4
{52s}
121.Kg7
{+51.72/1 0.062s}
121...Kd4
{29s}
122.Kf6
{+77.16/1 0.059s}
122...Ke4
{40s}
123.Rh4+
{+87.02/1 0.056s}
123...Kd3
{42s}
124.Ke5
{+92.81/1 0.061s}
124...Kc3
{78s}
125.Rd4
{+94.60/1 0.063s}
125...Kc2
{72s}
126.Ke4
{+96.05/1 0.068s}
126...Kc3
{47s}
127.Ke3
{+97.06/1 0.066s}
127...Kc2
{64s}
128.Rd3
{+97.42/1 0.058s}
128...Kb1
{17s}
129.Kd2
{+98.24/1 0.051s}
129...Kb2
{2.1s}
130.Rh3
{+98.70/1 0.065s}
130...Ka1
{2.8s}
131.Kc2
{+98.66/1 0.066s}
131...Ka2
{1.7s}
132.Re3
{+98.85/1 0.055s}
132...Ka1
{1.7s}
133.Kb3
{+M60/1 0.059s}
133...Kb1
{1.7s}
134.Re1#
{+M59/1 0.053s, White mates}
1-0

applechess 09.04.2020 09:23

AW: Oldies vs. Leela
 
Zitieren:

Zitat von AlexS (Beitrag 89703)
Hallo zusammen,
[...]
Um die Spielstärke einschätzen zu können habe ich verschiedene Netze gegen verschiedene EMU auf Turnierstufe in einem Turnier antreten lassen, hier das für mich doch etwas überraschende Ergebnis:
[...]

Hallo Alex
Ein schönes Turnier und höchst überraschend das schlechte Abschneiden
von Leela Zero 0.24.1 - die Nr. 1 oder 2 der Welt.
Gruss
Kurt

mclane 09.04.2020 10:00

AW: Oldies vs. Leela
 
Na das Netz spielt ja sofort, ohne SUCHBAUM. Nur das neuronale Netz spielt einen Zug aus,

AlexS 09.04.2020 20:47

AW: Oldies vs. Leela
 
Zitieren:

Zitat von applechess (Beitrag 89708)
Hallo Alex
Ein schönes Turnier und höchst überraschend das schlechte Abschneiden
von Leela Zero 0.24.1 - die Nr. 1 oder 2 der Welt.
Gruss
Kurt

Thorsten hat es schon erwähnt. Leela Zero rechnet nicht, sondern spielt den Zug aus, den das neuronale Netz, also die Stellungsbewertung für den besten hält.Ich finde es sehr bemerkenswert, Leela hat selbstständig Schach gelernt, und hat vermutlich ein besseres Positionsverständnis als jeder Mensch. Ich bezweifle, dass irgendein Schachspieler ohne durchrechnen von Varianten gegen das neuronale Netz gewinnen könnte. Und selbst wenn es jetzt noch jemand schafft wird er es bald nicht mehr schaffen.

Dazu muss man noch hinzufügen, je größer das Netzwerk, umso besser würde Leela unter diesen Bedingungen abschneiden. Der einzige Grund, warum kaum größere Netzwerke trainiert werden ist, dass diese beim rechnen langsamer sind. Ich glaube, dass irgendwann ein neuronales Netz Schach gelöst haben wird. Der Computer wird einfach wissen welcher Zug gewinnt, aber keiner wird nachvollziehen können warum das so ist.

Robert 10.04.2020 22:38

AW: Oldies vs. Leela
 
Hallo,

Zitieren:

Zitat von AlexS (Beitrag 89703)
Ich finde es faszinierend, wie stark Leela Zero auch ohne Berechnung spielen kann Ein Computer der nicht rechnet, sondern oftmals den besten Zug einfach weis.

Ich habe mal dagegen zwei Partien gespielt: Die erste konnte ich noch mit einem Königsangriff gewinnen, aber in der zweiten, die ich positionell angelegt habe, wurde ich nach allen Regeln der Kunst zusammengeschoben. Beeindruckt hat mich vor allem, wie Leela Zug um Zug seine Stellung verbessert hat.

Die Spielweise hat auf mich wie die eines starken Positionsspielers gewirkt...

Viele Grüße
Robert

mclane 10.04.2020 22:58

AW: Oldies vs. Leela
 
Wie macht ihr das ohne den Monte Carlo SUCHBAUM zu spielen ?

StPohl 11.04.2020 17:22

AW: Oldies vs. Leela
 
Zitieren:

Zitat von mclane (Beitrag 89712)
Na das Netz spielt ja sofort, ohne SUCHBAUM. Nur das neuronale Netz spielt einen Zug aus,

Wenn man das so macht, also Lc0 ganz ohne Suche spielen läßt, dann muß das Netz aber möglichst groß sein. Ein so kleines 10x128 Netz für so ein Experiment zu nutzen, heißt unnötig Spielverständnis und damit Spielstärke wegzulassen.
Unbedingt ein richtig großes Netz für so ein Experiment nehmen:
https://www.comp.nus.edu.sg/~sergio-v/t60/384x30/

(Das 3010 spielt gerade im TCEC, die späteren Netze scheinen eher etwas schwächer zu sein. Mit dem 3010 macht man nichts falsch)

mclane 11.04.2020 17:35

AW: Oldies vs. Leela
 
In welcher GUI gebt ihr das denn ein das ohne SUCHBAUM gespielt wird.

?

applechess 11.04.2020 17:57

AW: Oldies vs. Leela
 
Zitieren:

Zitat von StPohl (Beitrag 89796)
Wenn man das so macht, also Lc0 ganz ohne Suche spielen läßt, dann muß das Netz aber möglichst groß sein. Ein so kleines 10x128 Netz für so ein Experiment zu nutzen, heißt unnötig Spielverständnis und damit Spielstärke wegzulassen.
Unbedingt ein richtig großes Netz für so ein Experiment nehmen:
https://www.comp.nus.edu.sg/~sergio-v/t60/384x30/

(Das 3010 spielt gerade im TCEC, die späteren Netze scheinen eher etwas schwächer zu sein. Mit dem 3010 macht man nichts falsch)

Hallo Stefan
Aber nur brauchbar für RTX-Karten oder auch allgemein für Nvidia Grafikkarten?
Gruss
Kurt

StPohl 11.04.2020 19:05

AW: Oldies vs. Leela
 
Zitieren:

Zitat von mclane (Beitrag 89798)
In welcher GUI gebt ihr das denn ein das ohne SUCHBAUM gespielt wird.

?

Natürlich in Nibbler. Da kann man das Node-Limit bis auf 1 heruntersetzen.

https://github.com/fohristiwhirl/nibbler/releases

Probiert habe ich es nicht, aber es sollte auch mit der CutechessGUI gehen, denn mit cutechess-cli ist es möglich statt einer Bedenkzeit auch ein nodelimit als Berechnungsgrenze für Lc0 anzugeben. Da die CutechessGUI auf cutechess-cli aufsetzt, sollte das also auch in der CutechessGUI gehen. Ohne Gewähr.
Theoretisch sollte es auch in ARENA gehen, denn Lc0 unterstützt das Commandline Kommando --nodes. Übergibt man das in Arena, wo man das ja machen kann, sollte es auch dort klappen. Aber auch hier gilt, ich habs nicht ausprobiert.

Wer sich das zutraut (ist ein bißchen kompliziert): Man kann lc0 auch über den Polylgotadapter in eine GUI einbinden (dann in wirklich JEDE GUI). Im Polyglot-Adpater kann man nämlich ebenfalls Commandline-Argumente übergeben:
Aus der Anleitung:
"EngineCommand
Put here the name of the engine executable file. You can also add
command-line arguments. Path searching is used and the current
directory will be "EngineDir". "
Ich habe das mit Lc0 mal testweise gemacht, um Polyglot-Eröffnungsbücher in Verbindung mit Lc0 nutzen zu können (Cerebellums). Das klappte in der FritzGUI problemlos. Insfoern sollte es mit dem Commandline Argument --nodes=1 eigentlich auch klappen.


Lc0 Commandline Befehle Übersicht (für nodes muß man weit runterscrollen):
https://github.com/LeelaChessZero/lc0/wiki/Lc0-options


Am einfachsten ist es aber definitiv mit Nibbler. Eine schöne auf Lc0 spezialisierte GUI, die zudem noch ohne Installation auskommt und daher auch vom USB-Stick gestartet werden kann. Will man allerdings automatisiert gegen andere Engines (oder alte Brettcomputer als Emulation) spielen lassen, sollte man es wohl mit Arena probieren.


Alle Zeitangaben in WEZ +2. Es ist jetzt 08:02 Uhr.

Powered by vBulletin (Deutsch)
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
©Schachcomputer.info