AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

So, der Testrun bzw. das 300 Partien long thinking-time Turnier (12'+5'') mit LC Zero CUDA (180521) Net 322 ist nun durch. Ergebnis + Partiendownload sind online.

https://www.sp-cc.de

Elo-performance von Leela gegen die 10 Gegnerengines mit einem CEGT-Eloschnitt von 3000: 42%, also 2944 Elo (laut Elotabelle).

LC0 Cuda(180521) N 322 (size: 15x192)(date: 180520): 300 (+ 68,=116,-116)
42.0 % (opponent-Elo: 3000) Elo-performance: 2944

Damit ist es wohl nun so, daß Leela Cuda auf einem ganz normalen 900€-Notebook, mit langweiliger mobile-Grafikkarte (Nvidia Cuda Gforce GTX 950M), so stark geworden ist, daß sich selbst die allerstärksten Menschen wohl sehr warm anziehen müssen.


Zum Vergleich: dies war das letzte Ergebnis der "normalen" GPU-Leela von vor 2 Wochen:

lczero v0.8 (GPU) N 251 (size: 15x192)(date: 180505): 320 (+164,= 73,- 83)
62.7 % (opponent-Elo: 2524) Elo-performance: 2614

Leela Cuda spielt ja bei mir mit drei Parameter-Änderungen, die ein User per CLOP-tuning ermittelt hat (wobei ich Scale thinking time etwas gesenkt habe)
FPU reduction = -0.068300
Cpuct MCTS = 3.168000
Scale thinking time = 2.500000

Um festzustellen, wieviel dieses Setting ausmacht (positiv (hoffentlich...)) spiele ich gerade auf meinem Reserve-Notebook zwei Gauntlets, nämlich einmal Leela Cuda mit default-settings und einmal mit diesen Spezial-Settings jeweils gegen Komodo 5, mit 5'+3'' Bedenkzeit. Je 250 Partien (also 500 Partien insgesamt). Nach momentan je 50 gespielten Partien liegt das Spezial-Setting knapp unter +30 Elo besser. Das ist natürlich noch ein recht früher Zwischenstand. Aber es scheint so, daß das Spezial-Setting im praktischen Spiel wirklich etwas bringt. Das Endergebnis werde ich dann voraussichtlich nächste Woche auf der "Experiments"-Unterseite bekanntgeben.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Stefan
Vielen Dank für deine immer interessanten Infos. Was da Leela Cuda für
eine Leistung zeigt, ist wirklich erstaunlich wie ebenso erfreulich.
MfG
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Naja und die Net-Version ist ja schon weit veraltet. Zwischenzeitlich sind wir ja im 350er-Bereich. Und auch wenn es da in der Selbsttest-Elo immer mal wieder Schwankungen nach unten gibt so ist sie im praktischen Spiel immer stärker geworden. Selbst die reine CPU-Version schlägt sich gegen eine durchschnittliche Gegnerschaft von ELO 2300 zwischenzeitlich mit einer Gewinnquote von über 70 %. Und die CPU-Version ist ja noch weit schwächer als die normale GPU. Von CUDA mal gar nicht zu reden...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Diese Net-Version war aktuell, als ich das Turnier gestartet habe. 300 Partien mit 12'+5'' Bedenkzeit dauern nun mal gute 7 Tage. Zaubern kann ich auch nicht.
Jetzt läuft ja bereits der nächste Testrun bzw. das nächste Turnier. Mit Net 353. Das wird dann auch schon "weit veraltet" sein, wenn die 300 Partien durch sind.
Daß man eine Software (Neuralnetz), die nicht mal 10 Tage alt ist, ausgerechnet in einem Schachcomputer-Forum als "weit veraltet" bezeichnet, finde ich doch schon reichlich absurd. Was wohl das Mephisto 2 Brikett dazu sagen würde?!?

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Es war ja auch kein Vorwurf sondern nur eine Feststellung bezüglich Deiner Einschätzung der Spielstärke. Soll heissen, wenn Diese Net-Version bereits die entsprechende Leistung bringt und Leela nun schon wieder 35 Versionen weiter ist, dann kann man sich vorstellen, wie es weitergeht. Das ganze verbunden mit meiner Feststellung wieviel bereits die reine CPU-Version mit Net 350 leistet.

Klar, 300 Partien dauern eine Weile. Und ich bin schon gespannt auf die nächsten Ergebnisse. Spielst Du die eigentlich auch live auf Twitch-TV? Könnte mir vorstellen, dass Du da einige Follower hättest...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Nein, ich glaube mit meiner Notebook-Hardware wäre das nicht so spannend. Bin auch kein Feund davon, daß meine Rechner immer online sind. Fürs testen finde ich offline besser.

Die ersten 30 Partien mit dem neuen Network 353 verliefen äußerst mäßig. Nach einer Steigerung sieht es bisher nicht aus. Und laut dem Leela Elo-Graph ist diese eigentlich auch nicht zu erwarten. Die Differenz zwischen 322 und 353 ist sehr gering.
Na, mal abwarten.

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hm, ich konnte bei der CPU-Version eine leichte Steigerung feststellen. Vielleicht macht es sich aber in der GPU-Version und bei stärkerer Gegnerschaft dann nicht mehr so bemerkbar.

Auffällig ist allerdings das Verhalten, wenn man ohne vorgegebene Eröffnung spielt. Bevorzugt Leela früher fast ausschließlich e4, so spielt sie z.B. mit der Net 350 nur noch d4. Seit 357 mit der ich im moment arbeite wird meistens mit c4 eröffnet (jeweils bezogen auf die Einstellung 40 in 20). Vielleicht liegt es ja daran dass ich Leela ohne vorgegebenes Eröffnungsbuch und dann eben nur 2 Partien gegen jede Engine (und dafür gegen mehr gleichstarke Engines) spielen lasse, dass ich einen Fortschritt feststelle. Na mal abwarten...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Die neuste Leela Cuda Version (https://crem.xyz/lc0/) von gestern, also 180530 ist auf meiner GTX 950M in der Startposition genau +25% schneller, als die Vorgängerversionen. Ich habe jetzt beim "go infinite" im Konsolenmodus und Depth 37 2600 Rollouts/s. Die ältere Leela schaffte nur 2080. Sehr nice!

Daher habe ich mich dazu entschlossen, meinen aktuellen long thinking-time Testrun von Leela mit dieser neuen Version und dem Network 359 neu zu starten, zumal der Testrun der alten Version mit Network 353 eher nach einer Regression aussah.

Stefan (SPCC)

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Dazu mal eine Frage. Kompilierst Du die Version jeweils selber oder ist es nur die CPU-Version die die Beschränkung bis Tiefe 29 hat? Da bin ich auch leider im GitHub-Forum bisher nicht fündig geworden. Dazu muss ich sagen, dass ich immer die Offizielle Version lade. Den Liink von Dir kannte ich noch nicht.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ich hatte doch hier schon mal mein step-by-step manual gepostet, wie man Leela Cuda zum laufen bringt. Ich kopier den Text noch mal hier rein. Und nein, die Leela Cuda ist schon compiliert und betriebsbereit (sofern man ihr die drei CUDA dll-files in den Ordner packt (siehe mein manual)). Und Leela Cuda ist nun mit der neuesten Version fette 5x schneller als die GPU-Version. Und Lichtjahre schneller als die CPU Version.
Übrigens wird Leela Cuda bald die offizielle Version. Dann wird sie allerdings auch optional OpenCl unterstützen (wie bisher die “offizielle“ GPU-Leela), damit auch User ohne Cuda-Grafikkarte Leela weiter nutzen können. Daran wird z.Zt. gearbeitet.

Hier nochmal die Anleitung, um Leela Cuda in Betrieb zu nehmen:

How to run Leela CUDA (should be around 4x faster, than Leela GPU(!)) in Fritz/Shredder GUI:

Important: Leela CUDA needs 3 .dll-files from the NVIDIA-developer-website, otherwise it can not run!
And - of course - you need a NVIDIA CUDA GPU in your PC...

1) Update your Nvidia driver for your GPU to the latest version here: http://www.nvidia.de/Download/index.aspx
After that: reboot your PC.
2) Get LC0.exe for the cuDNN version from: https://crem.xyz/lc0/ and unpack it and put it in your Leela CUDA folder.
3) Install CUDA v9.2 from https://developer.nvidia.com/cuda-92-download-archive (you need an account) and get cublas64_92.dll and cudart64_92.dll from the bin directory of CUDA v9.2 and copy it to your Leela CUDA-folder.
(Alternatively if you don't want to install CUDA, you can just unpack the installer and search in the unpacked folder and files for the .dlls with <Strg>+F in the Windows-Explorer, that was, what I did). Put the 2 files in your Leela CUDA-folder.
4) Get cuDNN for CUDA 9.2 from https://developer.nvidia.com/rdp/cudnn-download (you also need an account for this) and get cudnn64_7.dll from the bin directory of the zip and extract it and put it in your Leela CUDA-folder.
5) Download the latest network from http://lczero.org/networks and unpack it (Leela CUDA will autodetect it in any form either as weights.txt or however it is named) and put it in your Leela CUDA-folder.
6) Create the UCI-Engine in Fritz/Shredder.

Done.

7) I strongly recommend to change the UCI-settings of Leela CUDA to this:

Scale thinking time = 2.400000
FPU reduction = -0.068300
Cpuct MCTS = 3.168000

Why these values? Because FPU reduction and Cpuct were optimized with the CLOP-tool to these values. And raising Scale thinking time to 2.4 makes Leela moving slower, which means a better use of the game-time. In my testing, Leela plays definitly stronger with this settings.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Stefan
Frage eines Hardware-Dummy: Und wie merke ich, ob ich eine CUDA GPU habe.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Kurt,

schau hier nach, ob deine Grafikkarte aufgelistet ist: https://developer.nvidia.com/cuda-gpus

Generell ist es so, daß im Prinzip alle NVIDIA-Grafikkarten, die nicht uralt sind, wohl CUDA unterstützen. Aber im Zweifelsfall lieber mal in die Liste schauen.

Falls du eine solche Grafikkarte hast, kann ich dir die Benutzung der Leela Cuda nur empfehlen. Mittlerweile ist sie ca. 5x schneller als die GPU-Leela. Das ist eine Menge! Gerade bei nicht so schnellen Notebook-Karten und/oder kurzen Bedenkzeiten!

Solltest du trotz meines step-by-step manuals Probleme bei der Inbetriebnahme haben, du hast ja meine email-Adresse.

Grüße - Stefan

PS: hab dir gerade eine email geschickt...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Öhm... Hast Du meine Frage richtig gelesen? Die Frage ob Du selbst compilierst war nicht darauf gerichtet ob das Teil nun läuft oder nicht, sondern darauf, dass bei der CPU-Version bei Tiefe 29 Schluss ist (zumindest bei mir). Deshalb wunderte es mich, dass Du in Deinem Post etwas von Tiefe 37 erzählt hast. Oder ist das bei der GPU und der CUDA-Version anders? Ist da bei mir etwas falsch konfiguriert oder ist bei der CPU-Version wirklich diese Begrenzung?

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das kann ich dir leider nicht beantworten, denn die CPU-Version benutze ich nicht. Leela Cuda geht jedenfalls regelmäßig auf wesentlich höhere Suchtiefen als 29. Besonders im Endspiel.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Stefan
Vielen Dank für deine hilfreiche Antwort. Die GeForce 840M Grafikkarte
in meinem Windows-Notebook unterstützt CUDA, wie ich jetzt gesehen
habe.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Liebe Schachfreunde
Seit ich mit der deutlich schnelleren Leela Cuda arbeite, habe ich den Eindruck, dass man nun die Engine auch ganz normal zur Analyse einsetzen kann. Finde ich einfach toll.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Nun ja, vielleicht als zusätzliche Engine (parallel neben einer klassischen Engine) als “Ideengeber“. Das könnte man machen, zumal Leela Cuda ja nur sehr wenig CPU-Leistung benötigt und daher die klassische Engine kaum bremst. Aber man muß immer im Hinterkopf haben, daß Leela taktisch alles andere als stark oder gar zuverlässig ist. Insofern sollte man alle Leela-Analysen immer durch eine klassische Engine taktisch “absichern“, sonst kann das böse enden.
Die neueste Leela Cuda vom 4.6. hat ein verändertes Parametersetting, welche taktisch etwas sattelfester sein soll...es ist allerdings noch experimentell. Und eine Taktik-Granate wird Leela nie werden. Dafür sind die Stellungs-Bewertungen durch das virtuelle Neuralnetz viel zu aufwendig und langsam.

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Stefan
Mir ist einfach aufgefallen, dass Leela Cuda die guten Züge, oftmals auch
taktischer Art, bedeutend schneller anzeigt als früher. Muss mal einen
"Härtetest" mit einer wirklich hochtaktischen Partie durchführen.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Endlich gibt es für Leela-Cuda Versionen auch ein changelog...bisher mußte ich in den diversen discordApp-Threads von Leela und im LCZero GoogleGroups Forum immer mühsam nach Infos suchen, was sich in den neuen Versionen geändert hat.
Insofern eine große Hilfe, jetzt endlich ein changelog zu haben.

https://crem.xyz/lc0/changelog.txt

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Danke Stefan. Was würde ich (wir?) ohne deine Hilfe tun.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Da muss ich Stefan recht geben. Als Analyseengine würde ich Leela zwar durchaus einsetzen, aber man muss da sehr viel Vorsicht walten lassen. Die Stellungsbewertungen funktionieren bei Leela völlig anders als bei jeder anderen Engine. Was man auf jeden Fall machen kann ist, sich positionell Ideen zu holen. Auch in der Eröffnungsphase entwickelt das Programm sehr gute Ideen, mit denen man so manchen guten Plan entwickeln kann. Ich kenne kein Programm dass Leela in positioneller Hinsicht wirklich das Wasser reichen kann. Das Problem ist, dass - gerade gegen starke Engines - die sehr guten positionellen Ideen oftmals an der taktischen Anfälligkeit scheitern. Das heisst, Leela hat positionell die richtige Idee, wird dann aber eben taktisch ausgehebelt. Man merkt das am prinzipiellen Vorgehen von Leela sehr deutlich. Die Hälfte der Partien wird gewonnen, weil Leela in geradezu unverschämter Weise mit den Bauern vorstürmt, den Gegner einengt, etc. Die Folgen der Einengung werden von den Gegnern meistens nicht erkannt (oder erst wenn es zu spät ist). Dummerweise macht Leela dann oftmals Züge in denen sie ein- oder zweizügig den Vorteil wieder hergeben muss, weil irgendein taktischer Trick übersehen wurde. Während schwächere Engines dann die taktische Wendung nicht so leicht finden, kann man da den Top 3 (Stockfish, Houdini und Komodo) oder auch den Top 20 in den Enginelisten normalerweise kein X für ein U vormachen.

Will man selber in der Analyse - zum Beispiel im Fernschach - Ideen einbringen und die Engine diese Ideen prüfen lassen, dann hat Leela einen weiteren Nachteil. Sie speichert zwar die ihre Analysen der letzten 8 Züge und kann im normalen Spiel darauf zurückgreifen, hat aber keinen "konventionellen" Hash-Speicher. Spiele ich mit einer "normale" Engine aus einer gegebenen Ausgangsstellung eine Variante durch und komme dann in eine Stellung, in der der Gegner in Nachteil kommt (was die Engine vielleicht aus der Ausgangsstellung heraus vorher nicht gesehen hat) dann hat sie diese Folge im Hash gespeichert, sie wird dann diese Zugfolge auch aus der Ausgangsstellung heraus sehen und nicht abschneiden. Leela hingegen kann auf solche Informationen nicht zugreifen.

Der nächste Nachteil ist noch folgender. Wie gesagt kann Leela im praktischen Spiel auf die Rollouts der letzten 8 Züge zugreifen. Wenn ich eine Engine beim Fernschach für eine Analyse einsetze, dann spiele ich aber nicht nur eine Partie sondern meist mehrere. Speichere ich eine Stellung ab, dann habe ich die Stellung, nicht aber die Analysen der letzten Züge. Bei den meisten Engines gibt es zwischenzeitlich die Möglichkeit den Inhalt des Hash-Speichers abzuspeichern. Kommt jetzt der nächste Zug meines Fernschachpartners, kann ich diesen Hashspeicher auch wieder reinladen. Bei Leela gibt es - zumindest bisher - keinerlei Möglichkeit die Inhalte der letzten Rollouts, die Leela im praktischen Spiel zur Verfügung hat - in ähnlicher Form abzuspeichern. Das schränkt die Möglichkeiten als Analyseengine derzeit noch sehr stark ein. Aber vielleicht kann man sowas irgendwann noch einbauen. Derzeit - in der Trainingsphase - wird man auf solche Sonderwünsche jedoch wohl eher weniger Zeit und Energie verwenden.

Allerdings ist eines richtig. Die taktische Anfälligkeit ist in letzter Zeit wirklich geringer geworden. Aber es gibt trotzdem noch zu viele taktische Aussetzer...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Sehr ausführlich und treffend beschrieben...
Das Gute an Leela (sowohl GPU, als auch Cuda) ist ja, daß sie nur sehr wenig CPU-Leistung benötigt. Die eigentliche Rechenarbeit findet ja in der Grafikkarte statt. Per default sind 2 Threads eingestellt.
Hat man nun z.B. ein Quadcore-Notebook (dort ist das Hyperthreading meist nicht abschaltbar), läßt man bei Leela die Threads auf 2 und lädt eine normale Engine zusätzlich als Kibitz (zumindest in Fritz/Chessbase kein Problem) ein und gibt dieser 6 Threads. Dann sollte die normale Engine sehr flott laufen und Leela auch.
Wer ein System ohne Hyperthreading am Laufen hat, kann Leela auf einen Thread heruntersetzen (das ist dann ja ein realer CPU-Kern, das reicht völlig aus), und alle verbleibenden CPU-Kerne der klassischen Engine zuweisen.
Das sollte passen! Und so nutzt man seine Systemressourcen optimal für Leela und eine normale Engine, die dann gleichzeitig und praktisch ungebremst laufen sollten.

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut
Vielen Dank für deine treffende Beschreibung.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut
Nach einiger Beschäftigung mit Leela Cuda 9.2 sind mir folgende Dinge
aufgefallen. Das Programm wechselt (sehr) selten den zuerst erwogenen
Zug. Taktisch hat Leela stark zugelegt, wobei nicht immer die allerbesten
Varianten bevorzugt werden, aber meistens ebenfalls Gewinn bringende Züge
angeboten werden. Geradezu sensationell werden die Bauern eingesetzt.
Grottenschlecht sieht es bei Mattangriffen aus, wo auch 2-Züger übersehen
werden können, wie unten stehendes Beispiel zeigt ...Sc3, Dxc3 De2 Matt.
Taktisch scheint Leela z. B. dann auch Schwierigkeiten zu haben, wenn
es nur eine einzige, zwingende und langzügige Gewinnführung gibt ... also
nicht verschiedene Wege nach Rom führen. Unter Berücksichtigung der noch
vorhandenen Schwächen bin ich aber mit dem Analysemodus doch recht
zufrieden, werden doch vor allem in positionell/strategischer Hinsicht eben
Vorschläge angeboten, die von anderen Engines nicht kommen.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo zusammen!

Ich hätte da mal eine Frage: Wenn ein Schach Programm 2018 kaum mehr "weiß" als:
- die Schachregeln
- den Wert der Figuren
- dass Figuren in der Mitte i.d.R. besser stehen, als am Rand

Es - das Programm - also einfach rechnet, und die Schlussstellungen bewertet, etc.

Wie stark wäre es dann so in etwa - nach Eurer Meinung. Alleine aufgrund der Rechenleistung heutiger handelsüblicher Prozessoren?

Der Hintergrund meiner Frage: Wie viel künstliche "Intelligenz" ist für einen Rechner eigentlich noch nötig, um besser als M. Carlsen zu spielen?