AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Man kann jetzt für moderne IntelCPUs eine MKL-Version (MKL=Math Kernel Library) der CPU-Leela herunterladen:
lczero_v0.9_avx2_mkl.zip is the Intel MKL release. Use this is you do not have a GPU and have a modern Intel processor (Haswell or later -- it will just crash if it's not new enough). You must download the dlls from Intel: https://software.intel.com/en-us/mkl

Hab das ausprobiert (und mir natürlich die intel-dlls heruntergeladen) und diese CPU-Version läuft wirklich deutlich schneller als die normale CPU-Version. Auf meiner CPU (i7-6700HQ 2.6GHz Notebook (Skylake CPU)) sind die Knotenzahlen in der Grundstellung ca. 60-65% höher dank der MKL. Nicht schlecht. Aber immer noch deutlich langsamer als die GPU-Version, die auf meiner Nvidia Gforce GTX 950M Grafikkarte läuft.
Aber wer keine oder eine ganz schlechte Grafikkarte hat, der ist mit der MKL-Leela sicher besser bedient, als mit der extrem langsamen normalen CPU-Version. Vielleicht auch für Ranglistentests interessant. Aber mit AMD-CPUs läuft das Teil natürlich nicht.

Anmerkung: Wer sich das ganze MKL-Zeugs von Intel heruntergeladen hat, findet die .dll-Dateien hier: C:\Program Files (x86)\IntelSWTools\compilers_and_libraries_2018.2. 185\windows\redist\intel64_win\mkl
Dort einfach alle .dll-Files herauskopieren in den eigenen Leela-MKL-Ordner.

Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Stefan,

Da gibt es vieles zum downloaden bei Intel. Wo stecken die richtige dll's die ich brauche?

Download Intel® Performance Libraries Now
Download One, All Five, or Anywhere In-Between.

Gruss,
Henri

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Na, eine der Downloads heißt Intel Math Kernel Library. Dieser halt. MKL eben

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Aus den letzten 3.000.000 Partien hat Leela nix gelernt

Kann man das so sagen ?

Zur Elo Zahl

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das kann man so sagen, ist aber auch nicht unerwartet, dass es eine Phase der Stagnation gibt.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut

Es heisst ja

"v0.10 fixes critical bug! Download latest client here. We are actively investigating the strength fluctuations, a few good leads have been found, and fixes are underway."

Wir brauchen einfach Geduld. Es konnte ja nicht in diesem Tempo weitergehen.

Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Wäre ja schön, wenn es eine Phase der Stagnation wäre. Momentan ist die Eloleistung eher im freien Fall...
Das Gute ist, das mir das die Gelegenheit gibt, jetzt mal die Cuda-Version von Leela zu testen, die nun endlich auch (halbwegs) in der FritzGUI läuft. Ich nehme dafür dann dasselbe Network, daß ich gerade momentan mit der v0.8 der normalen GPU-Leela teste. Dann habe ich einen prima Referenzwert. Die Knotenzahlen der Cuda-Leela sind in der Grundstellung immerhin 4x höher, als mit der normalen GPU-Version von Leela. Das ist eine Menge!


Stefan

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut,

das stimmt zu Teil sicherlich. Allerdings werden die
Vorgaben immer mit Weiß und mit Schwarz gespielt,
es sind dann auch welche dabei, welche der jeweilige
Gegner von LCZero "niemals" spielen würde.
Das gleicht sich aus.
Nach 2 oder 3 Zügen ist i.d.R. ohnehin nicht viel
passiert, es sind keine "dummen" Eröffnungsvorgaben
dabei resp. keine, welche einer Seite grossen oder gar
entscheidenden Vorteil geben würden.
Die Gegnerschaft ist anfangs immer "ausgesucht", wir
wissen ja nicht unbedingt genau wie stark ein Kandidat
ist und müssen uns manchmal herantasten. Mit der Zeit
jedoch kommen immer mehr Matches dazu.

h.a.n.d.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Der Laie fragt sich, warum das bei Google in 4 Stunden ja scheinbar ohne solche Eingriffe funktioniert hat. Google zumindest vermittelt den Eindruck, dass das binnen 4 Stunden kontinuierlich ohne Eingriff des Menschen funktionierte.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Wir haben bei Alpha Zero nur gerade 10 Partien gesehen. Vielleicht - oder gar wahrscheinlicher - hätte man unter den restlichen 90 Partien auch Schwächen entdeckt, die uns in Erstaunen gesetzt hätten wie klar verpatzte Gewinnstellungen oder durch Stockfish nicht ausgenutzte Gewinnstellungen. Wir sind also schlicht nicht in der Lage, das Können von Alpha Zero richtig einzuschätzen. Betrachten wir nur die 10 besten je von LCZero gespielten Partien, dann sind wir ja auch bass erstaunt ob der gezeigten Leistung.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Zudem darf man nicht vergessen, dass bei den 4 Stunden von Alpha Zero ja eine enorme Rechenleistung der Spezialprozessoren dahintersteckte. Selbst mit der Hilfe der Internetcommunity sind die 4 Stunden von AlphaZero hier auf mehrere Monate verteilt. Um genau zu sein, was AlphaZero in einer Minute gemacht hat, dauert hier trotz aller Unterstützung der Internet-Community im Schnitt einen ganzen Tag.

Vielleicht schwenke ich mal um und gebe ein wenig Mathematiknachhilfe. Sprich wir schauen uns das ganze mal rein rechnerisch an.

Alpha Zero hat in 4 Stunden 44 Millionen Partien gespielt, also 11 Millionen pro Stunde. Das entspricht etwa 183333 Partien pro Minute oder 3056 Partien pro Sekunde!!!

LeelaZero hatte ihren höchsten Elo Punkt bei Network ID 253 nach 11.500.787 Partien.

Nach dem gewaltigen Abfall der ELO hatte sie ihren tiefsten Stand bei ID 276 nach 12.412.740 Partien. Danach wieder ein gewaltiger Anstieg.

Ich weiss jetzt nicht, ob es wirklich ein Bug im Programm ist. Aber wenn ich das mal genau betrachte umfasst dieser Elo-Absturz einen Partienanzahl von 911.953 Partien.

Bei der Geschwindigkeit mit der AlphaZero die Partien gespielt hat wäre das der gewaltige Zeitraum von 298 Sekunden, also nicht mal 5 Minuten. Und ob es bei den 4 Stunden Training über einen Zeitraum von 5 Minuten mal einen Absturz der Elo gegeben hat wissen wir nicht. Es wäre aber durchaus denkbar. Der Unterschied ist nur: Die AlphaZero-Entwickler wären erstmal rausgegangen, hätten sich nen Kaffee geholt und eine geraucht und nach 15-20 Minuten mal wieder nachgeschaut, bevor sie über einen Bug auch nur nachgedacht hätten. Zum Vergleich, das entspräche bei Leela dem Zeitraum von 2-3 Wochen.

Wir sehen diesen Absturz doch nur weil diese 5 Minuten sich bei uns über 5 Tage ziehen (Network 253 erstellt am 6. Mai 2018 07:21:22, Network 276 erstellt am 11. Mai 2018 06:09:27) und weder Lust haben 3 Wochen lang Kaffeerausch auszuhalten oder 3 Wocen Kette zu rauchen.

Bei AlphaZero wäre die Dauer dieses Absturzes noch nicht mal der Zeitraum, den die Betreuer der Anlage brauchten um in der Kantine eine Tasse Kaffee zu trinken und sie hätten daher den Ansturz allenfalls zwischen 2 solchen Kantinengängen in einem Logfile registriert, während wir hier über Tage hinweg wie die erschrockenen Hühner dasitzen und Bugs suchen die wir hier zwar vermuten, die aber vielleicht gar nicht existieren. Wie gesagt, wir merken es nur, weil 1 AlphaZero-Minute einem Leela-Tag entspricht. Wir haben dann aber wieder Momente, wo der Elo-Graph wieder fast genauso stark ansteigt, wie er vorher abgestiegen ist.

Wir hatten einmal einen gewaltigen Anstieg zwischen ID 226 und 227, danach waren die Änderungen eher in geringerem Umfang und beständig nach oben (wenngleich es immer mal kleine Abstürze gab, z.B. zwischen 234 und 236). Nun haben wir eben mal den umgekehrten Fall und auch einen sehr "nervösen" Graphen zwischen ID 274 und 278, aber auch das sind Fluktuationen, die bei AlphaZero nur wenige Sekunden ausgemacht hätten, vergleichbar mit der kurzzeitigen Erhöhung der Herzfrequenz wenn jemand hinter der Tür vorspringt und "Buuuuh" schreit. Aber genauso wie der Herzschlag sich wieder beruhigen wird, wird das auch der Elo-Graph von Leela tun und auch irgendwann wieder nach oben wandern. Und sollte es wirklich ein Bug sein, wird man ihn finden und ggf. 10 AlphaZero-Minuten (also vielleicht 10 Tage) länger fürs Training brauchen. Davon geht die Neuronale Welt mit Sicherheit nicht unter.

Es ist schon komisch. Als Leela den gewaltigen Sprung nach oben zwischen ID 226 und 227 gemacht hat, hat auch keiner nach einem Bug gerufen. Nun geht es halt mal ein paar AlphaZero-Minuten lang nach unten und alle sind nahe am Herzinfarkt... Ganz echt... wenn man das mal relativ zu den wenigen Minuten betrachtet, die dieser Zeitraum von wenigen Tagen bei AlphaZero umfasst, könnt ich mich wegen der Aufregung vor lauter Lachen fast nass machen...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Guten Morgen Hartmut

Du hättest Psychiater werden sollen :) :)

Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

So ist es bei mir definitiv nicht. Ich stehe der künstlichen "Intelligenz" einfach sehr kritisch gegenüber und finde es einfach belustigend, dass man mit Fug und Recht behaupten kann: Leela hätte binnen >3.000.000 Partien nix dazugelernt. 3 Mio Partien. Das ist fast die Hälfte der Chessbase Megabase, also die Hälfte der aufgezeichneten Partien mit einigermaßen großer Qualität unserer Schachgeschichte...
Das beudetet auf der anderen Seite aber nicht, dass das Projekt nicht faszinierend wäre. Es ist sehr faszinierend. U.a. auch deswegen, weil wir Menschen den Rechner den Dogmatismus einprogramiert haben und nun feiern, dass ein Rechner, wenn er selbst lernt "menschlicher" spielt.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Nachdem seit einiger Zeit in der ChessBase MegaBase auch Hundert Tausende von Blitz- und Rapidpartien enthalten sind, hat sich die Qualität dieser Datenbank massgeblich verschlechtert.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ja, leider. Ich verstehe das auch nicht. Selbst einige Mitarbeiter von Chessbase stehen dem kritisch gegenüber. Man will demnächst zumindest die Möglichkeit bieten, diese Partien grundsätzlich rauszufiltern.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das Erste was man mit der MegaBase nach Erhalt machen sollte, ist eine direkte Grundreinigung. Das Datenbankprogramm bietet hier ja gute Werkzeuge. Zuerst sollten alle Namenskonventionen geprüft werden und Partien von ein und der selben Person, die als unterschiedliche Personen in der Mega gekennzeichnet sind, zusammengeführt werden. Danach sollte man mit CB eindeutig doppelte Partien löschen. Auch sind viele Partie-"Leichen" vorhanden.

Das Säubern nimmt etwa eine Stunde in Anspruch und ich frage mich bei jeder neuen Megabase, warum das nicht ein Mitarbeiter von CB macht, bevor die Mega in die Presse geht.

Bezüglich der Partie-Qualität möchte ich an dieser Stelle ganz klar auf die Fernschach-Datenbanken, welche man beim ICCF kostenlos herunterladen kann, hinweisen. Hier bekommt man praktisch allerfeinste Computeranalysen kostenlos zur Verfügung gestellt und es wird sich in dieser Partiesammlung mit Sicherheit keine 5-Blitz oder Schnellschachpartie finden.

http://schachfreunde.####.de/wp-cont...18/05/ICCF.jpg

Das ganze wird auch immer schön aktuell gehalten.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Naja... ich bin zwischenzeitlich Lebensberater... das ist nah dran... lach

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Seit ich das gemerkt habe, hab ich auch kein Datenbaseupdate der Megabase mehr geordert. Ich geb doch nicht teuer verdientes Geld dafür aus, dass ich danach auch noch stundenlang ackern muss um die Datenbank in einen brauchbaren Zustand zu versetzen... Ich halte es da mit und lade auch fast nur noch die ICCF-Datenbanken und integriere sie in die vorhandenen CB-Datenbanken. Ansonsten kommen nur noch ausgesuchte Turniere rein. Zwar hat das Säubern schön erklärt, aber leider entkomen einem doch immer wieder einige 100 Partien. Zumal auch die Zeitvorgaben in den Partien nur seltenst drinstehen, was das Filtern leider erschwert. Dasselbe Problem hat man auch mit der Online-Datenbank bei Chessbase, weswegen die für mich im Fernschach auch ein NoGo ist. Da weiss man fast nie wo die Züge herkommen...

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo

Bei einer Datenbank, die so beworben wird Die ChessBase Mega
Database 2018 ist die exklusive Schachdatenbank für höchste Ansprüche.
Über 7,1 Mill. Partien aus dem Zeitraum 1560 bis 2017 im ChessBase
Qualitätsstandard. erwarte ich nicht, dass ich nach dem Kauf
stundenlang händischen Aufwand betreiben muss, um Blitz-, Rapid-
und andere nichts sagende Partien zu filtern und zu löschen.

Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Dann hast Du wohl falsche Vorstellungen vom Chessbase Qualitätsstandard

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ja... man kann es auch so umschreiben: Der Qualitätsstandard ist besch...

Wie das mit den genannten höchsten Ansprüchen zusammengeht hab ich aber seit Jahren schon nicht mehr verstanden... Ich freu mich immer wenn ich beim ICCF Gegner bekomme die mit der CB-Datenbank arbeiten, da hol ich dann statistisch mindestens 60%

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut
Da hast du nun aber m.E. doch etwas übertrieben. Das CB-Datenmaterial ist grundsätzlich in Ordnung. Dumm einfach nur, dass darin auch doofe Blitz- und Rapidturniere sowie z.B. rund 200'000 Partien von Spielern mit Elo-Stärke (Schwäche) zwischen 1100 - 1700 enthalten sind. Solche Dinge gehören nicht ein ein gute Datenbank. Da wundert es dann ja wirklich nicht, wenn die Statistik der guten Züge nicht ernst genommen werden darf.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hier muss man CB zu Gute halten, dass man in der Datenbank problemlos nach ELO filtern kann. In der Referenzdatenbank-Fenster kann mal auch einfach bei "Nur Top-Partien" ein Häkchen setzen.

Die Zielgruppe der Mega ist zum großen Teil auf Turnierspieler aller Klassen ausgerichtet, die sich auf ihre Gegner vorbereiten möchten. Dazu zählen vor allem auch die Kinder- und Jugendspieler mit 1100 DWZ.

Etwas zweifelhaft finde ich allerdings, wie CB auf Jugendmeisterschaften in Seminaren Eltern eintrichtert, dass heutzutage kein Jugendspieler eine Chance hat, wenn er nicht Chessbase verwendet. Da kamen dann auch "verzweifelte" Eltern auf mich zu und fragten mich, ob sie wirklich das komplette Chessbase Megapaket kaufen sollten. Kostet immerhin fast 400,-€.

Ich empfehle dann immer, einfach eine ältere Version von Chessbase zu kaufen. Die Funktionen die am meisten verwendet werden sind in Chessbase 10 und 11 ebenfalls enthalten. Alles was danach kam ist zu 99% irgendwelcher SchnickSchnack. Gut analysierte Partiesammlungen (auch zu neusten Partien) gibt es kostenlos im Internet.

Momentaner Trend (vor allem bei der Weltspitze) sind Fernschachdatenbanken. Auf den Zug ist natürlich auch CB aufgesprungen und hält für die entsprechende DVD ordentlich die Hand auf. Das man die ganzen Partien beim ICCF und dem BDF kostenlos herunterladen kann und damit auch immer aktuell ist, spricht sich aber langsam herum.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Vielleicht ist es bei ChessBase wie bei Leela: wenn man nur gegen sich selbst spielt, kommt irgendwann Stagnation.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Mein erster 7-Tage Testrun mit einem der größeren 15x192 Networks (Net 251) ist abgeschlossen. Wie zu erwarten war, hat die damit einhergehende Geschwindigkeits-Reduzierung um fast 50% eine leichte Regression zur Folge.
Da sich momentan die Spielstärke der Leela Networks im freien Fall befindet, nutze ich diese günstige Gelegenheit, einen Testrun der CUDA-Version von Leela unter sonst identischen Bedingungen (ebenfalls mit Network 251) durchzuführen. Seit kurzem läuft Leela CUDA auch in der FritzGUI. Wenn auch nur ohne pondern und nur mit dem polyglot-Adapter. Und Bewertung und Hauptvariante sieht man nur, nachdem Leela CUDA gezogen hat, nicht aber während sie rechnet. Aber damit kann ich leben.
Die Leela CUDA-Version läuft auf meinen Notebooks ca. 4x schneller, als die normale GPU-Leela. Was viel ist. Zudem rechnet sie deutlich anders. Mal sehr viel tiefer als die GPU-Leela, dann wieder viel flacher. Insofern ist der Testrun nicht nur wegen der höheren Geschwindigkeit interessant.
Ich habe auf meiner Website zudem die step-by-step Anleitung, um Leela GPU in der Fritz/ShredderGUI zum Laufen zu bringen, um eine Anleitung ergänzt, auch Leela CUDA zum Laufen zu bringen. Dies ist aber deutlich komplizierter, da man 3 .dll-files benötigt, die man nur auf der NVIDIA-Website (nach Registrierung) herunterladen kann. Zudem muß man CUDA 9.0 installieren, oder den Installer entpacken und dort in einem Wust von Dateien die .dll-files heraussuchen. Das kann ich also nur Leuten empfehlen, die sich am PC so etwas auch zutrauen.
Leider kann ich die 3 .dll-Dateien nicht zum Download anbieten, weil das wahrscheinlich eine Urheberrechtsverletzung wäre.

http://www.sp-cc.de

Stefan