Selbstlernende KI: Neue Engine spielt auf Profi-Niveau (Der LC0 Thread)
 

Hallo Leute,

einige von Euch werden es vielleicht bei Talkchess verfolgt haben: es gibt mittlerweile eine Engine, die auf einer Art KI basiert, nämlich auf einem Künstlichen Neuronalen Netz. Sie trainiert sich anhand von Partiedaten selbst und spielt bereits ziemlich stark.

Neuronale Netze sind nicht neu, allerdings ermöglicht es die moderne Hardware Netze mit großer Tiefe und vielen Freiheitsgraden auf riesigen Datenmengen zu trainieren. Man spricht von "Deep Learning".

http://www.heise.de/newsticker/meldu...u-2817567.html

Viele Grüße
Theo

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Womöglich wird es irgendwann neuronale Schachcomputer geben.

Im Grundprinzip war ja auch der Mephisto III ein , wenn auch ein etwas schwacher, Vorläufer davon. Allerdings konnte er nicht dazulernen.

Gruß, Udo

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Leute,

es war absehbar und nun ist es soweit.

Das Team von Google DeepMind hat nach Go jetzt auch Schach mit einem auf Künstlichen Neuronalen Netzen basierenden Algorithmus angegangen.

Nach 4 Stunden "Gegen-Sich-Selbst-Spielen" war bei AlphaZero bereits genug Spielverständnis da, um gegen Stockfish zu gewinnen. Allerdings vermutlich nicht auf herkömmlicher Hardware.

Ich bin gespannt wie es weitergeht. Ein paar Partien finden sich hier:

https://chess24.com/en/watch/live-to...tockfish/1/1/1

Viele Grüße
Theo

PS: Ich habe mir gerade die erste Partie angeschaut. AlphaZero hat erst einen Bauern und dann eine Figur mit scheinbar kaum Kompensation geopfert. Langfristig. Und gewonnen. Siehe Screenshot im Anhang.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Theo,

vielen Dank für den hoch interessanten Link. Sieht spektakulär aus. Natürlich wäre es wichtig, diverse Rahmenbedingungen dieses Wettkampfs, wie z.B. verwendete Hardware, etc. zu kennen.

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Egbert,

Stockfish lief wohl auf einer Hardware mit 64 Threads. AlphaZero lief auf 4 TPUs. Was auch immer das für die Vergleichbarkeit bedeutet.

Stockfish 8 analysierte dabei 80 Millionen Stellungen pro Sekunde. AlphaZero nur 70 Tausend, also Faktor 1000 weniger. Dabei verwendete AlphaZero den Monte-Carlo tree search (MCTS) Algorithmus für die Suche, statt wie üblich Alpha-Beta.

Mehr Details kann man in dem gestern eingereichten Paper nachlesen unter:

https://arxiv.org/pdf/1712.01815v1.pdf

Gruß
Theo

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Vielen Dank Theo, das ist beeindruckend. Das Projekt werde ich sicher verfolgen :)

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Absolut sagenhaft, wie AlphaZero frei von jeder Norm für Menschen teilweise absolut seltsame Züge auf dem Brett ausführt :eek:

Nach den gespielten Partien habe ich das Gefühl, dass die Wertigkeit von den einzelnen Figuren noch stärker von der jeweiligen Stellung abhängt, als bisher angenommen. So banale Unterschiede wie etwa "guter Läufer und schlechter Läufer" können wir als Menschen problemlos erfassen, aber genau in solchen Wertigkeiten gibt es offenbar mehr Tiefe, als bisher angenommen.

Mich würde interessieren, wie bei AlphaZero der Wert einer Figur berechnet wird. Momentan gehe ich davon aus, dass AlphaZero die Figuren auf dem Brett nicht als einzelne Elemente sieht, sondern als ein einziges Element. Praktisch einen einzigen Knoten, den es zu lösen gilt.

Wenn das Matt als die einzig feste Ordnung definiert ist und jede andere Stellung auf dem Brett die kein Matt darstellt als Unordnung definiert ist, versucht AlphaZero aufzuräumen. Da es keinen fest vorgeschrieben Weg gibt (keine 32 Steiner Tablebases), muss AlphaZero sich selbst die Logik des "Rätsels" beibringen.

Wenn es eine Logik gibt, die wir Menschen mit unseren bisherigen Engines nicht erfassen können, dann wäre es bahnbrechend.

Ein zu Null Ergebnis gegen Stockfish 8 ist Wahnsinn!! Nicht eine Partie ging Remis aus!

Ich hoffe, dass wir noch mehr Partien von dem Biest zur Analyse bekommen.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Genau das dachte ich mir auch. Offenbar ist nach menschlichen Maßstäben "gesundes" Schach gar nicht so gut. Speziell in der Eröffnung werden Züge gemacht, die schlecht aussehen, aber anscheinend spielbar sind.

In geschlossenen Stellungen scheint mir sehr viel Vorsicht geboten zu sein, um sich bloß nicht irgendeine Schwäche zu geben oder in eine Art latenten Zugzwang zu geraten.

Gruß
Wolfgang

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ich habe nur schnell einen Blick auf das Paper geworfen, aber welche Bücher sind verwendet worden? Bei den Partien sind sehr viele ähnliche Zugfolgen dabei, d.h. die statistische Aussagekraft ist fraglich. Auch müsste man noch untersuchen, welche Gründe (aus Sicht einer klassischen Engine) die Verlustpartien haben. Ist es taktische Kurzsichtigkeit (Stockfish schneidet gnadenlos Verzweigungen im Suchbaum ab, das könnte sich hier rächen), unzureichende Bewertung (also identifizierbare Schwächen) oder werden hier strategische Schwächen deutlich wie z.B. nicht entwickelte Figuren, die eben nicht mehr rechtzeitig eingreifen können und Stockfish erkennt das zu spät?

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ein Tag, den man sich auf jeden Fall im Kalender anstreichen sollte. Das sich die Erkenntnisse von AlphaGo Zero so schnell auf Schach übertragen lassen, hätte ich nie gedacht. Und das Alpha Zero sogar AlphaGo Zero schlägt, das wiederum AlphaGo Lee etc. dominiert hat ... einfach nur erstaunlich.

Im Paper wird ja sogar noch darauf hingewiesen, dass das Spiel Go strukturell neuronalen Netzen entgegen kommt. Nur bei Schach liegen die Dinge etwas anders, dachte ich zumindest.

Der auch in vielen anderen Dingen verwendete MCTS scheint sich doch universeller verwenden lassen, als ich bisher für möglich gehalten habe.

Was das Thema KI angeht, hat sich das Jahr 2017 (hiermit und mit den Erfolgen im Go Bereich) einen sehr festen Platz in der Geschichte erobert. Gratulation und Respekt an das Google Team!

Bleibt nur noch die Frage: Wer portiert das jetzt auf den 65C02, damit wir es im Exclusive nutzen können? :rolleyes:

Stay tuned ...
Carsten

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das habe ich mich auch gefragt Carsten und wann Ruud die Emulation auf dem Revelation II heraus bringt :D
Phantasie-Modus aus ;)

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

So, nach einem genaueren Blick komme ich zum Schluss, dass Google da einen starken Schachspieler geschafft hat und dass die PR-Maschine gut läuft. ;)

Alpha Zero hatte einen Hardwarevorteil (ca. 15mal schneller), Stockfish zu wenig Hash und kein Buch. Alpha Zero hingegen hat systembedingt auch was über Eröffnungen in seinem Neuralen Netzwerk. Die offenbar gewählte fixe Zeit von einer Minute pro Zug benachteiligt SF auf jeden Fall, die Monte Carlo Suche könnte hier unempfindlicher sein. Einige Fehler von Stockfish treten offenbar bei einer vernünftigeren Zeitkontrolle nicht auf. Dazu kommen viele ähnliche Partien, d.h. das zitierte Ergebnis von 64-36 ist schon fraglich.

Die Verbesserungen seit Giraffe sind auf jeden Fall erstaunlich, aber in einem echten Match dürfte Stockfish noch die Nase vorn haben. Die Frage ist jetzt, kann das Neurale Netz noch besser werden oder braucht es eine Aufstockung der Features?

Und eine weitere Frage wird sein, beeinflusst Alpha Zero die weitere Entwicklung von Stockfish?

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Die Meinung kann ich nicht teilen. Die "Ideen" die AlphaZero in den Partien aufs Brett gezaubert hat, zeigen ein unglaublich tiefes Stellungsverständnis. Das Monster hat teilweise haarsträubende Abspiele im Mittelspiel angestrebt, die einfach nur ungesund aussehen. AlphaZero spielt unglaublich mit dem Feuer, verliert aber erstaunlicherweise nicht die Übersicht.

Zwar sieht man als Mensch auch bei Stockfish oft fragwürdige Züge, aber im weiteren Verlauf kommt dann doch das Aha-Erlebnis und man versteht irgendwann den Zusammenhang. Bei AlphaZero stehe ich vor einem Rätsel. Zu viele Prinzipien auf die wir Menschen unseren Schachverstand aufbauen, werden gebrochen und können offenbar nicht bestraft werden.

Bei den Partien sieht man sehr gut, dass Stockfish nicht taktisch überspielt wird, sondern einfach in Stellungen kommt, die unter normalen Gesichtspunkten nicht übel sind, aber sich am Ende als verloren darstellen.

Die Art von Stellungen sieht man auch sehr selten in Partien der weltbesten Spieler. Hier spricht man dann gerne von Stellungsglück. Ich glaube es war 2016, als Carlsen gegen Aronian eine solche Stellung auf dem Brett hatte und das Ergebnis Remis war. Aronian konnte in der anschließenden Analyse nicht glauben, dass die Stellung für ihn nicht gewonnen war. Zu offensichtlich war der optische Vorteil.

So etwas passiert allerdings evtl. einmal in 100 Partien. Bei AlphaZero haben wir dieses "seltene" Phänomen in so gut wie jeder Partie.

Das macht die Sache ziemlich unheimlich.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Dann spielst Du in einer bemerkenswerten Liga.
Ich checke das selten.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ich habe nur meine Meinung zur Spielstärke beschrieben. Der Spielstil und die Nachvollziehbarkeit für Menschen ist etwas anderes. Hier kann AlphaZero durchaus einen großen Schritt gemacht haben. Von Carlsen gibt es ein Interview, wo er die Spitzenprogramme als sehr stark, aber nicht lehrreich beschrieben hat. Das mag sich ändern.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Guten Morgen Schachcomputer-Enthusiasten :)

hier eine sehr interessante Partie aus dem 100-Runden-Wettkampf zwischen AlphaZero und Stockfish 8.

https://www.reddit.com/r/chess/comme...ckfish_with_a/

Es hat mich schwer beeindruckt, dass AlphaZero hier beispielsweise mit dem König zurückgeschlagen hat und sich somit sein Rochade-Recht "in vollem Bewusstsein" :) verwirkt hat. Auch dass spätere positionelle Opfer wäre mir im Leben nicht eingefallen. Unglaublich was dieses Programm für Züge auspackt. :eek:

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Guten Morgen!

So ging es mir auch beim Durchschauen. Peter Heine Nielsen meinte dazu:

"I always wondered how it would be if a superior species landed on earth and showed us how they played chess. Now I know."


http://www.bbc.com/news/technology-42251535


Gruß
Theo

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das Interview von Carlsen kenne ich auch, jedoch hat er das mit dem "nicht lehrreich" in einem anderen Zusammenhang gesagt. Er ist der Meiunung, dass das Spielen gegen einen Computer für Menschen heutzutage nicht lehrreich ist.

Um neue Ideen zu finden nutzt Carlsen sein vorhandenes Equipment aber exzessiv. Während Gott und die Welt beispielsweise im Spanier immer das Natürliche XX.d2-d4 in so gut wie jeder Variante gespielt haben (wenn d4 möglich ist, sollte man es spielen), war Carlsen einer der Ersten, der mit gut ausgetüftelten Varianten und Ideen XX.d2-d3 salonfähig gemacht hat. Natürlich haben das auch viele vor ihm gespielt, aber ernsthaft wurde dieser kleine Bauernschritt erst durch ihn in allen Facetten analysiert.

Ich glaube im Bezug auf unser Eröffnungsverständnis wird uns AlphaZero noch ein paarmal die Augen öffnen.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

OK, der Hardwarevorteil ist eine Sache. Aber neurale Netzwerke sind in der Regel auch rechentechnisch langsamer. Zudem... Alpha hat diese Speilstärke nach nur 4 Stunden Training erreicht. Möglicherweise wäre er nach weiteren Trainingsspielen noch stärker und könnte auch auf schlechterer Hardware laufen. Dabei stellt sich die Frage: Auf welcher Hardware lief Stockfish? Ein Buch braucht Stockfish oftmals kaum. Wer mal die TCEC-Turniere ansieht, merkt, dass Stockfish und andere Engines auch ohne Buch weitestgehend gängige Theorie spielen. By the way: Hätte Stockfish ein Buch gehabt, dann hätte es bestimmt Leute gegeben die bei ähnlichem Ergebnis über die Qualität des Buchs hergezogen wären, angezweifelt hätten dass die Varianten wirklich gut waren, etc. Eröffnungsbücher basieren in der Regel immer auf "menschlicher" Theorie. Da hätte man die menschliche Dummheit verantwortlich gemacht. So war es eine reine Engineleistung die getestet wurde. Daran ist nichts verwerfliches.

Wieso ist das eine Benachteiligung? Die enormen Wertungszahlen, die Stockfish erreicht, basieren oftmals auf Partien mit viel geringerer Bedenkzeit. Zudem: Wenn beide mehr Zeit hätten, würden auch beide davon profitieren können. Kann man denn wirklich davon ausgehen, dass eine Erhöhung der Bedenkzeit bei AlphaZero weniger gebracht hätte? Gerade bei kurzen Bedenkzeiten ist Stockfish sehr stark. In meiner Fernschachpraxis hat sich herausgestellt, dass höhere Bedenkzeiten nur selten bessere Züge hervorbringen. In 95 % der Fälle, spielt Stockfish dasselbe, ganz egal ob ich ihm jetzt 3 Minuten oder 3 Stunden Rechenzeit gebe. Nur in sehr seltenen Fällen ändern sich die Züge (und oftmals nicht zum Besseren...). In manchen Stellungen versteht er auch einfach den Stellungstyp nicht, selbst wenn ich ihn 3 Tage rechnen lassen würde.

Die Frage ist, ob die Züge bei "vernünftiger" Zeitkontrolle besser gewesen wären und ob Alpha dann nicht auch stärker gespielt hätte. Was die Quote betrifft, wäre natürlich eine größere Eröffnungsauswahl besser gewesen.

Naja, was ist denn ein "echtes" Match für Dich? OK, gleiche Hardware, wäre eine Voraussetzung. Höhere Bedenkzeiten halte ich wegen der oben gesagten Punkte für wenig hilfreich.

Die Frage ist eher, wie es die Entwicklung beeinflussen könnte. Die Änderungen bei Stockfish von Version zu Version sind eine Folge von "Feintunings". Um ein ähnliches Stellungsverständnis wie AlphaZero aufzubringen müsste man das Programm vermutlich komplett neu schreiben.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

HAL has finally arrived on earth...
:cool:

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Das sind aber zwei verschiedene Sachen. Das eine ist die Vorbereitung von Daten im stillen Kämmerchen, das andere ist dann der Einsatz in der Wertungspartie. Für die Wertungspartie im Schachclub interesiert sich auch keiner für die Dauer meines Trainings.

Es geht nicht um ein Buch um die Spielstärke zu heben, es geht um die Abwechslung und die statistische Unabhängigkeit der Wettkampfpartien. Wenn immer nur aus der Eröffnungsstellung gestartet wird und Abweichungen nur auf Zufall und eventuellen Lernereien im Wettkampf beruhen, dann ist die Aussagekraft massiv kleiner als bei wirklich verschiedenen Partien.

Die Benachteiligung ergibt sich daraus, dass Stockfish sich die Zeit nicht selbst eingeteilt hat, also zwangsweise verschwenderisch damit umgegangen ist. Der Faktor (2?) kommt zum Hardwarevorteil dazu. Es geht hier nicht um die absolute Spielstärke der beiden Programme, nur um den relativen Nachteil durch so einen Ansatz. Das Experiment hätte auch hier besser sein können. Die Auswirkungen der fixen Zeit auf AlphaZero kann ich nicht beurteilen, dazu müsste ich die Auswirkungen variabler Rechenzeit auf den Suchalgorithmus kennen.

Ein echtes Match würde die unterschiedliche Hardware diskutieren und in diesem Fall Stockfish mehr Zeit, deutlich mehr Speicher und den vollen Einsatz des ganzen Programms (also inklusive der Zeiteinteilung) geben. Bei der Frage der Hardware wären Diskussionen zwangsläufig, da die Neuronalen Netze eben nicht wie ein klassisches Schachprogramm nur mit Integern rechnen.

Die Frage der Bedenkzeit ist schwierig, da hier wie im Paper gezeigt unterschiedlich skaliert wird. Eine Minute pro Zug (im Schnitt) ist aber gut.

Nur Tuning alleine ist es ja nicht, aber wahrscheinlich würde bei mehr Partien auch mehr Verständnis für eine bessere Bewertungsfunktion gewonnen. Das war schon bei Chess 4.0 so und hat sich seitdem nicht geändert.

Nochmal bevor es Missverständnisse gibt: Ich finde die Leistung von AlphaZero erstaunlich. Leider geben es die Umstände des Matches mit der Beschreibung im Paper keinen Aufschluss über die wahren Kräfteverhältnisse, es ist ein wissenschaftliches Experiment, keine Meisterschaft gewesen.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Kann man sich AlphaZero irgendwo runterladen? Nur so zum Testen!

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Bei mir ist die Faszination für Schachprogramme, die irgendwann perfekt spielen schon seit langem vergangen. Was bin ich froh, wieder einen schönen Schachcomputer mit einer Spielstärke zu besitzen, die Spass macht. Partien gegen Houdini oder Komodo und Co auf einem modernen Rechner sind doch nur Frust.

Wenn irgendwann ein Computer die 4000 er Schallmauer durchbricht, und von oben herab quasi auf das gepatze der menschlichen Weltelite blickt... Was bringt es uns?

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ich persönlich glaube nicht, dass sich an den Ergebnissen mit einer anderen Zeitkontrolle und besserer Hardware viel ändert.

Es ist zwar richtig, dass eine Zugzeit von 1 Min/Zug eher ungewöhlich ist und Stockfish in der eigenen Zeiteinteilung beschneidet, aber nach Analyse der Partien mit Stockfish 8 mit der Hardware (64 Kerne 4 GB Hash), spielt Stockfish auch wenn man ihn 5-10 Minuten an jedem Zug rechnen lässt keine besseren Züge. Die Partien lassen sich sehr gut reproduzieren.

Ein Großteil der wirklich seltsamen Züge von AlphaZero sieht Stockfish als erwartete Antwort noch nicht einmal in Betracht. In der Analyse konnte ich auch gut sehen, dass es nicht der eine Hammerzug oder die eine Hammervariante war, die zum Verlust führt, sondern tatsächlich die angestrebten Stellungen, die nach bisherigen Erkenntnissen für "normale" Engines kein Problem darstellen.

Es ist wirklich seltsam, wie AlphaZero ganz gezielt Stellungen anstrebt, die herkömmliche Engines und auch Menschen komplett falsch einschätzen.

Nach den Analysen bin ich mir sicher, dass wir Menschen von Schach nicht den Hauch einer Ahnung haben. Wir spielen das Spiel und programmieren unsere Engines so, wie wir uns vorstellen, dass das Schachspiel funktioniert.

Offenbar liegen wir mit dem was wir dachten ziemlich falsch.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

So sieht es aus. G. Kasparov hat schon um 1994 gesagt, dass gutes Schach möglicherweise mit "Schönheit" oder Ästhetik gar nichts zu tun.

Es ist sehr gut, dass jetzt jeder mal sieht, wie man eben auch gewinnen kann. Denn es war schon immer so, dass es bei Schachcomputern viel Kritik gab an sterilen, farblosen Spielweisen. Siege dieser Geräte wurden als Glück, Zufall, etc. herab qualifiziert.
Gut ist, was erfolgreich ist. Ob man das mag oder nicht. Auch Schach ist letzten Endes ein Ergebnissport.

Gruß
Wolfgang