Sehr interessante Analysen. Vor allem hat es AlphaZero immer wieder geschafft, den Fish in Situationen zu bringen, in denen seine Figuren kaum Bewegungsspielraum hatten.

Ich glaube allerdings nicht, dass so ein Desaster mit einer vernünftigen Eröffnungsbibliothek ebenso passiert wären. Ich habe die Partien mal alle mit meinen speziellen Eröffnungsbüchern, die ich im Fernschach verwende, durchgesehen.

Das interessante ist, dass Stockfish zwar ohne Buch meistens gängige Theorie gespielt, irgendwann dann aber in jeder Partie eine Abweichung aus dem Hut gezaubert hat, die ihm letztlich nicht gut bekommen ist. AlphaZero hat die in vielen Jahren aufgebaute Theorie hingegen weitestgehend bestätigt. Neuerungen als solches gab es da keine. Das Problem war hier also eher, dass Stockfish bereits in der Eröffnung Fehler gemacht hat, die sich aber erst in der weitergehenden Planung als Fehler erweisen und so als solches nicht gesehen werden. Mit einer vernünftigen Bibliothek wäre das nicht passiert.

Insofern hoffe ich, dass es irgendwann mal einen Wettkampf geben wird, der sich etwas fairer gestaltet (Normale Turnierbedenkzeit, ausreichend Hashtables, vernünftige Eröffnungsbibliothek). Die Art, wie die Partien dann letztlich aber gewonnen wurden, ist und bleibt beeindruckend.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Hallo Hartmut

Das Wort "beeindruckend" ist eine nette Verniedlichung. Auch mit guter Bibliothek würden die heutigen top Programme m. E. wohl keine Chance gegen AlphaZero haben. Man sieht das auch beim Analysieren in den schon kritischen Stellungen, wo diese Programme noch lange Zeit brauchen, bis sie den Durchblick haben, bzw. den Verlust sehen.

Gruss
Kurt

Hallo Kurt,

ich teile Deine Einschätzung.

Gruß
Egbert

Hallo Kurt

Die "Verniedlichung" ist eigentlich keine sondern hat durchaus ihre Gründe

1. Die fehlende Bibliothek ist schon mal der erste Grund warum Stockfish in vielen Fällen in Nachteil kam. Die Eröffnungsbehandlung ist nun mal Grundlage jeder Partie. Kommt man schon in der Eröffnung unter die Räder oder schlägt dort die falschen Wege ein, ist der Gegner bereits in Vorteil. Bei einer vernünftigen Bibliothek muss AlphaZero erstmal die wirklich stabilen in jahrzehntelanger Arbeit aufgebaute Eröffnungstheorie mit Neuerungen bereichern um aus der Eröffnungsphase heraus in Vorteil zu kommen. Bisher musste AlphaZero dies jedoch nicht tun, da Stockfish ohne Buch zwar viele Standardvarianten ein paar Züge lang spielen konnte, an den entscheidenden Punkten jedoch eben Fehler machte. Das kann man in allen 10 Partien, die mir vorliegen sehr deutlich sehen.

2. Du hast recht, die gängigen Programme brauchen sehr lange um in den kritischen Situationen den Verlust zu sehen (wenn sie ihn denn sehen). Da muss man dann aber dagegenhalten, dass die Hardware noch nicht mal annäherungsweise vergleichbar ist. AlphaZero hatte eine Hardware basierend auf 4 TPUs für den Vergleichskampf. Zum Vergleich: Eine TPU hat in etwa die Rechengeschwindigkeit von 30 parallel geschalteten Intel Xeon E5-2699v3. Ein solcher Xeon-Prozessor hat bereits 18 Cores. Stockfish hatte insgesamt lediglich läppische 64 Cores zur Verfügung. Wir hatten also umgerechnet einen Wettkampf zwischen einer Maschine mit 4*30*18 = 2160 Cores gegen eine 64-Core Maschine. Wen verwundert es also dass wohl keines unserer Schachprogramme in den kritischen Stellungen irgendetwas sieht? Mich nicht! Die meisten von uns dürften noch nicht mal die Hardware zur Verfügung haben, die Stockfish in diesem Wettkampf hatte (Bei mir zumindest ist bei 8 Cores Schluss). Nehmen wir an, es gäbe einen Stockfish mit 2000 Cores und dieser hätte gegen einen Stockfish mit 64 Cores gekämpft. Wäre das Ergebnis bei einem 100-Partien Match ein anderes gewesen? Vermutlich nicht. Und wie wäre das Ergebnis eines Stockfish mit 64 Cores gegen einen mit 1 Core? Vermutlich ebenfalls nicht anders. So what?

Rechnet man jetzt noch dazu, dass der sowieso schon auf schwacher Brust kämpfende Stockfish mit seinen "mickrigen" 64 Cores gerade mal 1 GB Hashtables bekam (bei der Konstellation würde man eher mit 16 GB und mehr rechnen, zum Vergleich beim TCEC-Turnier hatte er mit 44 Cores 64 GB), dann bleibt von dem Erfolg AlphaZeros nicht mehr viel übrig.

Aus diesen Gründen kann ich nur wiederholen, was ich bereits gesagt habe. Das Ergebnis ist - Im Hinblick auf die KI-Forschung - beeindruckend. Rein schachlich ist es nicht beeindruckender als ein ähnliches Ergebnis zwischen Stockfish 64 Core und Stockfish 1 Core. Und wenn wir ehrlich sind, wäre zwischen diesen Konstellationen ein solches Ergebnis ebenfalls möglich.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Ich sehe das ein bisschen anders. Wenn Zugzwang nicht als strategisches Element erkannt oder hinreichend gewürdigt wird, ist das ein Mangel.
Genauso unbefriedigend ist es, wenn solche Situationen nicht beurteilt werden können.
https://www.schachcomputer.info/foru...5&postcount=24

Die klassischen Top-Engines mögen in einer kompletten Partie unschlagbar sein. Aber zur Perfektion fehlt noch ein gutes Stück. Und der Perfektion kommt AlphaZero meines Erachtens einen ganz gewaltigen Schritt näher.

Ich habe Stockfish 8 an der ersten Studie aus dem Video rechenen lassen.
Nach einer guten Stunde Rechenzeit und 8.316.830.017 Knoten zeigt er immer noch 1. ... Db4-f4 +0,35; Tiefe 48/77-



Über acht Milliarden Knoten sind schon eine Menge. Und wie gesagt: Txc5! nicht gefunden. Variante 1. Df4 Sxb3 (vorher 1. Df4 Tdf8)

Gruß
Wolfgang

Hallo Wolfgang
Ich glaube, wir können Stockfish auch 5 Stunden rechnen lassen, ohne dass Dxc5 gefunden wird. AlphaZero spielt einfach ein anderes Schach. Natürlich wäre ein Vergleich unter besten Bedingungen für Stockfish reizvoll. Dazu wird es jedoch kaum kommen.
Gruss
Kurt

Dem will ich nicht widersprechen. Das solche Motive nicht oder nur schwer gefunden werden, ist nichts Neues und begegnet mir in der Fernschachpraxis immer wieder. Ein Grund, weswegen mir Fernschach nach wie vor Spaß macht, denn die dummen Engines sehen eben doch nicht alles. Insofern hast Du schon recht.

Ich will aber an dieser Stelle eben betonen, dass sich mein letzter Post eben auf das Ergebnis in Bezug auf die unterschiedliche Hardware bezog. Und hier ist das Ergebnis von 28 Gewinnpartien aus 100 insgesamt erstmal nicht erstaunlich. Da ist es fast schon bemerkenswerter dass ein um den Faktor 50 langsameres Gerät (man beachte: keine Eröffnungsbibliothek und eine absolut katastrophale Hashtableeinstellung) 72mal Remis gehalten hat.

Wir wissen bereits seit den Zeiten unserer Oldies, das manche Programme taktische Stellungen besser behandeln, manche eher positionell geprägt sind. Das ist heute nicht anders als damals. Das Problem ist, dass an dieser Front von den Programmierern - aus welchem Grund auch immer - nur darauf geschaut wird, die Gesamtspielstärke im einstelligen Elo-Bereich zu steigern um sagen zu können "Ich bin 10 Elo-Punkte besser". Die Behandlung einzelner Stellungstypen (In deinem Beispiel ein Zugzwangmotiv) bleibt dabei außen vor und ist auch für die Steigerung der Gesamtspielstärke im Vergleich zu anderen Engines wenig relevant. Auch das merke ich in meiner Fernschachpraxis immer wieder. Stockfish ist eine - vielleicht die stärkste - Eingine unter vielen. Benutzt mein Gegner im Fernschach "nur" Stockfish dann freue ich mich, denn ich werde die Partie aller Voraussicht nach gewinnen.

Es stimmt allerdings - und da gebe ich Egbert recht - dass AlphaZero ein weit intelligenteres Schach zu spielen scheint welches - im Gegensatz zu den gängigen Engines - auch sehr planvoll aussieht. Aber genau das ist gerade mein Problem. Gerade weil AlphaZero "anders" spielt wurmt es mich, dass der Vergleich hardwaremäßig derart unfair durchgeführt und Stockfish durch falsche Einstellungen noch gebremst wurde.

Man sieht an der Art der Partieanlage dass AlphaZero einiges sehr gut kann. Warum hat man dann den ehrlichen Vergleich gescheut nur um publikumswirksam dann berichten zu können, man habe das beste Schachprogramm hoch abgeschlagen? Warum hat man den hardwaremäßig schwächeren Gegner dann noch durch falsche Hashtable-Einstellung künstlich zusätzlich weiter ausgebremst? Für mich sieht das - auch wenn ich das intelligente Spiel von AlphaZero durchaus zu schätzten weiss - nicht sehr seriös aus und es bleibt das Geschmäckle, dass man um schnell Ergebnisse präsentieren zu können - den fairen Vergleich gescheut hat. Und damit begibt man sich leider auf das Niveau der "Ich bin 10 Elo besser"-Programmierer.

Vielleicht 4 Tage statt 4 Stunden Training und ein Wettkampf auf Augenhöhe mit vergleichbarer Hardware und man hätte (vielleicht) wirklich etwas seriöses zu berichten gehabt. Das hätte mich dann überzeugt. So bleibt erstmal nur die Feststellung, dass AlphaZero gewisse Stellungen besser behandelt als die gängigen Engines und wohl auch gezielt auf diese Stellungen hinarbeitet. Ob das ausreicht die TopEngines auf Augenhöhe zu schlagen? Den Beweis ist uns die Firma DeepMind bisher leider schuldig geblieben und hat erstmal - frei nach dem Forschergrundsatz "Publish or perish" eine angreifbare Studie geliefert.

@Kurt

Es gibt übrigens Engines die in der geposteten Stellung Txc5 finden. Das uralte Programm AnMon 5.75 braucht keine 2 Sekunden dafür, findet dann nach 1. ...bxc5 2. Dh4 nicht. Auch Rybka 4 findet Txc5 den Zug sofort braucht dann aber eine Weile um 2. Dh4 zu finden. Stockfish allerdings findet es tatsächlich nicht. Für die Gesamtspielstärke sagt das allerdings wenig aus. Was nutzt es, wenn ich Stellungen finden kann, die Rybka und der alte AnMon in weniges Sekunden lösen können, die Stockfish nicht findet, wenn Stockfish in einem Wettkampf trotzdem haushoch gewinnen würde? Nichts. Das einzige was ich dadurch erfahre ist:

1. für gewisse Stellungen brauche ich gewisse Engines
2. für andere Stellungen brauche ich andere Engines.
3. Für einen Wettkampf ist es irrelevant welche speziellen Stellungen einer bestimmten Engine liegen.

Und das wusste ich ehrlich gesagt vorher schon.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Nur mal zur Veranschaulichung, wie wenig schnellere Hardware in der Oberklasse bringt:
Auszug aus der SSDF-Liste: https://ssdf.bosjo.net/long.txt

Deep Hiarcs 14 16GB 1800X 3,6 GHz 3207 41 -42 280 43% 325

Hiarcs 14 256MB Athlon 1200 MHz 3106 34 -33 440 62% 3019

Der AMD Ryzen 1800x bringt nach www. cpubenchmark.net 15433 Punkte. Der Athlon 1200 MHz dürfte, wenn man Vergleichswerte der low-end-Tabelle heran zieht, allerhöchstens bei 250 liegen.

Dann bringt also ein Faktor von zirka 60 in der CPU-Leistung, und angepasster schnellerer Hardware, gerade mal etwa 100 Punkte mehr Spielstärke.

Die meisten Partien gehen sowieso Remis aus. Es bleibt reine Spekulation, wie AlphaZero auf 50x langsamerer Hardware abgeschnitten hätte. 28:0 Gewinnpartien wären es wohl nicht geworden, aber vielleicht 20:0 oder 15:1.

Ich gehe davon aus, wenn Houdini 6 oder Stockfish 8 oder Komodo 11 die veröffentlichten AlphaZero-Glanzleistungen in vertretbarer Zeit - sagen wir eine Stunde pro Zug - ebenfalls gefunden hätten, hätte uns das Chessbase bestimmt nicht verschwiegen.
Meine Meinung: Fa. Chessbase = Schlechter Verlierer!

Gruß
Wolfgang

Eigentlich bestätigst Du, was ich oben bereits gesagt habe. Der Unterschied der von Dir genannten Geräte bei ca. 60facher CPU-Leistung liegt um die 100 Elo-Punkte. Das Ergebnis AlphaZero - Stockfish impliziert ebenfalls einen Unterschied von ca. 100 Elo-Punkten ausgehend von den Gewinnwahrscheinlichkeiten der ELO-Berechnung.

Im Umkehrschluss heisst das, bei selber CPU-Leistung wäre es eine Begegnung auf Augenhöhe gewesen. Gibt man dann Stockfish noch eine vernünftige Eröffnungsbibliothek, eine vernünftige Hash-Tableeinstellung und Tablebases, also all die netten kleinen Dinge, die die Spielstärke nochmals steigern, dann läge Stockfish rein rechnerisch sogar vorne.

By the way: Du darfst bei deinem Vergleich auch nicht vergessen, dass die SSDF-Liste auf Wettkämpfen basiert in denen die Hash-Tables optimal eingestellt sind und ein Eröffnungsbuch vorhanden ist. Im Wettkampf AlphaZero-Stockfish hatte Stockfish kein Buch, während AlphaZero aus der Lernphase durchaus Eröffnungswissen hatte. Wie sähe die Liste wohl aus, wenn man z.B. dem kleinen Athlon noch die Tablebases und das Eröffnungsbuch weggenommen hätte?

Ob und was Chessbase in diesem Zusammenhang veröffentlicht... Was sollen sie denn veröffentlichen? Das Houdini 6 oder Kommodo 11 den einen oder anderen Zug vielleicht gefunden hätten und den einen oder anderen eben nicht? Was soll das bringen?

In Bezug auf die weiter oben genannten Stellung habe ich bereits aufgezeigt dass einige ältere Programme den Schlüsselzug Txc5 in wenigen Sekunden finden und z.B. Rybka auch richtig weiterspielt. Und? Was sagt das aus? Nichts. Weil man erst mal in diese Stellung kommen muss.

Fakt ist: Chessbase kann vielleicht durchaus zeigen dass der eine oder andere Zug von anderen Programmen ebenfalls gefunden wird. Das bedeutet aber nicht dass diese Programme auch zu dieser Stellung gekommen wären. Insofern wäre jede Darstellung von Chessbase ebenso nichtssagend bezüglich der wahren Programmstärke wie es der Wettkampf AlphaZero - Stockfish unter den gegebenen Bedingungen ist.

Das Zugzwangmmotiv kann man natürlich auch in normale Schachprogramme einbauen. Es wird aber die Gesamtspielstärke eher mindern als erhöhen. Das ist der Vorteil der KI. Das Schachprogramm rechnet, die KI plant. Die Schlüsselstellungen in denen die KI dann gewonnen hat (wie eben in der oben gezeigten Stellung) hätte ein Magnus Carlsen wahrschenlich auch gelöst. Hätte er deswegen einen Wettkampf gegen einen optimal konfigurierten Stockfish gewonnen? Vermutlich nicht. Wie gesagt. Als Forschungsergebnis im Bezug auf Neuronale Netze ist AlphaZero ein Meilenstein. Und möglicherweise hätte sie auch gegen einen optimal konfigurierten Stockfish gewonnen. Vielleicht hätte sie dann ein paar Tage Training mehr gebraucht. Wir wissen es nicht und werden es vielleicht auch nie erfahren. Und die Aussage, dass das Ergebnis zu einem bestimmten Termin veröffentlicht wurde, weil DeepMind irgendwo Sponsor ist (so wie es Chessbase aussagt) ist nun mal nicht von der Hand zu weisen. Genau deswegen bleibt eben ein "Gschmäckle".

Ich bin selbst ein Fan von Neuronalen Netzen und glaube auch, dass AlphaZero mit z.B. 2 Wochen Training auch gegen jedes andere Programm gewinnen kann. Genau deswegen finde ich es traurig, dass man sich mit dieser Studie jetzt angreifbar gemacht hat. Ein falsch konfigurierter Stockfish ohne Eröffnungsbuch ist eben ein anderer Gegner als ein richtig konfigurierter mit Eröffnungsbuch. Und bei aller Liebe zu neuronalen Netzen... das bleibt eben hängen und sorgt zu Recht für Kritik. Hätte man den Kritikern von vornherein einen fairen Wettkampf geliefert, dann wäre vielleicht der Termin der veröffentlichung ein paar Tage später gewesen, aber man hätte wirklich einen unangreifbaren Erfolg vorweisen können. Diese Chance hat man leider verpasst.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Gibt es jemanden, der schätzen kann oder sogar weiß, wie viele Partien Alpha Zero in den 4 Stunden Lernzeit gegen sich selbst gespielt haben mag?