AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Ich sehe das ein bisschen anders. Wenn Zugzwang nicht als strategisches Element erkannt oder hinreichend gewürdigt wird, ist das ein Mangel.
Genauso unbefriedigend ist es, wenn solche Situationen nicht beurteilt werden können.
https://www.schachcomputer.info/foru...5&postcount=24

Die klassischen Top-Engines mögen in einer kompletten Partie unschlagbar sein. Aber zur Perfektion fehlt noch ein gutes Stück. Und der Perfektion kommt AlphaZero meines Erachtens einen ganz gewaltigen Schritt näher.

Ich habe Stockfish 8 an der ersten Studie aus dem Video rechenen lassen.
Nach einer guten Stunde Rechenzeit und 8.316.830.017 Knoten zeigt er immer noch 1. ... Db4-f4 +0,35; Tiefe 48/77-



Über acht Milliarden Knoten sind schon eine Menge. Und wie gesagt: Txc5! nicht gefunden. Variante 1. Df4 Sxb3 (vorher 1. Df4 Tdf8)

Gruß
Wolfgang

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Hartmut,

viele Deiner angeführten Argumente hinsichtlich der Wettkampfbedingungen sind nicht von der Hand zu weisen. Auf der anderen Seite spielt AlphaZero Chess unübersehbar ein intelligenteres Schach, Kurt hat zu Recht darauf hingewiesen. Wolfgang hatte hier gerade eine schöne Stellung mit Zugzwang-Motiv angebracht.

Wir haben eine belastbare Vorstellung was beispielsweise eine Verdopplung der Verarbeitungsgeschwindigkeit unserer "alten Schätze" gebracht hat. Je nach Programm waren das durchschnittlich ca. 70 Elo Punkte. Bekannt ist auch, dass dieser Zugewinn an Elo bei den heutigen PC-Spitzen Engines bedeutend geringer ausfällt. Ehrlich gesagt habe ich keine Vorstellung wie sich dies bei AlphaZero Chhess verhält. Sicher, innerhalb der Lernphase ist es von entscheidender Bedeutung möglichst starke Hardware zur Verfügung zu haben. Einmal angenommen den erreichten Programm-Stand von AlphaZero Chess nach dem Stockfish-Wettkampf auf eine wesentlich schwächere Hardware laufen lassen..., wie würde sich dies auswirken? Wie funktioniert die Suche des Programms genau? Fragen über Fragen. Hoffentlich lässt uns DeepMind nicht dumm sterben ;)

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Guten Morgen,

ganz aktuell ein sehr ausgewogener Artikel von ChessBase zu dem Wettkampf und AlphaZero Chess, welcher die ein oder andere Frage beantwortet:

https://de.chessbase.com/post/alpha-...ns-mit-aepfeln

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Wolfgang
Ich glaube, wir können Stockfish auch 5 Stunden rechnen lassen, ohne dass Dxc5 gefunden wird. AlphaZero spielt einfach ein anderes Schach. Natürlich wäre ein Vergleich unter besten Bedingungen für Stockfish reizvoll. Dazu wird es jedoch kaum kommen.
Gruss
Kurt

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Meiner Ansicht nach ist dieser Artikel mit Vorsicht zu genießen, da ChessBase selbst Schachprogramme vertreibt.
Es werden Ergebnisse nicht nur genannt, sondern auch bewertet bzw. gegen AlphaZero ausgelegt:

Eröffnungen
Da wird beispielsweise kritisiert, dass es in der "Trainingsphase" Niederlagen mit Schwarz im Damengambit oder Grünfeld-Indisch gab. Ja und ? Vielleicht sind diese Eröffnungen tendenziell schwach für Schwarz. Ich vermute, auf diesem Gebiet, was gute oder schlechte Eröffnungen sind, wird die nächsten Jahre mittels elektronischer Unterstützung noch viel mehr heraus kommen. Vieles ist ja heute schon auch nur deswegen gut spielbar, weil der (menschliche) Gegner sich damit nicht auskennt.

Gewinnquoten
Ist ein Vorwurf berechtigt, wenn es fast nur Siege mit Weiß gab ? Da bin ich mir nicht sicher. Es wurde, m.E. zurecht, auf die hohe Remisquote im Spitzenschach hin gewiesen. Denn wenn keine Fehler gemacht werden, wird der Aspekt der Remisbreite relevant. Und diese ist nicht so arg klein.
Außerdem kann es ja durchaus sein, dass Schwarz theoretisch bei bestem Spiel gar nicht gewinnen kann.

Der Hardware-Vorteil von AlphaZero o.k.
Andererseits ist ein 28:0 schon sehr eindeutig. Ich vermute, Kurt hat recht, wenn er oben sagt, dass man SF8 auch fünf Stunden geben könnte, und er Txc5! trotzdem nicht findet. Wenn dem so ist, dann wäre das Argument Rechengeschwindigkeit irgendwann auch eher dünn.

Insgesamt denke ich, muss man einfach konzidieren, dass hier ein "intelligenter" Schritt nach vorne gelungen ist.

Gruß
Wolfgang

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Dem will ich nicht widersprechen. Das solche Motive nicht oder nur schwer gefunden werden, ist nichts Neues und begegnet mir in der Fernschachpraxis immer wieder. Ein Grund, weswegen mir Fernschach nach wie vor Spaß macht, denn die dummen Engines sehen eben doch nicht alles. Insofern hast Du schon recht.

Ich will aber an dieser Stelle eben betonen, dass sich mein letzter Post eben auf das Ergebnis in Bezug auf die unterschiedliche Hardware bezog. Und hier ist das Ergebnis von 28 Gewinnpartien aus 100 insgesamt erstmal nicht erstaunlich. Da ist es fast schon bemerkenswerter dass ein um den Faktor 50 langsameres Gerät (man beachte: keine Eröffnungsbibliothek und eine absolut katastrophale Hashtableeinstellung) 72mal Remis gehalten hat.

Wir wissen bereits seit den Zeiten unserer Oldies, das manche Programme taktische Stellungen besser behandeln, manche eher positionell geprägt sind. Das ist heute nicht anders als damals. Das Problem ist, dass an dieser Front von den Programmierern - aus welchem Grund auch immer - nur darauf geschaut wird, die Gesamtspielstärke im einstelligen Elo-Bereich zu steigern um sagen zu können "Ich bin 10 Elo-Punkte besser". Die Behandlung einzelner Stellungstypen (In deinem Beispiel ein Zugzwangmotiv) bleibt dabei außen vor und ist auch für die Steigerung der Gesamtspielstärke im Vergleich zu anderen Engines wenig relevant. Auch das merke ich in meiner Fernschachpraxis immer wieder. Stockfish ist eine - vielleicht die stärkste - Eingine unter vielen. Benutzt mein Gegner im Fernschach "nur" Stockfish dann freue ich mich, denn ich werde die Partie aller Voraussicht nach gewinnen.

Es stimmt allerdings - und da gebe ich Egbert recht - dass AlphaZero ein weit intelligenteres Schach zu spielen scheint welches - im Gegensatz zu den gängigen Engines - auch sehr planvoll aussieht. Aber genau das ist gerade mein Problem. Gerade weil AlphaZero "anders" spielt wurmt es mich, dass der Vergleich hardwaremäßig derart unfair durchgeführt und Stockfish durch falsche Einstellungen noch gebremst wurde.

Man sieht an der Art der Partieanlage dass AlphaZero einiges sehr gut kann. Warum hat man dann den ehrlichen Vergleich gescheut nur um publikumswirksam dann berichten zu können, man habe das beste Schachprogramm hoch abgeschlagen? Warum hat man den hardwaremäßig schwächeren Gegner dann noch durch falsche Hashtable-Einstellung künstlich zusätzlich weiter ausgebremst? Für mich sieht das - auch wenn ich das intelligente Spiel von AlphaZero durchaus zu schätzten weiss - nicht sehr seriös aus und es bleibt das Geschmäckle, dass man um schnell Ergebnisse präsentieren zu können - den fairen Vergleich gescheut hat. Und damit begibt man sich leider auf das Niveau der "Ich bin 10 Elo besser"-Programmierer.

Vielleicht 4 Tage statt 4 Stunden Training und ein Wettkampf auf Augenhöhe mit vergleichbarer Hardware und man hätte (vielleicht) wirklich etwas seriöses zu berichten gehabt. Das hätte mich dann überzeugt. So bleibt erstmal nur die Feststellung, dass AlphaZero gewisse Stellungen besser behandelt als die gängigen Engines und wohl auch gezielt auf diese Stellungen hinarbeitet. Ob das ausreicht die TopEngines auf Augenhöhe zu schlagen? Den Beweis ist uns die Firma DeepMind bisher leider schuldig geblieben und hat erstmal - frei nach dem Forschergrundsatz "Publish or perish" eine angreifbare Studie geliefert.

@Kurt

Es gibt übrigens Engines die in der geposteten Stellung Txc5 finden. Das uralte Programm AnMon 5.75 braucht keine 2 Sekunden dafür, findet dann nach 1. ...bxc5 2. Dh4 nicht. Auch Rybka 4 findet Txc5 den Zug sofort braucht dann aber eine Weile um 2. Dh4 zu finden. Stockfish allerdings findet es tatsächlich nicht. Für die Gesamtspielstärke sagt das allerdings wenig aus. Was nutzt es, wenn ich Stellungen finden kann, die Rybka und der alte AnMon in weniges Sekunden lösen können, die Stockfish nicht findet, wenn Stockfish in einem Wettkampf trotzdem haushoch gewinnen würde? Nichts. Das einzige was ich dadurch erfahre ist:

1. für gewisse Stellungen brauche ich gewisse Engines
2. für andere Stellungen brauche ich andere Engines.
3. Für einen Wettkampf ist es irrelevant welche speziellen Stellungen einer bestimmten Engine liegen.

Und das wusste ich ehrlich gesagt vorher schon.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Hallo Wolfgang,

ja, kommerzielle Interessen können auch hier mit reinspielen. Dennoch wird in dem Artikel sehr viel rein sachlich dargestellt. Der Geschwindigkeitsvorteil von AlpaZero Chess ist sicher erheblich. Dennoch, auch ich bin der Meinung dass das Programm von DeepMind ohne Frage eine neue Qualität im Schach erreicht hat. Es würde mich wundern, wenn diese Weiterentwicklung nicht noch weiter vorangetrieben wird. Jedenfalls freue ich mich auch hier auf weitere Fortschritte und ganz ehrlich...beim Analysieren der veröffentlichten Partien ist mir das Herz schon das ein oder andere mal aufgegangen :)

Gruß
Egbert

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Tja, man könnte daraus aber auch andere Schlüsse ziehen. AlphaZero hatte durch das Training Eröffnungswissen, Stockfish hatte im folgenden Wettkampf aber kein Buch. Folge: AlphaZero hat bewusst die Eröffnungen vermieden, die für ihn "nicht gut" waren während Stockfish eröffnungstheoretisch nicht dagegen halten konnte. Ein Schelm wer Böses dabei denkt.

War es denn ein Vorwurf? Für mich ist das erstmal eine Feststellung. Ich habe das nicht als Vorwurf empfunden, allenfalls als eine sehr stark ins Auge fallende Tatsache.

Er liegt aber in der Erwartungsquote. Wie gesagt, lass einen 64-Core Stockfish gegen einen 1-Core Stockfish antreten und das Ergebnis wird ählich aussehen. Im übrigen war es ja kein 28:0 sondern das Ergebnis lautete +28 =72 -0, also 64:36, das heisst eine Erfolgsquote von 64 %. Eine Gewinnerwartung von 64 % entspricht einem Elo-Unterschied von etwas über 100 Punkten. 100 Punkte Elo-Differenz bei weit überlegener Hardware, wohlgemerkt. Sehe ich mir z.B. die CCRL Liste an
http://www.computerchess.org.uk/ccrl..._list_all.html
so fällt mir auf. Die Differenz z.B. zwischen asmFish 4 Core und asmFish 1 Core liegt bei 74 Punkten, bei Kommodo 11.2 4 Core und Kommodo 11.2 1 Core sind es sogar fast 80 Punkte. Bereits bei einem Unterschied 4:1 Core ist also bereits eine Elo-Steigerung von 80 Punkten möglich.

Zwischen AlphaZero und Stockfish war das Geschwindigkeitsverhältnis in der Prozessorleistung sogar bei 50:1 Da ist angesichts des Hardwareunterschied eine Erfolgsquote von 64% also etwas über 100 Elo-Punkten nun nicht wirklich überraschend, ganz im Gegenteil, sie ist sogar enttäuschend.

Nimmt man den Geschwindigkeitsunterschied als Basis, dann hätte das Ergebnis weit deutlicher ausfallen müssen. Und leider wurden ja nur 10 Partien veröffentlicht. Wir wissen nicht, ob bei höherer Rechenleistung nicht weit mehr für Stockfish drin gewesen wäre oder unter welchen Umständen die Remis erzielt wurden. Wir haben 10 Beispielpartien aus einem Wettkampf, dessen Ergebnis angesichts des Geschwindigkeitsunterschieds zu erwarten war, bzw. das sogar zu niedrig für AlphaZero ausgefallen ist und können daraus allenfalls entnehmen dass AlphaZero bestimmte Stellungstypen sehr gut beherrscht und in diesen Stellungen überlegen ist. Unter welchen Umständen die anderen Siege errungen wurden wissen nicht. Ob Stockfish in den verbliebenen 72 Remispartien das eine oder andere Mal nicht vielleicht sogar die bessere Stellung hatte und diese aufgrund zu langsamer Hardware nicht zum Gewinn führen konnte wissen wir ebenfalls nicht. Eigentlich wissen wir so gut wie gar nichts. Deswegen sollte man das Ergebnis erstmal lieber etwas nüchtern betrachten, auch wenn ich als Informatiker es durchaus auch gerne durch die rosa Brille sehen möchte. Aber ich beschäftige mich leider schon zu lange mit dem Thema Wissenschaft um die Schwächen dieser Studie nicht zu sehen. Und sie hat erhebliche Schwächen.

Nö, andere und teilweise viel ältere Engines als Stockfish finden den Zug ja ebenfalls. Das sagt erstmal nur aus, dass Stockfish mit dieser speziellen Stellung nicht umgehen kann. Nicht mehr und nicht weniger. Andere schlechtere Engines finden den Zug, würden aber im Wettkampf gegen Stockfish trotzdem unterliegen. Das Beherrschen einer bestimmten Situation sagt erstmal nichts über die Gesamtspielstärke aus. Gerade deswegen wäre ein Wettkampf mit vergleichbarer Hardware wichtig gewesen. Und die Chance hat man - bewusst oder unbewusse - vertan. Und ehrlich gesagt, wenn ich bedenke wie die Hashtables eingestell wurden, möchte ich fast eher "bewusst" unterstellen.

Naja... es ist eher ein "Back to the roots". Man hat festgestellt, dass Stellungen die ältere Schachprogramme mal lösen konnten (Rybka, Anmon) herbeigeführt werden müssen, die Stockfish nicht lösen kann und dann mittels einem neuronalen Netz ein Programm geschaffen, dass genau das beherrscht. (Man hat das Netz ja auch mit Partien von Stockfish trainiert...). Daneben hat man bewiesen, dass so ein Programm in Verbindung mit weit überlegener Hardware in der Lage ist einen Stockfish in ungünstiger Konfiguration zu schlagen. Dazu hätte ich die Google-Cloud für das Neuronale Netz nun nicht wirklich gebraucht. Ein entsprechender Server mit entsprechend vielen Kernen und Rybka 4 drauf gegen einen 1-Core Stockfish hätte das vermutlich auch zeigen können.

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Also: sollte diese Studie und das Ergebnis nicht gefälscht sein, dann bin ich mir sicher:
Nehmt Komodo oder gar Houdini 6.03, gebt ihm ein gutes Buch, zig Cores, HashTables und Tablebases und meinetwegen eine andere Bedenkzeit ... es würde von Alpha Zero genauso pulverisiert werden (erst recht wenn man jenes längert "trainiert")!!! Diese neue Technologie ist einfach sensationell bahnbrechend.

Falls der Bericht und das Match allerdings ein Fake war, sieht das natürlich ganz anders aus ... fänd ich aber schade.

Was spricht dagegen, Deepmind anzuschreiben und ein neues derartiges Match vorzuschlagen?

AW: Selbstlernende KI: Neue Engine spielt auf Profi-Niveau
 

Gefälscht ist da sicherlich nichts. Nur die Testbedingungen der Studie sind eben absolut unseriös und das Ergebnis damit natürlich nichtssagend.

Da wäre ich mir nicht so sicher. Das haben sie ja ohne tricksen noch nicht mal seriös bei Stockfish beweisen können.

Ganz unabhängig davon inwieweit die Testbedingungen jetzt fair waren und wie stichhaltig das Ergebnis der Studie war... in diesem Punkt gebe ich Dir recht. Nach so kurzer Trainingszeit auf solch ein Spielniveau zu kommen wäre auch bahnbrechend, wenn AlphaZero diesen Wettkampf knapp verloren hätte. Aber haushoch gewonnen liest sich halt besser...

Wie gesagt, ein Fake war das sicherlich nicht. Aber angesichts der unfairen und undurchsichtigen Testbedingungen hat die Meldung halt für mich das Niveau eines reisserischen Bild-Zeitungs-Artikels. Die Partien und vor allem wie sie gewonnen wurden sind - ich kann es ohne Übertreibung sagen - spitze. Andererseits kannte AlphaZero die Schwächen von Stockfisch da auch mehrere Etappen von Trainingspartien mit vorgegebenen Eröffnungen eben gegen Stockfish durchgeführt wurden bevor der eigentliche Wettkampf stattgefunden hat. Da kann man dann leicht auf die Schwächen des Programms spielen. Hat der Gegner jedoch eine gute Eröffnungsbibliothek so muss AlphaZero erstmal da hin kommen, dass er solche Traumstellungen bekommt. Und das ist eine erheblich schwerere Aufgabe. Mag sein, dass er sie bewältigen kann, der Beweis steht aber noch aus. Und das ist das Wesen der wissenschaftlichen Forschung. Ich kann zwar alles behaupten, ich muss es aber auch beweisen. Ist der Beweis nicht erbracht, bleibt es erstmal nur eine Theorie. Und genau das ist hier - zumindest noch - der Fall.

Keiner wird dich dran hindern. Aber ich denke nach den ersten kritischen Artikeln, die nach der "Erfolgsmeldung" im Netz erschienen sind, ist das wohl nicht mehr nötig. Ich traue den Programmierern bei DeepMind durchaus zu, dass sie auch die kritischen Artikel auf ihre Pressemeldung lesen und eventuell beantworten werden.