Danke Hartmut für deine präzisen Antworten. In diversen Foren gibt es ja unterschiedliche Meinungen über diese Experiment. Meiner Meinung nach ist es ein Quantensprung für das Schach. Bin überzeugt, dass es funktionieren wird und Schach auf eine neue DIMENSION heben wird. Theoretisch kann man es ja noch jahrelang weiterlernen lassen, dabei wird die Hardware immer leistungsfähiger ...

Peter

Das kommt noch dazu. Zumindest hier unterscheidet sich Leela nicht von anderen Programmen. Bessere Hardware = Bessere Leistung. Mir tun nur die armen Forenbetreiber mit ihren Testseiten leid. Sie werden - zumindest bei CCGT oder CCRL ihre ganzen Testbedingungen vergessen können, wenn sie Leela richtig einschätzen wollen, denn nach ihren bisherigen Testbedingungen können sie nur die schwächste Version von Leela testen, die CPU-Version. Bei allen anderen Versionen versagt ihr auf dem Crafty Benchmark basierendes Verfahren:

http://kirill-kryukov.com/chess/disc...php?f=7&t=1486

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

@ Hartmut

Zitat:
"Mir tun nur die armen Forenbetreiber mit ihren Testseiten leid. Sie werden - zumindest bei CCGT oder CCRL ihre ganzen Testbedingungen vergessen können, wenn sie Leela richtig einschätzen wollen, denn nach ihren bisherigen Testbedingungen können sie nur die schwächste Version von Leela testen, die CPU-Version."

Nein, wir müssen dir nicht leid tun (ich spreche für die CEGT).
Wir müssen nur, und dies haben wir schon immer getan,
weiterhin sauber dokumentieren.

Es wird wohl die Engines:
"LCZero(idXYZ) vXy x64 1CPU" (also CPU-Version)
und
"LCZero(idXYZ) vXY x64 @ GTX-XYZZ t=x" (also GPU-Version)
in unseren Listen geben.

Wie viele davon und in welchen Abständen wird sich zeigen.

Die CPU-Version hat ja durchaus ihre Berechtigung, fast
alle Enginebenutzer haben bisher wenig Wert auf GPU-Leistung
gelegt und wollen trotzdem wissen wie LCZero @ CPU steht.

h.a.n.d.

Tja, es geht halt nicht mal so eben in ein paar Monaten hindurch geradewegs bis zur Weltspitze. Jetzt sind die ersten Rückschläge bei Leela da.
Im Network Selfplay (http://162.217.248.187) geht es jetzt seit 4 Network-Versionen abwärts, statt aufwärts. Und in meinem ersten Testrun mit dem feiner aufgelösten, komplexeren Network 251 (Größe nun 15x192), was als unvermeidbaren Nebeneffekt die Verarbeitungsgeschwindigkeit von Leele drastisch reduziert (bei mir fiel die Zahl der Rollouts/s in der Grundstellung von 800 Rollouts/s (Networks 10x128) auf ca. 460 Rollouts/s (15x192)), sieht es bisher (allerdings noch ein sehr früher Zwischenstand) auch nach einer sehr deutlichen Regression zum letzten Testrun (Net 214) aus (http://www.sp-cc.de/long-thinkingtime.htm). Über den genauen Umfang möchte ich nicht spekulieren, sondern das Ende des Testruns (also mindestens 300 Partien) abwarten.
Wie ich schon letztens postulierte: Jenseits von 2500 Elo wird die Luft eben schon dünner. Da geht es nicht mal so eben 500 Elo geradewegs nach oben. Auch Leela kocht nur mit Wasser.
Aber solche Rückschläge machen die Sache ja letzendlich auch spannend. Insofern kann man das durchaus mit ambivalenten Gefühlen betrachten. Ich teste weiter...

Stefan

Die ersten Rückschläge sind das bei weitem nicht. Wie der von Dir verlinkte Graph zeigt hatte man so einen Abfall schon einmal zwischen ID 162 und ID 165. Erst mit der ID 175 wurde wieder die Leistung der ID 162 erreicht. Jetzt hat man halt zwischen ID 253 und 257 wieder denselben Effekt. Mit der 258 ging es jetzt wieder geringfügig nach oben. Bei der Häufigkeit mit der die Network IDs wechseln (bei den letzten Networks waren immer so 40.000 Partien dazwischen), würde ich mir da keine Sorgen machen, Zumal der Leistungsabfall quasi gerade mal das Ergebnis eines einzigen Testtages war (Die IDs 252-256 erschienen alle gestern). http://162.217.248.187/networks

Also kein Grund zur Panik.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

Hallo GS

By the Way: Steht das G zufällig für Gerhard? Ich hasse es jemandern mit Initialen ansprechen zu müssen, lach.

Mein Post mit "leid tun" bezog sch hauptsächlich auf die Schwierigkeit mit den Benchmarktests. Ich weiss ehrlich gesagt nicht wie ihr das beim CEGT-Forum macht (würde mich aber mal interessieren).

Ich kenne nur den Post aus dem CCRL-Forum, der das beschreibt. Und da wird ja ausschließlich der Crafty-Benchmark verwendet. Dort wird bei unterschiedlicher Hardware die Bedenkzeit - bezogen auf einen Athlon X2 4600+ - bestimmt. Zur Leistungsmessung der tatsächlich verwendeten Hardware nimmt man dort den Crafty 19.17 BH benchmark. Der misst aber nicht die Leistung der GPU. Damit ist es erstmal unmöglich für eine GPU-Version Vergleichsdaten zu erhalten auf denen man die zu verwendenden Bedenkzeiten für das Testsystem festlegen kann. Man ist also wohl gezwungen entweder die Einstellungen für das Testsystem bezogen auf den Athlon X2 anders zu messen oder die GPU-Version zu ignorieren.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

@ Hartmut

Wir (CEGT) machen dies fast genau so wie die CCRL.
Nur, es ist kein Problem mit GPU-Engines. Diese
bekommen z.B. GTX-1080 6GB + Anzahl der threats in
den Enginenamen und dann weiss jeder mit welcher
Geschwindigkeit GPU-LCZero in etwa lief.
Ob GPU-LCZero dann gegen Stockfish auf Level 40/3 +
... oder auf einem langsameren PC auf Level 40/4 + ...
gespielt hat, spielt dann keine wesentliche Rolle.
Unsere PCs, welche wir für die Ranglisten verwenden,
unterscheiden sich nicht grossartig in der Geschwindigkeit.

Ich würde auch, so ich denn die Zeit hätte, einen
Mephisto Lyon 32-bit aufnehmen. Der wäre für Leser
unserer Listen auch sehr gut einzuschätzen.

h.a.n.d.

Meine Frage zielt eigentlich eher darauf ab, welche Geschwindigkeit man der GPU-Version dann zuordnet. Normalerweise hat man einen Basisrechner (bei CCRL halt der genannte Athlon X2) Hat man nun einen Rechner der z.B. 25 % schneller ist dann wird aus 40/4 halt eben 40/3 für die Schachprogramme. So wie du es beschreibst bleibt dann die Geschwindigkeit eines auf einer GPU basierenden Programms also außen vor und es gilt nur die per Benchmark ermittelte CPU-Geschwindigkeit als Maßstab. Oder sehe ich das falsch?

Mephisto Lyon... ja das wäre vermutlich zeitaufwendig, da der ja nicht unter Arena läuft. Aber immerhin... mit dem Roma zumindest könnte man das machen... Gemessen an eurer Liste hält der in der Emu unter Arena bei den Engines zwischen ELO 2000 und 2100 auf jeden Fall gut mit. Gegen ältere Engines wie EveAnn oder Ant schlägt er sich ganz gut.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3

@ Hartmut

G. = Gerhard = Treffer !

Ich glaube ich habe mich missverständlich ausgedrückt.
Ich meinte Lyon 32 quasi als Blackbox, also nicht als
Emulation auf einem PC. Und hierbei müsste ich alles
per Hand spielen. Unter 1000 Spielen machen wie es
i.d.R. nicht = aussichtslos, leider.

Wir (CEGT) werden GPU-LCZero als "feste" Hard-
Softwarekombination einbinden müssen. Das Teil bekommt
in den Listen genau dargestellt mit welcher GraKa es lief
und so kann jeder Leser der Listen erkennen mit welche
GPU-Power LCZero getestet wurde und Zuhause vergleichen.

Was nachher dabei herauskommt wäre zum Beispiel:
LCZero 0.8 x64 (id235) @ GTX-1060 3GB t=1
ist ungefährt gleichstark wie
Naum 3.0 x64 1CPU auf Intel i7-3770 @4.00GHz.

Mir persönlich würde solch ein Vergleich ausreichen.

h.a.n.d.

Hallo Gerhard

Naja, der Treffer war nicht schwer. Ich beobachte ja die Foren bei CEGT und CCRL auch ab und an und schaue nicht nur auf die Listen, grins

Ja, als Blackbox wäre das wirklich viel Aufwand im Vergleich zu den mehr oder weniger automatisierten Turnieren unter einer GUI. Und da 1000 Partien... ja wenn man das machen will hat man echt Arbeit. Deswegen hatte ich ja eventuell die PC-Emulation des Roma vorgeschlagen, damit man einen Vergleichswert zu den heutigen Engines hat. Wie dann Geräte wie der Lyon zum Roma stehen, wissen die Schachcomputerfans ja so ungefähr. Nur ist es manchmal schwer den Vergleich zu den Engines zu ziehen, weil unsere (leider nicht mehr weitergeführten) ELO-Listen eine ganz andere Basis haben.

Auf jeden Fall finde ich es klasse, dass ihr auch die GPU nun aufnehmen wollt. Da kommen bestimmt noch einige bemerkenswerte Matches heraus, wenn ich mir die Spielweise von Leela so ansehe. Auch wenn das Spiel bei weitem noch nicht perfekt ist, aber im Gegensatz zum TCEC-Turnier macht es mir richtig Spaß da zuzusehen. Einfach weil die Spielweise so komplett anders ist.

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3