Nachdem ich ja nun stolzer Besitzer eines auf 100 Mhz getunten Mephisto Milanos bin, dank des tollen FPGA-Chips, habe ich ja einige (20) Testpartien manuell gegen meinen Genius 68030 und meinen Magellan ausgespielt. Leider kann man manuell natürlich kaum eine nennenswerte Zahl von Partien spielen, um ein halbwegs brauchbares Elo-Ranking des Milano Super Turbos zu erhalten. Also habe ich nun die ChessEmu von F.Huber hinzugezogen. Damit ist ein solcher Test auch automatisiert möglich. Allerdings ist es etwas kompliziert, daher möchte ich es hier mal erläutern. Denn mit der hier skizzierten Methodik ist es natürlich auch möglich, getunte Versionen anderer Brettcomputer (auch getunte Versionen, die eigentlich nicht existieren, die man aber gerne mal testen würde) zu testen. Wer also schon immer wissen wollte, wie stark z.B. ein Super Conny mit 100 Mhz spielen würde (im Super Conny ist der Einbau des FPGA-Chips sogar wirklich machbar!) oder ein Mephisto Glasgow mit 100 Mhz oder 200 MHz, kann das auch machen, wenn er sich an meine Anleitung hält.
Wie geht es also? Erläutern werde ich es anhand des konkreten Beispiels, das mich interessiert, also den Milano Super Turbo im 30 Sekunden pro Zug Aktivschach gegen einige andere Brettcomputer zu testen.

Zunächst ist klar, die Gegner Brettcomputer spielen mit den normalen 30 Sekunden pro Zug (oder einer ähnlichen Stufe, das hängt vom Gerät ab (dazu die Anleitung des Gerätes konsultieren)). In Arena steht für automatisierte Partien nun der emulierte Milano nur in der 5MHz Version zur Verfügung (in der ChessEmu gibt es auch die 10MHz-Version, aber das nützt natürlich nichts). Damit dieser 5MHz Milano nun 20 mal (von 5MHz auf 100MHz = Faktor 20) mehr Stellungen pro gespieltem Zug durchrechnet, muß er also 20 mal mehr Zeit bekommen. 20x30 Sekunden= 600 Sekunden = 10 Minuten. Man stellt also in Arena unter der Engine-Konfiguration des Milano (nicht in Arena selbst!!!) nun 9 Minuten 59 Sekunden ein (10 Minuten geht nicht, die Minutenzahl der Normalstufe des Milano ist maximal einstellig). Nun hat man natürlich 2 Probleme: Mit 10 Minuten pro Zug würde eine Partie schier ewig dauern und die Bedenkzeit des Permanent Brain wäre total verzerrt und würde den Milano stark benachteiligen. Denn der Gegner könnte immer 10 Minuten lang pondern, der Milano nur 30 Skunden lang. Diese beiden Probleme lassen sich nun durch die Möglichkeit der ChessEmu lösen, die Geräte unterschiedlich schnell zu emulieren. Ich erkläre das hier nun Step-by-Step:

1) Der Milano muß so stark wie nur möglich beschleunigt werden. Leider mußte ich feststellen, daß es erhebliche Unterschiede in der maximalen Geschwindigkeit gibt, wenn der Milano in der ChessEmu läuft und wenn er in Arena läuft . Man muß also den Milano in Arena einladen. Dort in der Engine-Konfiguration (In Arena unter "Engines" -> "Engines1" -> "Configure") gibt man nun bei Speed den Wert 5000 ein (5000% Geschwindigkeit, dieser Wert wird aber nicht annähernd erreicht!) und schaut nun, wieviel schneller die Uhr des Milano wirklich geht. Dazu muß er aber rechnen, anderfalls geht die Uhr noch schneller! Bei mir waren es auf einem alten Notebook gut 6.6 mal schneller als normal. Man stoppt einfach mit einer Stoppuhr, wie lange der Milano beim Rechnen für eine oder besser drei Minuten Realzeit auf seiner internen Uhr braucht. Und errechnet so, wie hoch die maximale Geschwindigkeit ist. Mit dieser maximalen Geschwindigkeit wird der Milano dann auch in den Testpartien in Arena spielen. In der Engine-Konfiguration des Milano in Arena stellt man nun auch gleich die 9 Minuten und 59 Sekunden Bedenkzeit ein.
2) Nun errechnet man, wie lange der Milano in Realzeit braucht, um seine 10 Minuten pro Zug zu rechnen (s.o.). Bei mir sind das ziemlich genau: 600 (Sekunden) / 6.6 = 90 Sekunden.
3) Diesen realen Bedenkzeitverbrauch muß man nun auch für die Gegner Brettcomputer erreichen, denn damit ist dann auch die Ponder-Zeit fair (weil gleich) für Gegner und Milano. In meinem Beispiel ist es nun so, daß die Gegner 30 Sekunden pro Zug spielen (und dafür bei normaler 100% Emulations-Geschwindigkeit natürlich auch 30 Sekunden Realzeit benötigen). Sie sollen aber 90 Sekunden brauchen, ohne dabei mehr Stellungen zu berechnen. Also wird die Emulationsgeschwindigkeit der Gegner auf 33% reduziert. Damit gehen die internen Uhren dreimal langsamer und die Realbedenkzeit steigt damit auf 30x3 = 90 Sekunden. Die in der Arena Engine-Konfiguration für die Gegner Brettcomputer eingestellte Bedenkzeit bleibt natürlich bei 30 Sekunden pro Zug!

Und so wird es gemacht. Damit startet man nun die Testpartien in Arena. Die Bedingungen sind nun fair. Allerdings dauern die Partien dennoch immer noch recht lange: 90 Sekunden pro Zug bedeutet ja: 3 Minuten für einen vollen Zug (Weiß und Schwarz). Dauert eine Partie also im Schnitt 80 Züge, so dauert sie immerhin 4 Stunden (!). Mehr als 6 Partien pro Tag schafft man so also nicht. Aber immerhin läuft das Ganze automatisiert und rund um die Uhr. Mit etwas Geduld kommen so einige Partien zusammen! Und wer einen schnelleren PC-Prozessor nutzt, kann den Milano auch noch schneller laufen lassen. Damit sinkt der Realzeit-Bedarf des Milano (um seine 10 Minuten pro Zug zu rechnen) und somit muß man dann auch die Gegner weniger stark abbremsen (die Realzeit pro Zug muß ja bei Milano und Gegner immer identisch sein!) und damit gehen die Partien auch insgesamt deutlich schneller. Sehr viel schneller als 45-60 Sekunden Realzeit pro Zug wird es aber kaum werden. Ca. 10 Partien pro Tag dürften kaum zu toppen sein, dafür benötigt man dann aber schon eine PC-CPU mit wirklich hoher Taktrate. Aber immerhin!
Wichtig: In Arena muß man eine sehr lange Zeitkontrolle einstellen, damit kein Brettcomputer auf Zeit verliert. Ich habe z.B. 40 Züge in 3 Stunden eingestellt. Das ist überreichlich, da in Arena ja nur die verbrauchte Realzeit (90 Sekunden pro Zug) von Belang ist. Die eigentliche Zeitkontrolle liegt ja sowieso bei den emulierten Brettcomputern, was man diesbzgl. genau in Arena einstellt ist also unerheblich, es geht nur darum, Verluste durch Zeitüberschreitungen zu verhindern!

Ich habe jetzt mal ein Test-Gauntlet des virtuellen Milano Super Turbo 100MHz gegen 3 starke Brettcomputer in Arena gestartet (Genius 68030, Fidelity Elite V10 und den Mephisto Montreux). Je 50 Partien = 150 Partien. Da ich aber nur ca. 6 Partien pro Tag schaffe, wird das immerhin 25 Tage dauern. Aber ich hab es ja nicht so eilig. Hoffentlich läuft Arena und die ChessEmu stabil. Werde berichten. Wenn alles klappt, teste ich den Milano Super Turbo evt. Noch gegen ein paar andere starke Geräte. Mal schauen.

Ja, oder deaktivieren Sie die Option "Autoflag" im Optionsmenü
Gruß,
Eric

Inzwischen hab ich einige Erfahrung mit dem Spiel der emulierten Brettcomputer in Arena gesammelt. Leider nicht nur gute. Diese möchte ich gerne hier in Kurzform weitergeben, damit andere davon auch profitieren können.
Gute Nachrichten zuerst: Prinzipiell funktioniert es. So, wie ich es auch am Anfang des Threads beschrieben habe. Auf MehrkernCPUs ist es sogar möglich, mehrere Arena-Instanzen gleichzeitig laufen zu lassen und so mehrere Brettcomputerpartien simultan auf einem Rechner zu spielen, wodurch man natürlich erheblich schneller vorwärtskommt. Auf einem modernen Hexacore Prozessor sind z.B. 3 parallele Partien möglich (wegen des Ponderns rechnen pro Partie ja immer 2 Engines (=Brettcomputer!)). Die Geräte laufen dann nur geringfügig langsamer, das muß man natürlich bei der Anpassung des Realzeitverbrauchs (siehe meine Anleitung) entsprechend berücksichtigen.

Nun die Probleme:
1) Genius und auch London Emulationen laufen nicht stabil. Immer wieder hängen sie sich mit dem "VECT Error", der auch auf den echten Brettgeräten auftritt, auf (daher vermute ich, der Bug ist im Richard Lang Programmcode selbst, nicht in der Emulation, vorhanden). Diese Brettcomputer sind also zum Testen als Gegner unbrauchbar. Ich probiere jetzt zur Zeit die Lyon Turniermaschinen Emulation. Ich hoffe, die hat den Bug nicht. Mal sehen.
Hier der Thread zum Vect-Error Problem im Forum (dort wird ein Hardwareproblem vermutet, das können wir nun wohl ausschließen, denn sonst würde es nicht auch in emulierten Geräten auftreten!): https://www.schachcomputer.info/foru...ead.php?t=2648
2) Auf einem meiner neueren Notebooks darf ich den Bildschirm nicht per Windows (Windows 10, 64bit, Home) BildschirmSchoner abschalten, dann läuft der Milano nicht mehr so schnell, wie er sollte. Bleibt der Bildschirm an, gibts kein Problem. Mir völlig unklar, warum das passiert, aber es ist so. Auf einem alten Notebook (auch mit Windows 10 64bit) tritt das Problem nicht auf. Sehr seltsam. Aber, wenn man es weiß, kann man es ja vermeiden.
3) Man muß bei Arena immer einstellen, daß die Engines bei jeder Partie neu geladen werden. Tut man das nicht, startet z.B. die nächste Partie beim Milano nicht immer.
4) Doubletten: Es treten immer wieder Partiedoubletten auf, da die gleichen Eröffnungsvarianten gespielt werden und sich dann die exakt gleiche Partie ergibt. Wenn ich mit meinen Tests durch bin, werde ich zwei Auswertungen der Ergebnisse machen, einmal mit und einmal ohne Doubletten. Diese Doubletten lassen sich mit dem pgn-extract Tool zum Glück leicht und automatisch aussortieren.
https://www.cs.kent.ac.uk/people/staff/djb/pgn-extract/

Hallo Stefan,
Das Vector Error Problem tritt nur auf, wenn die Emulation zu schnell läuft.
Bei original eingestellten Geschwindigkeiten hatte ich bisher noch keine Errors.

viele Grüße
Markus

Hallo Markus,
der Stefan liegt schon richtig, der Vector Error tritt auch gerne mal bei den Originalgeräten auf, gerne ab 68020 und schneller. Da hilft es dann, ein die Daten auf ein schnelleres EPROM zu brennen. Manche der alten EPROMs halten offenbar nicht die Zeiten, die angegeben sind ... oder es wurden (zu) langsame Restbestände verwurstet.

Gruß,
Sascha

__________________
This post may not be reproduced without prior written permission.
Copyright (c) 1967-2024. All rights reserved to make me feel special. :-)

Kann nicht sein. Wie im Eingangsthread ausgeführt, laufen die Gegner-Emulationen im Wettkampf gegen die Milano-Emu deutlich langsamer als normal (je nach PC bei mir zwischen 30% und 45% , statt 100%), nicht etwa schneller. Nur die Milano-Emu läuft schneller.

Nach diversen Neustarts und Auswechseln der Gegner (wegen des Vect Errors der neueren Lang-Emulationen), laufen die Tests nun seit gestern auf mehreren Maschinen. Bisher sind 66 Partien insgesamt durch, ohne weitere Crashes. Daumen drücken, daß das so bleibt. Von den 66 Partien waren aber 19 Doubletten, also komplett identische Partieverläufe. Das ist natürlich unschön. Kann ich aber leider nichts machen.
Der Milano Super Turbo spielt gegen 6 Gegner. Je 2 von denselben Autoren, Aktivschach-Elo aus der Wiki-Eloliste mit angegeben:
1) Tasc R30 V2.20 (J. de Koning) (2356 Elo)
2) Montreux (J. de Koning) (2256 Elo)
3) Elite V11 (Spracklen) (2329 Elo)
4) Elite V10 (Spracklen) (2204 Elo)
5) TM Lyon (R. Lang) (2297 Elo)
6) TM Portorose (R.Lang) (2273 Elo)
Eloschnitt aller Gegner: 2286 Elo

Damit sollte ein valides Aktivschachrating des Milano Super Turbo entstehen, wenn genügend Partien gespielt sind.
Der Plan ist, auf mehreren Maschinen bis zum Ende des Wochenendes zunächst mal 50 Partien pro Gegner, also 6x50 = 300 Partien zu spielen. Dann haben wir schon mal eine halbwegs brauchbare Partienzahl.
Zudem laufen auf einem älteren Notebook noch 2 weitere Testruns, wo dann insgesamt nochmal 50 Partien pro Gegner gespielt werden. Das wird aber ca. 3 Wochen dauern (falls alles glattgeht). Dann sind es insgesamt 600 Partien. Mehr mache ich dann nicht, das muß reichen. 600 Partien klingt viel, wenn ich allerdings die Doubletten entferne, fällt (Stand jetzt, es könnten auch noch mehr werden!) ca. ein Drittel der Partien weg!
Morgen oder übermorgen poste ich mal einen ersten Zwischenstand. Momentan sind die Einzelergebnisse noch sehr unsicher, somit auch das Gesamtrating.
Wenn mal alle 600 Partien durch sind, werde ich diese auch zum Download anbieten. Und fände es schön, wenn der Milano Super Turbo dann auch in die Aktivschach Eloliste mit eingebaut werden würde, wenn ich nun schon so einen großen Testaufwand betreibe! Immerhin gibt es in der Eloliste jede Menge Emulationen, die auf der Revelation-Hardware laufen. Insofern gibt es keinen ersichtlichen Grund, Emulationen der ChessEmu auf dem PC nicht auch anzuerkennen.

Natürlich könnte man auch den Polgar oder den Nigel Short oder MM4 oder MM5 als 100MHz Tuningversionen mit der hier von mir erläuterten Methodik dank der ChessEmu testen und ein Aktivschachrating erstellen. Das müssen dann aber andere Leute machen. Alles, was man braucht, ist die ChessEmu, sowie ein (oder besser mehrere!) PCs und viiiiiieeeel Geduld.
Falls das jemand machen möchte, würde ich empfehlen, dieselben 6 Gegner wie ich zu benutzen, da sich so die Ergebnisse besser vergleichen lassen. Zudem muß man bedenken, daß es bei den Gegnern gar nicht so viel Auswahl gibt, wie man denken könnte. Zwar sind in der ChessEmu unglaublich viele Brettcomputer emuliert, aber viele kann man nicht benutzen:
1) Alle Gegner unter 2200 Elo sind zu schwach
2) Die modernen Lang-Programme (Vancouver und jünger) schmieren mit Vect-Errors ab und sind für Dauertestbetrieb daher unbrauchbar.
3) Frans Morsch Geräte gibt es nicht.
4) Alle Kittinger-Brettcomputer in der ChessEmu sind viel zu schwach (der Beste wäre noch der Scorpio/Diablo 68000 mit nur 2039 Aktivschach-Elo)

Daraus folgt, man kann nur Lang, de Koning und Spracklen-Geräte als Gegner nehmen. Bei Spracklen gibt es überhaupt nur 2 Geräte über 2200 Elo, den Elite V10 und V11. Bei den Lang-Geräten habe ich mit den 2 Turniermaschinen Lyon und Portorose die beiden stärksten genommen, die (hoffentlich!) keine Vect-Errors produzieren. Einzig bei den de Koning-Geräten gäbe es mehr Auswahl, da es diverse Tasc R30 und R40 gibt und noch den RISC 2500. Letzterer unterscheidet sich aber kaum vom Montreux und die stärkeren Tascs dürften eher zu stark sein.

Man sieht, die 6 von mir gewählten Gegner-Geräte sind letzlich (fast) alternativlos!

Hallo Stefan,
danke für die Mühe, aber dazu eine kurze Anmerkung bzw. Frage. Warum hast Du bei den Gegnern jeweils Programme genommen, die bei den jeweiligen Autoren entweder identisch oder sehr dicht beieinander sind?

Die V10 und die V11 haben das identische Programm, da sind keine Unterschiede. Zudem ist die Mess Emu bei diesen Geräten ungenau, zumindest bei der V11.

R30 2.2 und Montreux sind auch recht dicht beieinander. Da wäre ggf. die 2.5 Version besser gewesen, da hier schon ein Unterschied in der Spielweise vorhanden ist.

Bei den Lang Programmen hätte ich ggf. den Genius oder einen London genommen, zusammen mit dem Portorose, dann wäre auch hier eine schöne Spreizung der Stile vorhanden gewesen.

Alternativ hätte man natürlich mal die den R30 mit dem Schröder WM Programm nehmen können, damit ein Bruderkampf vorhanden ist und man sehen kann, inwieweit Hardware (100 MHz) die Weiterentwicklung aufholen kann ...

Gruß,
Sascha

__________________
This post may not be reproduced without prior written permission.
Copyright (c) 1967-2024. All rights reserved to make me feel special. :-)

Alternativlos, wie ich schon schrieb. Es gibt sonst keine Spracklengeräte in der Emu, die über 2200 Elo liegen.

R30 2.2 und Montreux liegen 100 Elo auseinander. Und für verschiedene Spielstile habe ich ja extra Emus von allen 3 Autoren (de Koning, Spracklen, Lang) benutzt

Hab ich doch nun gerade ausführlich erläutert, daß Genius und London alle 10-15 Partien (mindestens) mit Vect-Error abschmieren und daher für einen automatisierten Dauertest nicht in Frage kommen! Davon abgesehen hatte der Lyon als erstes Lang-Programm Singular Extensions. Und der Portorose aber noch nicht. Insofern sind diese Programme schon ziemlich unterschiedlich in der Suche.

Ich halte nicht viel von solchen (fast) Selfplay Wettkämpfen. Aber ich lasse auf einem Rechner noch den Risc 2 von Ed Schröder als Gegner 50 Partien gegen den Milano Super Turbo spielen. Rein interessehalber. Aber diese Partien nehme ich keinesfalls mit in die Auswertung.

Hast Du es schon mal mit älteren Versionen der MESS-Emu versucht. Bei mir ist in früheren Tests bei diesen Programmen nie auch nur ein einziger Fehler dieser Art aufgetaucht. Möglicherweise ist das auch ein Fehler im Treiber. Schon mal bei Franz oder Hub nachgefragt?

__________________
Mein Profil beim ICCF (International Correspondence Chess Federation)
https://www.iccf.com/player?id=89948&tab=3