Schachcomputer.info Community - Anleitung: Getunte Geräte virtuell in ChessEmu fair testen

Schachcomputer.info Community (https://www.schachcomputer.info/forum/index.php)

- Mess Emu & andere Emulationen / Mess Emu and other Emulations (https://www.schachcomputer.info/forum/forumdisplay.php?f=53)

- - Anleitung: Getunte Geräte virtuell in ChessEmu fair testen (https://www.schachcomputer.info/forum/showthread.php?t=6278)

AW: Getunte Geräte virtuell in ChessEmu fair testen

Zitieren:

Zitat von Hartmut (Beitrag 94357)

Möglicherweise ist das auch ein Fehler im Treiber.

Warum sollte der Treiber fehlerhaft sein, wenn dieses Problem doch auch im realen Gerät auftritt (wie hier berichtet wurde)?

AW: Getunte Geräte virtuell in ChessEmu fair testen

Zitieren:

Zitat von fhub (Beitrag 94362)

Warum sollte der Treiber fehlerhaft sein, wenn dieses Problem doch auch im realen Gerät auftritt (wie hier berichtet wurde)?

Ups, hab ich wohl überlesen. Bei mir ist es nie passiert, deswegen hat es mich gewundert...

AW: Getunte Geräte virtuell in ChessEmu fair testen

Zitieren:

Zitat von fhub (Beitrag 94362)

Warum sollte der Treiber fehlerhaft sein, wenn dieses Problem doch auch im realen Gerät auftritt (wie hier berichtet wurde)?

Ich denke auch, da das Problem auch in den realen Geräten auftritt, kann es nicht an der Emulation liegen. Meist erfolgt der Crash im späten Endspiel, daher tritt er bei Benutzern der realen Geräte viel seltener auf, da man sich dort ja endloses Endspielgeschiebe eher nicht antut. Aber bei automatisiertem Testen kommen lange Endspiele eben öfter mal vor, daher tritt der Vect Error dann eben auch häufiger auf.
Gute Nachricht dazu: Die Emulationen, die ich jetzt nutze, TM Lyon und TM Porotorose laufen bisher ohne Vect Error...

AW: Getunte Geräte virtuell in ChessEmu fair testen

Hier mal ein Zwischenstand, da der Milano Turbo inzwischen über 100 Partien absolviert hat (die Elozahlen der 6 Gegner wurden ORDO vorgegeben, es geht nur um die Elo des Milano Turbo 100, der hier einfach Milano 1.02 heißt, wie in der Emulation):

Code:

     Program                            Elo    +    -   Games   Score   Av.Op.  Draws



   1 Tasc R30 (The King 2.20)         : 2356    7    7    15    63.3 %   2245    6.7 %

   2 Fidelity Elite Avantgarde V11    : 2329    7    7    13    88.5 %   2245   23.1 %

   3 Mephisto TM Lyon 68030           : 2297    7    7    15    76.7 %   2245   20.0 %

   4 Mephisto TM Portorose 68030      : 2273    7    7    16    15.6 %   2245   31.3 %

   5 Mephisto Montreux v1.00          : 2256    7    7    29    62.1 %   2245    0.0 %

   6 Mephisto Milano v1.02            : 2245   40   40   107    45.3 %   2278   14.0 %

   7 Fidelity Elite Avantgarde V10    : 2204    7    7    19    28.9 %   2245   15.8 %

Hier das Zwischen-Ergebnis ohne Doubletten-Partien:

Code:

     Program                            Elo    +    -   Games   Score   Av.Op.  Draws



   1 Tasc R30 (The King 2.20)         : 2356    9    9    11    68.2 %   2235    9.1 %

   2 Fidelity Elite Avantgarde V11    : 2329    9    9     8    93.8 %   2235   12.5 %

   3 Mephisto TM Lyon 68030           : 2297    9    9    15    76.7 %   2235   20.0 %

   4 Mephisto TM Portorose 68030      : 2273    9    9    11    18.2 %   2235   36.4 %

   5 Mephisto Montreux v1.00          : 2256    9    9     9    66.7 %   2235    0.0 %

   6 Mephisto Milano v1.02            : 2235   52   52    69    43.5 %   2281   17.4 %

   7 Fidelity Elite Avantgarde V10    : 2204    9    9    15    30.0 %   2235   20.0 %

Extrem viele Doubletten gibt es gegen den Montreux: Von 29 Partien blieben nur 9 Partien übrig, nachdem alle Doubletten aussortiert wurden!

Außerhalb der Wertung noch der Zwischenstand gegen das andere Ed Schröder Programm Risc 2, hier liegt der Milano Turbo 100 leicht vorne:
Mephisto RISC II : 2252 14 (+ 4,= 4,- 6), 42.9 %

AW: Getunte Geräte virtuell in ChessEmu fair testen

Update: Der Mephisto Risc 2 ist jetzt im Wettkampf zum zweiten Mal abgestürzt, das hat keinen Sinn. Daher stoppe ich diesen Vergleich. Selfplay zweier Schröder-Programme macht m.E. sowieso nicht so viel Sinn.

AW: Getunte Geräte virtuell in ChessEmu fair testen

Wegen der sehr unterschiedlichen Ergebnisse und der Doublettenproblematik, habe ich mich entschlossen, es bei 50 Partien gegen jeden Gegner zu belassen und mein altes Notebook lieber dazu zu nutzen, den Milano Turbo noch gegen 3 weitere Gegner antreten zu lassen. Damit wäre es dann insgesamt 9 Gegner.
Auch bei den 3 neuen Gegnern habe ich ein de Koning-, ein Spracklen- und ein Lang-Gerät dabei:
Saitek Risc 2500 (2239 Elo)
Elite V9 (2150 Elo)
Almeria 32bit (2110 Elo)

Sollte ca. 10 Tage dauern. Falls alles glattgeht, was ja leider alles andere als sicher ist.

Wenn alles durch ist, sind es dann 9*50=450 Partien. Abzüglich leider der Doubletten.

AW: Getunte Geräte virtuell in ChessEmu fair testen

Nächster Zwischenstand:

Alle Partien (mit Doubletten):

Code:

     Program                            Elo    +    -   Games   Score   Av.Op.  Draws



   1 Tasc R30 (The King 2.20)         : 2356    4    4    24    56.3 %   2258    4.2 %

   2 Fidelity Elite Avantgarde V11    : 2329    4    4    37    79.7 %   2258   24.3 %

   3 Mephisto TM Lyon 68030           : 2297    4    4    24    72.9 %   2258   20.8 %

   4 Mephisto TM Portorose 68030      : 2273    4    4    38    11.8 %   2258   18.4 %

   5 Mephisto Milano v1.02            : 2258   32   32   210    47.6 %   2275   19.0 %

   6 Mephisto Montreux v1.00          : 2256    4    4    44    70.5 %   2258    4.5 %

   7 Saitek RISC 2500 v1.04           : 2239    4    4     6    58.3 %   2258   50.0 %

   8 Fidelity Elite Avantgarde V10    : 2204    4    4    28    30.4 %   2258   32.1 %

   9 Fidelity Elite Avantgarde V9     : 2150    4    4     5    20.0 %   2258   40.0 %

  10 Mephisto Almeria 32 Bit          : 2110    4    4     4    25.0 %   2258   50.0 %

Ohne Doubletten-Partien:

Code:

     Program                            Elo    +    -   Games   Score   Av.Op.  Draws



   1 Tasc R30 (The King 2.20)         : 2356    4    4    13    57.7 %   2268    7.7 %

   2 Fidelity Elite Avantgarde V11    : 2329    4    4    21    76.2 %   2268   19.0 %

   3 Mephisto TM Lyon 68030           : 2297    4    4    24    72.9 %   2268   20.8 %

   4 Mephisto TM Portorose 68030      : 2273    4    4    25    16.0 %   2268   24.0 %

   5 Mephisto Milano v1.02            : 2268   37   37   125    49.2 %   2273   23.2 %

   6 Mephisto Montreux v1.00          : 2256    4    4    11    68.2 %   2268    9.1 %

   7 Saitek RISC 2500 v1.04           : 2239    4    4     4    62.5 %   2268   25.0 %

   8 Fidelity Elite Avantgarde V10    : 2204    4    4    19    34.2 %   2268   36.8 %

   9 Fidelity Elite Avantgarde V9     : 2150    4    4     4    25.0 %   2268   50.0 %

  10 Mephisto Almeria 32 Bit          : 2110    4    4     4    25.0 %   2268   50.0 %

Leider steigt die Doubletten-Quote (erwartungsgemäß) mit mehr gespielten Partien immer weiter an. Sehr unschön, aber leider nicht zu ändern. Meiner Meinung nach muß man die Doublette entfernen, sonst hat man verzerrte Ergebnisse. Obwohl die Elo-Performance des Milano Turbo 100 momentan nur um 10 Elo abweicht (mit und ohne Doubletten).
Es scheint sich generell eine Elo von etwas über 2250 für den Milano Turbo 100 abzuzeichnen. Ungefähr. Etwas weniger, als ich gedacht hatte, aber nicht sehr viel. Mein Tipp war ja so ca. 2300 Elo. Naja, bis zum Ende der Tests kann sich ja auch noch etwas tun. Abwarten.

AW: Getunte Geräte virtuell in ChessEmu fair testen

Hallo Stefan,

vielen Dank für Dein interessantes Turnier. Die eklatanten Leistungsunterschiede zwischen Mephisto TM Lyon 68030 und Mephisto TM Portorose 68030 sind für mich allerdings nicht nachvollziehbar.

Gruß
Egbert

AW: Getunte Geräte virtuell in ChessEmu fair testen

Zitieren:

Zitat von Egbert (Beitrag 94397)

Ja, das ist heftig. Wie schon hier erwähnt, hat der Portorose noch keine Singular Extensions, der Lyon aber schon. Vielleicht hängt es damit zusammen?!
Auf jeden Fall laufen die Emulationen von Lyon und Portorose problemlos und ganz normal. Vielleicht rücken die Ergebnisse auch mit mehr Partien auch noch dichter zusammen.

AW: Getunte Geräte virtuell in ChessEmu fair testen

Zitieren:

Zitat von StPohl (Beitrag 94398)

Ja, das ist heftig. Wie schon hier erwähnt, hat der Portorose noch keine Singular Extensions, der Lyon aber schon. Vielleicht hängt es damit zusammen?!
Auf jeden Fall laufen die Emulationen von Lyon und Portorose problemlos und ganz normal. [B]Vielleicht rücken die Ergebnisse auch mit mehr Partien auch noch dichter zusammen.

Hallo Stefan,

die beiden Geräte sind aus meiner Sicht in der Spielstärke max. 20-30 Punkte zu Gunsten des Lyon auseinander. So viel Abweichung vom Standard habe ich bis dato noch nicht gesehen. Mal schauen, wie es sich weiterentwickelt. In jedem Fall schlägt sich der Milano v1.02.sehr respektabel in diesem illustren Feld.

Gruß
Egbert