AW: Testellungen Ratings fuer Schachcomputers
 

Da mich das Testergebnis des SuMo doch etwas enttäuscht hatte habe ich noch mal zwei Morsch - Geräte ins Rennen geworfen. Wollte mal sehen ob die Morschi's mit den Teststellungen nicht gut klarkommen. Der GK 2000 erreicht bei diesem Test eine Elo-Leistung von 1939, was wohl auch seiner Spielstärke entspricht. Aber der Milano Pro hatte genauso einen Ausreißer wie der SuMo.
Allerdings ging dieser in die andere Richtung. Er erreicht eine unglaubliche Leistung von 2407.

Aber hier die Zeiten

Re: AW: Testellungen Ratings fuer Schachcomputers
 

Hallo Olaf,
Wow das haette ich nicht gedacht das der MP so gut abschneidet. Das ist ja viel besser als der King 2.54. Also noch ein paar weitere Tests und dann kommt mehr Feintunen der Stellungen. Im gross und ganzen bleibe ich immer noch zufrieden mit der Hoffnung das mit diese Tests nach Feintunen es Stellungen gibt das alle schaffen koennen von Oben bis nach unten auf ca 1400 ELO.
Es scheint bis jetzt das Kittingers und Morsch's die komplizierten sind weil die restlichen programmierer bis jetzt ziemlich gut aussehen. Lang braucht naturlich auch noch ein paar weitere tests.

Also mehr Arbeit.

Viele Gruesse,
Nick

Re: Testellungen Ratings fuer Schachcomputers
 

Hier ist die Tabelle mit Mephisto Milano Pro und Saitek GK 2000


Ich bin ueberrascht mit den guten Wert von den Milano Pro aber eigentlich sollte man auch soetwas erwarten. Die Tabelle zeigt sehr schoen das jeder Hersteller seine guten Punkte hat und das jeder auch seine schlechten Punkte hat. Der Trick um ein Test zu haben was Erfolgreich ist fuer alle ist eben den richtigen Gleichgewicht zu finden. Ich glaube aber das es nicht so schwer ist. Man braucht nur die Zeit um genuegende Stellungen zu Testen mit genuegend diverese Schachcomputer und dann findet man auch den richtigen Weg.

Als Beispiel hier sind die gleichen Stellungen und Werte wenn ich 4 Stellungen herausnehme und nur 36 Positionen Bewerte und den Test einfach auf 2400 ELO aendere:


Jetzt auf einmal sieht es wieder ganz anders aus. Der MP liegt jetzt immer noch zu hoch mit ca 100 ELO und der Constellation auch mit ca 150 ELO. Die restlichen liegen aber wieder innerhalb Toleranzen die akzeptabel sind. Jetzt haette ich auch wieder Platz fuer 4 weitere Stellungen die den MP genuegend Schaden und den Constellation auch.

Problem dabei ist aber das problem was es bei den saemtlichen anderen Tests gibt. Mit zu wenige Stellungen sieht man ploetzlich nicht mehr wer was kann und wer was nicht kann. Zb Der MP schaffte 3 stellungen was die anderen Herstellern bis jetzt ueberhaupt nicht geschafft hatten. Und das zu verstecken waere eine sache die meines Achtens den Wert von Stellungstests reduziert.

Daher bin ich am ueberlegen spaeter nach mehr Tests anstatt Stellungen zu aendern, den Ausgleich zu schaffen mit mehr Stellungen die das eine oder andere Programm favorisiert oder entsprechend benachteiligt. So bleiben dann auch die guten Werte zu sehen und auch die schlechten.

So ich haette zum schluss 2 moeglichkeiten... Stellungen entsprechend zu tauschen oder mehr Stellungen dazu fuegen. Mein Bauchgefuehl sagt Stellungen dazu zu fuegen. Egal wenn es zum Schluss 50 oder 60 Stellungen werden weil nur so kann man auch das gute und das Schlechte eines programms sehen. Zum Schluss macht man diesen Test sowieso nur einmal mit ein Geraet.

Mal schauen.....

Viele Gruesse,

Nick

AW: Re: Testellungen Ratings fuer Schachcomputers
 

Wer außer Dir könnte das machen! :D Mit deinem Zeitmanagement wirst du den richtigen Weg finden :zwinker:

Grüße José

Re: Testellungen Ratings fuer Schachcomputers
 

Der Pavilion Talking Electronic Chess ist jetzt auch dazu gekommen. Dieser ist wahrscheinlich das gleiche Programm wie Excalibur Alexandra. Das kann sein das er in ein paar Stellungen noch besser abgeschnitten haette aber er stuertzt ganz oft ab wenn man Stellungseingabe Tests mit Ihn macht nach ein paar minuten von Rechnen. Daher bei einige Stellugen hat er 900 bekommen wo er vielleicht mit laengerer Bedenkzeit die geloest Haette. Also dieser Schachcomputer hat Bugs unter seine Optionen.

Seine Werte zeigen aber das er nicht schlecht ist. Schade das er auch nicht Pondert.


Viele gruesse,

Nick

Re: Testellungen Ratings fuer Schachcomputers
 

Der Novag Diamond und CXG 3000 sind dazu gekommen. Der Diamond liegt zu hoch. Der CXG 3000 ist enteuschend, er ist wesentlich langsamer als der Fidelity CC9. Stellungstests passen Ihn wohl nicht.


Die folgenden werden noch getestet vor ich mit das Feintunen beginne:

Mephisto Atlanta (um den Wert von Milano Pro zu vergleichen)
Mephisto Milano (als mittlerer Schroeder)
Mephisto Lyon (als weiterer Lang)
Tiger Grenadier (Chrilly Donninger)
Krypton Regency (Gyula Horvath) - Olaf - Novice
Excalibur Alexandra (um den Pavilion zu vergleichen) - Olaf - Novice
CXG Sphinx 40 (Mark Taylor)
CXG Sphinx Titan (Kaare Danielsen)
Mephisto MM II (Ulf Rathsmann)
Mephisto III S-Glasgow (Nietsche & Henne)
GGM Steinitz (Larry Atkin)
Mephisto Risc 2500 4 MB (de Koening)

Wenn jemand lust hat ein Test zu machen dann sagt bitte bescheid.

Viele Gruesse,

Nick

AW: Re: Testellungen Ratings fuer Schachcomputers
 

Hallo Nick,

Nun ja, solche Teststellungen sind ja eher was für Taktiker und das ist bekanntermaßen nicht unbedingt das bevorzugte Terrain des CXG 3000...;)


Gruß,
Robert

Re: AW: Re: Testellungen Ratings fuer Schachcomputers
 

Hallo Robert,
Ja in etwa wie bei den alten Commodore 64 Programme wo es lange dauert sogar 4 Ply durchzurechnen mit Brute Force.

Gruss
Nick

AW: Re: Testellungen Ratings fuer Schachcomputers
 

Das ist leider das Problem bei Stellungstest: Es ist unheimlich schwer hier ALLE Programme realistisch zu bewerten.

Im BT Test sind m.E. die Schröder und Kaplan Programme zu schlecht von der ELO.
Im Colditz Test ist Lang schwach, dafür Novag und die Conchess Brute Forcer sehr stark.

Vielleicht schafft Nick es ja hier eine ausgewogene Mischung zu finden:top:

Persönlich nutze ich solche Tests nur, um die Unterschiede zwischen ähnlichen Programmen zu erkunden (z.B. die ganzen Fidelity Versionen) - die ELO Zahl interessiert mich hier weniger.

Grüße
Peter

Re: AW: Re: Testellungen Ratings fuer Schachcomputers
 

Hallo Peter,
Fuer Programme so wie der CXG 3000, da gibt es glaube ich keine Schanze ausser man Bewertet vielleicht 1 Stunde und findet einen anderen Weg oder Bewertungkalkulation und auch dann wird es schwer sein.

Bei den restlichen die ich bis jetzt bewertet habe da sehe ich Hoffnung um es ausgleichen zu koennen.

Mir macht es Spass zu fummeln und Stellungen zu finden die einigermassen nah zu den ELO's kommen aber sonst sehe ich es auch so das Stellungen eher interessant sind innerhalb Hersteller oder Programmierer vergleiche zu machen. Wie man es auch so sehr schoen sieht bei den Mach II und Excel und Turbostar.

Viele Gruesse,

Nick