Schachcomputer.info Community
  #1  
Alt 05.05.2021, 18:05
StPohl StPohl ist offline
TASC R30
 
Registriert seit: 30.03.2018
Land:
Beiträge: 422
Abgegebene Danke: 71
Erhielt 545 Danke für 245 Beiträge
Aktivitäten Langlebigkeit
2/20 6/20
Heute Beiträge
0/3 ssssss422
SLS Schachcomputer Benchmark

Der SLS Schachcomputer Benchmark
(Schröder, Lang, Spracklen)

Die meiner Meinung nach unzulässigen Vergleiche der MIPS (Mega Instructions Per Second) zwischen völlig unterschiedlichen CPU-Familien haben mich veranlaßt, nach einer besseren Lösung zu suchen, um die Leistung einzelner Brettcomputer miteinander vergleichen zu können. Dies ist in Zeiten der Brettcomputer Emulationen mit einstellbarer Geschwindigkeit durchaus von Interesse, um halbwegs faire Wettbewerbe zwischen Brettcomputeremulationen zu ermöglichen.

Leider zeigen längst nicht alle Brettcomputer die nps (Nodes per second) an, es ist also erforderlich einiges über Um- und Hochrechnungen zu approximieren. Letzte Genaugkeit wird es daher nie geben können, das ist aber auch nicht notwendig. Es geht nur darum, halbwegs faire Wettbewerbe zwischen Brettcomputer-Emulationen zu ermöglichen und zu zeigen, daß Vergleiche von MIPS von CPUs unterschiedlicher Konstruktionsweise völlig daneben sind.
Beides läßt sich glücklicherweise erreichen.

Zunächst setze ich für den SLS-Benchmark voraus, daß die Spracklen-, Lang- und Schröder-Programme bei gleicher Hardwareleistung (in etwa) gleiche nps Werte erreichen. Und die deKoning Programme etwa 1/3 dieser nps Werte. Wie komme ich zu dieser Annahme?
Dank der Millenium ARM Cortex 300 Mhz Geräte, die für Genius und King die identische Hardwareleistung bieten, wissen wir, daß Genius etwa 3x mehr nps als King erreicht. Dank eines Vergleiches auf meinem PC der Schröder Engine Rebel 13 und der King PC-Engine weiß ich, daß auch die Schröder-Programme etwa 3x mehr nps als die King-Engine auf identischer Hardware erreichen. Sowohl Lang- als auch Schröder-Programme sind somit schnell rechnende „Nodecruncher“ und es ist m.E. zulässig, anzunehmen, daß die Spracklen-Programme (die ja noch nie durch übermäßig wissensbasiertes Spiel auffielen) ebenfalls sehr schnell sind. Da alle 3 Programmfamilien über Jahre auf die Brettcomputer Hardware optimiert wurden, ist es zulässig hier etwa gleiche nps Werte anzunehmen, wenn die Hardwareleistung gleich ist. Weswegen ich den Benchmark auch SLS-BENCHMARK genannt habe, da er die nps Leistungen dieser 3 Programmfamilien abbilden soll.

Was noch bekannt ist, sind die MIPS der Brettcomputer CPUs. Benutzt man diese Werte nur innerhalb einzelner CPU-FAMILIEN, kann man diese durchaus zur Errechnung von nps Zahlen nutzen. Man darf aber eben keine Quervergleiche der MIPS zwischen verschiedenen CPU-FAMILIEN durchführen! Das ist ein wesentlicher Punkt!!!

Diese MIPS stammen von Wiki, umgerechnet auf die MHz -Werte gängiger Schachcomputer CPUs:
ARM6 30 MHz: 25.5 (Tasc R30)
ARM2 14 MHz: 7 (Montreux, Risc 2500, Schröder Risc Modulsets)
****************************************
68030 33 MHz: 11.9 (Genius 68030)
68020 20 MHz: 6.1 (Mach 4)
68020 12 MHz: 3.6 (32bit Mephisto Modulsets)
68000 16 MHz: 2.8 (Mach 3, Diablo)
68000 12 MHz: 2.1 (16bit Mephisto Modulsets)
****************************************
6502 5 MHz: 2.15 MIPS (Milano, Polgar etc.)

Einige SLS-BENCHMARK Werte sind nun glücklicherweise ebenfalls bekannt, nämlich diese nps:
6502 5Mhz: 500 (Milano)
68000 16 MHz: 2500 (Mach 3)
ARM2 14 Mhz: 3000 (Schröder Risc Modulset)
Nun rechnen wir andere SLS-Benchmark Werte anhand der MIPS (nur innerhalb der gleichen CPU-Familien!) aus:

ARM6 30 MHz hat 25.5 MIPS, ARM2 14 MHz hat 7 MIPS. Daraus folgt: ARM6 30 MHz ist 3.6x schneller, also ist der SLS-Benchmark für den TASC R30 Prozssor 3000 * 3.6 = 10800. Das paßt schon mal sehr gut: Wir nehmen ja an, daß die King-Engine nur 1/3 soviele nps erreicht wie die SLS-Engines. Also hier 10800 / 3 = 3600 (der Tasc R30 erreicht laut Wiki ca. 3300 nps, also eine ordentliche Übereinstimmung (näherungsweise)).

Nun nehmen wir den SLS-Benchmark des Mach 3 (2500, s.o.) und nutzen die MIPS-Werte innerhalb der 680XX CPU-Familie, um die SLS-Benchmark Werte der diversen 680XX Hardwarekonfigurationen auszurechnen und erhalten diese Zahlen:
Genius 68030 33 MHz: ca. 10600
68020 20 MHz: ca. 5500 (Mach 4)
68020 12 MHz: ca. 3200 (32bit Mephisto Modulsets)
68000 12 MHz: ca. 1900 (16bit Mephisto Modulsets)

Auch hier sieht die Rechnung plausibel aus, denn soweit bekannt, erreicht der Genius 68030 33MHz ca. 10000 nps. Zudem entspricht dieser SLS-Wert etwa dem, was auch der ARM6 30 MHz erreicht (s.o.), was man bei praktisch identischer Taktung der CPUs ja auch erwarten kann. Wohingegen die MIPS dieser beiden CPUs den ARM6 angeblich mehr als doppelt so schnell wie die 68030 CPU machen (sollen) – im Bereich Computerschach offensichtlich absurd. Ebenso offensichtlich absurd wie die Tatsache, daß der 6502 5MHz einen leicht höheren MIPS Wert als der 68000 12 MHz hat – glaubt irgendjemand, daß der primitive 8bitter 6502 mehr Schachperformance bringt als der 68000er mit fast 2.5x höherem Takt??? Wie schon gesagt: MIPS-Werte über verschiedene CPU-Familien querzurechnen ist kompletter Unsinn!

Damit ergeben sich zusammengfaßt nun diese SLS-BENCHMARKs für die diversen Brettcomputer(-Emulationen):

ARM6 30 MHz: 10800 (Tasc R30)
68030 33 MHz: 10600 (Genius 68030)
68020 20 MHz: 5500 (Mach 4)
68020 12 MHz: 3200 (32bit Mephisto Modulsets)
ARM2 14 MHz: 3000 (Schröder Risc Modulset, sowie RISC 2500 und Montreux)
68000 16 MHz: 2500 (Mach 3 und diverse andere Geräte)
68000 12 MHz: 1900 (16bit Mephisto Modulsets)
6502 5MHz: 500 (Milano, Polgar und diverse andere Geräte)


Anwendungsbeispiel: Man will einen hardwaremäßig fairen Wettkampf zwischen dem Montreux und dem Genius 68030 33MHz duchführen: Ergo teilt man 10600 durch 3000 und erhält ca. 3.5. Somit muß der Montreux in der Emulation 3.5x schneller als normal laufen (oder das 3.5fache der Bedenkzeit bekommen), wie der Genius 68030. Daß der Montreux die King-Engine nutzt, die nur 1/3 der nps Zahlen erreicht, wie die SLS-Engines, spielt hier natürlich keine Rolle. Der SLS-Benchmark soll die Hardwarekonfigurationen vergleichbar und angleichbar machen. Was die Engine dann auf dieser Hardware mit der Rechenpower macht, ist ihre Sache und daher für die Berechnung ohne Belang.

Man kann auch das schneckenlangsame Mephisto 3/Glasgow Gerät hier heranziehen. Dieses hat einen 68000 12 MHz, also einen SLS-Benchmarkwert von 1900. Daß es bei fairer Hardwarekonfiguration laut SLS-Benchmark gegen andere Brettgeräte untergeht, liegt daran, daß das dieses Programm einfach taktisch so extrem schlecht ist und nicht an der benutzten Hardware.

Andere 6502 Geräte mit geringerer oder auch höherer Taktfrequenz lassen sich mit dem 6502 5MHz SLS-Benchmark Wert von 500 leicht ausrechnen: Ein 6502 3 MHz Gerät hätte dann z.B. einen Wert von 300. Etc.

Geändert von StPohl (05.05.2021 um 18:13 Uhr)
Mit Zitat antworten
Folgender Benutzer sagt Danke zu StPohl für den nützlichen Beitrag:
Mapi (05.05.2021)
  #2  
Alt 05.05.2021, 19:12
Benutzerbild von Mapi
Mapi Mapi ist offline
Schachcomputer Koryphäe
 
Registriert seit: 25.04.2006
Ort: Bocholt
Alter: 59
Land:
Beiträge: 1.237
Abgegebene Danke: 6.213
Erhielt 2.043 Danke für 707 Beiträge
Aktivitäten Langlebigkeit
6/20 18/20
Heute Beiträge
1/3 sssss1237
AW: SLS Schachcomputer Benchmark

Hallo Stefan,
Dass die Mips Angaben der Prozessoren nicht für die tatsächliche Geschwindigkeit für Schachprogramme taugen, sehe ich genauso wie Du.
Daher hatte ich vor etlichen Jahren den Ansatz mit dem a4 Test und den Dhrystones (Integerberechnung) für verschiedene Prozessoren mit gleichen oder ähnlichen Programmen versucht, auf dessen Idee ich durch einen Artikel in der CSS vor Jahren (Jahrzenten) gekommen bin.
Grundvoraussetzung dafür ist, dass die Schachprogramme möglichst gleiche oder nahezu gleiche Bewertungen und Suchtiefen auf verschiedenen Prozessoren angeben.
Daher hatte ich damals z.B den King 2.5 vom R30 und den King vom Chessmaster (6000 glaube ich) und den Genius 2 und den Genius 68033 33 MhZ als ersten Vergleich genommen, da diese jeweils fast identische Hauptvarianten und Suchtiefen auf 2 verschiedenen System anzeigten. Also konnte man hier wirklich vergleichen, wie hoch die Leistung der Prozessoren waren.
Ich konnte so den 68033 33 Mhz und den ARM mit 30 Mhz im Verhältnis zu einem Pentium 90 vergleichen. Und dabei kam heraus, dass der ARM mit 30 Mhz tatsächlich ca. 3-3,5 mal mehr Leistung als der 68030 mit 33 Mhz bringt.

Da die Dhrystones sehr gut die schachliche Leistung eines Prozessors wiedergeben, kann man so verschiedene System relativ gut miteinander vergleichen, natürlich nur, wenn es für das zu testende System eine identische bzw. sehr sehr ähnliche Schachsoftware gibt.

Für den Millenium Chess Genius gibt es keine Alternative auf einem anderen System als dem ARM Prozessor da, die 68000er Lang Programme so gut wie nichts mit dem Genius für ARM (auch Handys mit ARM Programme) gemeinsam haben.
Damals zu Zeiten von PDA´s gab es mal einen Genius für den ARM PDA und für die 68000er PDAs. Das Program auf den Xscale PDA´s war ein völlig anderes Programm und hatte nicht im Ansatz die Bewertungsfunktionen des Genius für die 68000er PDA´s.

Man kann also den Millenium Chess Genius nicht zum Vergleich mit dem 68000er Versionen der Lang Programme herannehmen um die Geschwindigkeit der Prozessoren zu vergleichen.


viele Grüße
Markus

NACHTRAG
Ich habe mich mit dem Faktor vertan
Es ist 2 - 2, 5 fache Geschwindigkeit bei gleicher Taktfrequenz, sorry

Geändert von Mapi (05.05.2021 um 22:40 Uhr)
Mit Zitat antworten
Folgende 2 Benutzer sagen Danke zu Mapi für den nützlichen Beitrag:
Hartmut (05.05.2021), Wolfgang2 (05.05.2021)
Antwort

Themen-Optionen
Ansicht

Forumregeln
Du bist nicht berechtigt, neue Themen zu erstellen.
Du bist nicht berechtigt, auf Beiträge zu antworten.
Du bist nicht berechtigt, Anhänge hochzuladen.
Du bist nicht berechtigt, deine Beiträge zu bearbeiten.

BB code ist An
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist An.

Gehe zu

Ähnliche Themen
Thema Erstellt von Forum Antworten Letzter Beitrag
Frage: Benchmark für Pocket PC's Egbert Die ganze Welt der Schachcomputer / World of chess computers 9 13.10.2013 18:00
Info: Kurts Schachcomputer + Schachcomputer.info Chessguru News & Infos - Forum + Wiki 24 07.07.2009 21:46


Alle Zeitangaben in WEZ +1. Es ist jetzt 09:42 Uhr.



Powered by vBulletin (Deutsch)
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
©Schachcomputer.info