|
Gedanken ueber Schachcomputer Performance
Was Frank schreibt in sein ELO Bericht ist interessant und mich dann reizte diesen Bericht zu Schreiben.
Hier will mal kurz Zeigen wie die alten computers alle in bestimmte spiele ihre schwaechen und staerken haben. Diese resultaten die ich hier zeige sind nicht werte aus bestimmte Stellungen sondern das benehmen von den Schachcomputers innerhalb gesamt spiele. Ich finde sehr lustig wenn ich mir es anschaue. Code:
Name Level G1 G2 G3 G4 G5 RATINGUnd das ist das Lustige fuer mich dabei ueber den gesamten Spiel 4 ablauf da findet sogar ein Systema Gemini Plus oder Saitek Sensor Chess bessere zuege waehrend den gesamten spiel ablauf als der Elite Premiere. Ein paar Morsch sind oben auch dabei, diese zeigen das sie Ihre groessere schwaechen haben in den ablauf von Testspiel 5. Diese beispiele sagen nicht das ein Vancouver gegen den Systema Gemini verlieren wuerde. Was sie aber zeigen ist das alle Programme Ihre staerken und schwaechen haben mit Ihre zug wahl in bestimmte situationen. Ein schwacher computer stolpert sogar solche in situationen auf ein besseren Zug als ein starker computer. Der Mensch der wird sobald er erkennt in bestimmte Spiel situationen das der Vancouver 1500 ELO leistung bringt dann dieses auch naturlich jedes mal voll ausnuetzen. Er uebersieht dann auch das der Vancouver in andere spiel situationen sogar auch ueber 2500 ELO spielen koennte. Bei Fruit '05 zb sieht man auch das er in Spiel 4 mi sein 1800 ELO Wert auch fuer normale gute spieler schlagbar ist sobald man seine schwaechen erkennt. Die besten computers fuer gegen Menschen spiele oft sind nicht die staerksten auf einer Liste sondern die programme die im gross und ganzen am ausgeglichenen spielen ueber mehrere spiel situationen und sich nicht so gross hoch und herunter schwanken lassen. Viele Gruesse Nick |
Re: Gedanken ueber Schachcomputer Performance
Ach ja ich hatte vergessen zu sagen. Test Spiel 4 ist ein Anti-Computer schachschpiel aus dem Jahr 1793! Als Schwarz erziehlte Philidor 2339, gute 500 Punkte mehr als Fruit'05 und das ohne computers oder schachbuecher. Zu den Zeitpunkt gab es keine Buecher ausser das Buch von Greco von 150 Jahre frueher. Bis Philidor selber buecher schrieb und zum gleichen Zeitpunkt Musik schrieb. Sein Gegner Thomas Bowdler erzielte 2164 ELO. 350 ELO mehr als Fruit'05.
Ich denke mal das die Leute die meinen Anti-Computer Schach erfunden zu haben treumen und sollten mal Philidor anschauen der so naturlich spielte. Also Philidor = Erfinder von Anti-Computer Schach 200 Jahre vor es schachcomputer gab! :) Mit sein Spielstiel ich denke mal das der Philidor nach ein paar uebungen saemtliche computers in der Liste die ich zeigte schlagen wuerde ohne grosse muehe und das ohne Buch oder Computer assistance :) Viele gruesse Nick |
AW: Gedanken ueber Schachcomputer Performance
Nick,
ich mache keinen Hehl daraus, dass mich die Ansatzpunkte von Dir begeistern. Das ist genau das was ich mir wünsche. Wollte mich auch intensiver mit Deinen Ansatzpunkten auseinandersetzen und dachte kürzlich erst wieder, aufgrund einer Diskussion im Hiarcs Forum, an Deine Worte. Hatte Polgar 10Mhz - Yeno 532 XL laufen (weiß jetzt nicht genau aber zwischen 250 - 300 Elo Unterschied). Polgar spielte die Eröffnung zwar passiv aber gut und kam in Vorteil. Das Programm von Ulf typisch mit schlechten Bauernketten bei vielen Figuren auf dem Brett. Dann begann das späte Mittelspiel. So langsam kämpfte sich der Yeno von -2.5 zurück auf -1.0 und dann der Aussetzer vom Polgar und Ulf Rathsmann gewann aufgrund von zwei schlechten Zügen des Polgars die hintereinanderkamen. Geht mit 1:0 für den Yeno in die Elo Berechnung ein. Der typische Käse! Tatsächlich war das Bild doch ein ganz anderes: Der Polgar spielte zusammengenommen die bessere Partie. Der Yeno spielte taktisch gut aber positionell katastrophal. Zusammengenommen, Fehler auf beiden Seiten aber auch gute positionelle Züge vom Polgar und taktisches vom Yeno. Ich bewertete die Partie mit 45%:55% für den Polgar, obwohl der Yeno gewonnen hatte (ein Bewertungssystem welches ich teste ... nichts besonderes, nicht reif um mehr dazu zu schreiben). Zurück zu Deinem Posting! Die Frage ist wie wir Dein Konzept so umsetzen, dass sich vergleichbar zu einer Ratingliste nachvollziehbare Informationen bilden. Wie viele Partien sind notwendig? Die Partien sorgfältig auszuwählen ist, die für Ratingzwecke dann eingesetzt werden ist wahrscheinlich eine andere Frage. Fest steht, das der Ansatz von Dir ein wirklicher richtig guter Ansatz ist. Grob gesagt: Je niedriger die Elo desto mehr Fehler in einer Partie (kein Geheimnis). Fehler können Partieentscheidend sein (kein Geheimnis), müssen es aber nicht (auch kein Geheimnis). Bei Schachcomputer Partien oft zu sehen, dass weder Schachcomputer 1 oder Schachcomputer 2 den entscheidenden Zug spielen. Lasse z. B. immer gerne Wasp mitlaufen, wenn 2 Schachcomputer gegeneinander spielen. Innerhalb einer einzigen Partie passiert das gar mehrfach das keiner der beiden Schachcomputer den richtigen Weg sieht, der gar einen 1.500 Elo Spieler sofort ins Auge springt. Muss ehrlicher Weise schreiben, dass meine persönlichen Ansätze in eine ganz andere Richtung gehen (Ansätze, die ich gar seit vielen Jahren verfolge), diese aber nach näherer Betrachtungsweise im Vergleich zu Deinen ... Murks will ich nicht schreiben ... über Board werfen will ich die ja auch nicht ... Wie soll ich schreiben? Deine begeistern mich halt, sind also besser. Jetzt ist es raus! Ich wollte mich schon zur Jahreswende damit beschäftigen aber ich bin derzeit ein wenig lahmgelegt (persönliche Gründe). Aber die Frage die ich mir stelle: Wie viele dieser Partien brauchen wir, damit die Ratings genau werden. Wie können wir dann abgrenzen zwischen "Mittelspiel / Übergang Endspiel und Endspiel? Das muss da irgendwie berücksichtig werden. Also, ganz großes Kino! Weil das was hier beschrieben wird ist die Realität und nicht die dumme Elo für sich allein gestellt. Nur wie bekommen wir das noch besser verpackt? Werde mich damit beschäftigen, zurzeit bin ich noch nicht so weit, um irgendetwas brauchbares beizusteuern, weil meine Überlegungen in eine andere Richtung gehen und dafür jetzt hinderlich sind. Umdenken ist angesagt (bei mir). Viele Grüße Frank |
AW: Gedanken ueber Schachcomputer Performance
Im Detail:
Derzeit meine Denke: Nehmen wir an wir haben 20 Partien als Basis! Die werten wir genau so aus, wie von Dir beschrieben. Die Partien müssen natürlich gut ausgewählt sein! Gehe davon aus, dass Du Dir hier schon Gedanken gemacht hast bzw. gut ausgewählt hast. Könnten wir ja weiter mit Elo arbeiten aber zusätzlich die gefundenen Fehler in ein Diagramm einarbeiten. Fehler bei verbliebenen Figuren auf dem Brett: - bei 30-28 = 0, 27-25 Figuren auf dem Brett = 2, 24-21 = 7, ... bis zu 2. Dann könnten wir anhand einer Grafik neben Elo darstellen, in welchen Partiephasen die meisten Fehler produziert wurden. Wir könnten sofort sehen, welche Programme in welcher Partiephase eine Stärke oder Schwäche haben. Könnten Kurven von gleichen Programmen aufeinanderlegen. Und das wäre erst der Anfang dessen was möglich wäre. Hoffe Du kannst das so ein wenig nachvollziehen wie ich mir die Darstellung vorstelle. 1. Berlin 68000 ... 2.000 Elo ... und dahinter die statistische Darstellung. 2. Roma 68000 ... 1.875 Elo ... und dahinter die statistische Darstellung. Jetzt ziehen wir uns alles von Richard Lang zusammen und legen die Kurven aufeinander. Irgendwie so ... Das wäre alles sehr einfach umsetzbar. Na ja, zunächst mal verhältnismäßig einfach! Ich schrieb Dir glaube ich auch im Hiarcs Forum, dass sich hierfür auch ein Excel Experte brennend interessieren würde. Die Frage ist nur, wie viele von diesem Partien benötigen wir um ein wirklich gutes und genaues Ergebnis zu produzieren? Sicherlich ist viel weniger Material erforderlich als wir bei einer Ratingliste erzeugen müssten?! Gruß Frank |
AW: Gedanken ueber Schachcomputer Performance
Was sind das den für Stellungen bei G1- G5 , bzw. Spielsituationen?
Ich nehme an, G1 ist Eröffnung, G5 ist Endspiel, aber gerade G4, wo die Lang Programme relativ schlecht sind, was ist das? |
AW: Gedanken ueber Schachcomputer Performance
Hallo Udo,
g für game! Game 1, Game 2 ... G1, G2 Gesamtergebnis für die dargestellten Partien zusammengezogen. Also, nicht das eher weniger aussagende Endergebnis einer Partie werten, sondern die komplette Partie checken und Zugbewertungen durchführen. Master-Partien herausfinden, die sich für solche Bewertungen eignen. Gab zu Schachcomputer Zeiten mal Bücher wo GM Züge bewertet wurden. Dann konnte Punkte erzielt werden. Eine vergleichbare Vorgehensweise. Jeder Zug kann grundsätzlich bewertet werden. Finde das macht bei Schachcomputern auch mehr Sinn als ein Endergebnis zu bewerten. Und so spielte Fruit z. B. eine Partie die nach 1.800 Elo aussah, hatte einen voller Aussetzer drin. Gemini in Partie 1 überraschte. Sammeln von Fehlern ist das Thema hier! Wenn wir Fehler sammeln und Anzahl der Figuren auf dem Brett den Fehlern zuordnen können entstehen sehr schöne Stats. Gibt viele Ansatzpunkte: Nur bei diesem Ansatzpunkt werden Besonderheiten der Programme schneller ersichtlich. Einzig und allein übrig bleibt nur ein Kritikpunkt: Wurde jetzt ein guter Zug zufällig gespielt oder nicht. Aber wie das mit Statistiken ist ... weniges was fragwürdig ist verschwindet in der Masse der statistischen Auswertung. Dieser Ansatzpunkt ist einfach. Zugbewertungen zwecks Spielstärkemessung sind nicht neu. Aber hier wird es kontinuierlich abgetestet und wir sehen wie stark dann die Endergebnisse sind wenn diese zusammengefügt werden. Und aus diesen Endergebnissen läßt sich viel basteln. Spielwiese für Statistiker!! Viele Grüße Frank Der Umkehrschluss ist: Schachcomputer A - Schachcomputer B Fertige Partie mittels Master Engine, Enscheidungsengine würden wir bei 3-Hirn sagen analysieren lassen. Oder taktische Analyse bei ChessBase ... ChessBase gibt einen Prozentwert für das taktische Ergebnis aus. Milano (Taktik 45%) - TurboKing B (Taktik 32%), 0:1 ... aha, da ist etwas faul gewesen. Etc.. Sind derzeit einige spannende Statistik Ideen die entwickelt werden. Die hier z. B. reizt ... |
AW: Gedanken ueber Schachcomputer Performance
Zitieren:
Und wer hat sich die Riesenmühe gemacht zu entscheiden, welche Züge in welcher Partiephase als schwach (schlecht) zu beurteilen sind? Gruss Kurt |
AW: Gedanken ueber Schachcomputer Performance
Das ist eine sehr gute Frage, Kurt. Spitzen-Engines sind dafür nur bedingt geeignet.
Denn solange es noch eine einzige (!) spätere Rettung gibt, werden mitunter eine Reihe von weniger guten Zügen als neutral bzw. spielbar beurteilt. In Wirklichkeit ist das aber nicht praxisgerecht, weil der Computer unter Umständen (evtl. sogar wahrscheinlich) diese einzige Rettung nicht findet und die Partie verliert. Gruß Wolfgang |
AW: Gedanken ueber Schachcomputer Performance
Zitieren:
Zitieren:
Aus all diesen Gründen bestehen (oder müssen bestehen) berechtigte Zweifel, dass man ohne einen Riesenaufwand zu betreiben, eine praktisch brauchbare und die realen Gegebenheiten berücksichtigende Einteilung der Stärken/Schwächen der Programme für die verschiedenen Partiephasen erstellen kann. Vielfach bildet für den Sieg/Verlust nicht ein einziger Zug die Grundlage, sondern einige Nicht-Best- Züge in jeder Partiephase. Und in jenen Fällen, wo ganze schlimme und direkte Verlustzüge produziert werden, kann die ansonste u.U. gute Behandlung einer Partiephase zunichte gemacht werden. Kurzum, ich glaube nicht an für verschiedene Partiephasen aufgeteilte Elo-Werte. Gruss Kurt |
AW: Gedanken ueber Schachcomputer Performance
Hi Kurt,
bei der FCP Ratingliste ließ ich bis zum Matt spielen. Also, nach jedem Spießroutenlauf die Partien ausgewertet nach: 1. Matt 20-59 2. Matt 60-79 3. Matt 80-99 4. Matt 100-300 (Shredder GUI bricht nach 300 Zügen ab). Die Stats sind im Download der Ratingliste. Nun verglichen, die Stats einer alten zu einer neu aufgenommen Version. Festgestellt, dass plötzlich Andscacs bei Matt 80-99 stark und bei Matt 100-300 deutlich zulegte. Programmierer angeschrieben was er geändert hat. Antwort war klar, hatte natürlich bestätigt was ich vermutet hatte. OK, dachte ich mir ... Alle Stats brachten die gleichen Ergebnisse zu Tage, auch wenn ich Spießroutenläufe habe wiederholen lassen. Dann anders ... Ferdinand kontaktiert, er programmierte Tools für "Figuren auf dem Brett bei Mattstellung". Dann wieder von vorn: Partien in die Datenbank gebracht, Elo-Auswertung aus der Datenbank gemacht und Bingo ... Abweichungen von in 95% der Fälle nicht mehr als +-25 Elo. Prima, dachte ich mir ... Möglichkeit 1 ist nicht schlecht, Möglichkeit 2 ist auch OK aber deutlich zeitaufwendiger. Die Kombination muss her ... kam logischer Weise auch nichts anderes dabei heraus. Kombination aus 1 und 2 wieder mit einer programmiertechnischen Lösung erstellen lassen. Und schon hatte ich das Ergebnis: Spielstärke im frühen Mittelspiel, im späten Mittelspiel etc.. Und was war auffällig: Klar, die Engines wie Spark, Junior ... die Taktiker spielten hatten natürlich sehr gute Ergebnisse bei Matt in wenigen Zügen. Spark dann wieder ... eine Katastrophe im Endspiel ... bei den Endspielstatisiken der TOP-50 ... beständig hinten. Alles stimmte! x-mal wiederholt, gab nie ein Problem. Nur, es geht besser! Viel besser!! Aber alles ist enorm zeitaufwendig. Ich bewertete mit Zügen bis zum Matt oder Figuren auf dem Feld bei Matt. Einzelbewertungen von gespielten Zügen sind besser (Nick Variante). Bei Arena hatte ich die Blunder Suche entwickelt die Martin dann programmiertechnisch umsetze. Ziel war es seinerzeit ... die Fehler in einer Partie aufspühren. Dafür gab es Einstellungen die gewählt werden konnten. Ich machte in Arena Zeite nichts anderes als die Anzahl der Fehler den Zugnummern zuzuteilen. Daraus veruschte ich festzustellen, welche Engine spielt die meisten Fehler in den jeweiligen Partiephasen. Das brauchte ich dringend, weil wir Engines einen Charakter gegeben hatten, also einen Spielstil beschrieben haben. Irgendwo her mussten die Infos kommen. Der Zuspruch war enrom, auch auf der Schachwelt (Zeitschrift GM Hickl). Die Spielstilbeschreibungen waren erfolgreicher als ich dachte. Schachspieler, Leser der Zeitschrift haben sich wirklich Engines runtergeladen und ausprobiert, waren begeistert. Engines wo denen die vorher nie etwas gehört hatten. Hier mal die FCP Ratingliste ... Auszug aus einer Statistik, hier zu Züge bis zum Matt nicht höher als 59! Code:
FCP Rating ListWie ich die wirklich x-fach nach jedem neuen Spießroutenlauf zu allen Partiephasen generierte. Nun schaue mal wo Spark steht ... im Mittelspiel zunächst mal 130 Elo über das tatsächliche Level. Stärke, prima! Stärke gefunden!! Aber ... nur eine Stärke gefunden, nur eine einzige die aber ein Abbild auf die komplette Stärke wiederspiegeln "könnte". Wer viel für sich sieht, sieht auch viel gegen sich. Sprich, wenn ich viele Partien schnell gewinnen, werde ich viele Partien auch nicht schnell verlieren. Und so konnte dann aus den vier Ratinglisten zu den vier Partiephasen sehr vieles abgelesen werden. Das sind Versuche eines Einzelnen die zufriedenstellend aber nicht ausreichend sind. Geht nicht gibt es nicht. Es geht alles, man mus nur wollen!! Aber das müssen mehrere Leute entwickeln. Wenige übersehen, einzelne erst Recht. Und das war nur ein Ansatzpunkt von x guten Ansatzpunkten. Gibt noch viel mehr solcher Ideen aber ich muss immer aufpassen es nicht explodieren zu lassen. Nochmal zu Nick: Züge auswerten ist genial (was kritisch ist kann leicht gefiltert werden). Gruß Frank |
| Alle Zeitangaben in WEZ +2. Es ist jetzt 13:07 Uhr. |
Powered by vBulletin (Deutsch)
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
©Schachcomputer.info