Ich habe mal versucht, die Ergebnisse des Turniers rein mathematisch nach den Regeln der Elo-Erwartungswerte zu analysieren. Und die Ergebnisse sind durchaus interessant und zeigen, dass die meisten Geräte nicht so viel andes spielten, als zu erwarten war, einige wenige allerdings auch abartig anders.
Auch wenn das nach mathematischen Regeln abläuft, so stecken doch ziemlich heftige Annahmen drin, die die Aussagekraft einschränken, und die ich deshalb vorneweg erwähnen möchte:
a) Wir wissen, dass bestimmte Geräte sich chronisch gegen andere schwer tun. Zum Beispiel kann es sein, dass A häufiger gegen B gewinnt, als es die Elo-Differenz erwarten lässt, B häufiger gegen C, C dagegen schlägt recht häufig A, oder so ähnlich. Die Elo-Erwartungswerte gehen dagegen stur von ihrer durchschnittlichen Wahrscheinlichkeit aus. Hier gibt es also eine Differenz zwischen dem mathematischen Modell und der Realität.
Leider gibt es keine Möglichkeit, diesen Fehler bei einer allgemeinen Elo-Zahl zu korrigieren (man kann nur einen Wert für Begegnungen ausschließlich unter zwei Kontrahenten ermitteln). Die Elo-Berechnungen gehen also vom durchschnittlichen Erwartungswert aus. Das sollte wenig ausmachen, wenn das betreffende Gerät gleichmäßig häufig (genau zwei Partien im Turnier) gegen jeweils andere Gegner spielt. Dann mischt sich dieser Effekt. Wenn unter diesen Gegnern aber viele verwandte Programme sind (z.B. relativ viele Langs), dann könnte sich ein bestimmtes Gerät doch etwas schwerer oder leichter tun, als die nackte Elo-Zahl erwarten lässt. Aber wie gesagt, wir können diesen Effekt nicht eliminieren.
b) Die Zuverlässigkeit der Erwartungswerte sinkt mit zunehmender Elo-Differenz zwischen zwei Kontrahenten. So wäre es z.B. aussaggekräftiger, Gegner antreten zu lassen, die vielleicht nur eine Spannweite von 200 Elo umfassen. Wenn innerhalb einer so eng gefassten Gruppe ein Gerät in einem großen Turnier deutlich mehr oder weniger Punkte macht als erwartet, so ist das aussagekräftiger, als wenn das gegen erheblich schwächere oder stärkere Gegner geschieht.
Für die nachfolgende Statistik habe ich Spiel für Spiel verglichen, wie der Erwartungswert für das Ergebnis gemäß der Start-Elo war und wieviele Punkte das Gerät tatsächlich machte. Wir wissen, dass die Ergebnisse zufällig streuen, aber mit zunehmender Anzahl an Spielen gleichen sich diese Effekte immer mehr aus.
Beispiel:
Gerät A gegen B lässt laut Elo-Tabelle einen durchschnittlichen Erwartungswert von 0,65 Punkten erwarten. Das heißt, wenn die beiden 100 Partien spielen, sollten ca. 65 Punkte für A drin sein.
Nehmen wir an, A hat im Turnier 60 Punkte gemacht. Dann hat A seinen Erwartungswert um 5 Punkte unterschritten, also deutlich unter seinen Erwartungen gespielt.
Hier habe ich so gerechnet:z.B. gewann C ein Spiel gegen B. Sein Erwartungswert war 0,55 Punkte, also hat C 0,45 Punkte mehr gemacht als zu erwarten war. Das ist bezogen auf ein einziges Spiel natürlich sehr theoretisch, aber über die Menge an Spielen addiert sich das auf vernünftige Werte. Dann könnte es z.B. sein, dass C über das gesamte Turnier hinweg 2,5 Punkte mehr gemacht hat als zu erwarten war, und diese Werte findet man in der Grafik.
Hier nun die Auswertung in grafischer Form, um nicht mit Tabellen zu langweilen.
Was auffällt:
Die Riege der ersten Plätze liegt über ihren Erwartungswerten. Das ist nun nicht weiter verwunderlich, denn einige Geräte werden in einem Turnier zufällig besser sein als erwartet, und wenn dies ein paarmal passiert und man ohnehin stark ist, dann liegt man schon in der Spitzengruppe. Gewinnergruppen in Turnieren werden daher fast immer über ihren Erwartungswerten liegen. Allerdings ist zu fragen, wie weit der Zufall reichen kann, und sicher sind da auch bisher unterschätzte Geräte dabei, vor allem der Turniergewinner.
Die Geräte auf den Mittelplätzen pendeln um ihre Erwartungswerte. Auch das ist zu erwarten, und diese Werte sind mit einiger Wahrscheinlichkeit zufällig.
Dann kommt eine Gruppe, die weit unter ihren Erwartungswerten liegt, angeführt vom SEB. Hier liegt der Verdacht nahe, dass diese Geräte bisher ihre hohen Elowerte bei schwachen Gegnern holten. Micha hat auf diesen Effekt schon öfter hingewiesen. Zu sehen wäre auch mal, an wen diese Gruppe ihre Punkte abgegeben hat, denn die Punkte müssen ja anderswo zu Abweichungen über den Erwartungswert geführt haben. Schließlich ist das ganze ja ein Nullsummenspiel.
Am Ende sieht es eigentlich auch weitgehend so ähnlich aus, wie zu erwarten war. Nur der Rebell fällt stark unter seinen Erwartungswert. Das könnte darauf hindeuten, dass er mit diesem starken Feld einfach überfordert war und künftig eher bei Turnieren der Mittelklasse antreten sollte, wo er dann eher den Erwartungen entspricht.
Insgesamt würde ich vermuten, dass Abweichungen bis zu etwa 5 Punkten vom Erwartungswert völlig in Ordnung gehen und noch im Rahmen der Zufallsstreuung liegen dürften. Was darüber hinausgeht, könnte eine genauere Untersuchung wert sein.
Interessant wäre natürlich auch eine Auswertung in der Art, dass man nur die Gegner wertet, die nicht zu weit vom eigenen Elo-Wert entfernt liegen. Vielleicht würden dann einige Ausreißer zurechtgerückt, die unter dem Effekt sehr andersartiger Gegner leiden. Zum Beispiel könnte man den Rebell nur gegenüber der unteren Tabellenhälfte analysieren.