Ein Ex-Post Vergleich der Prognose der FIFA Weltmeisterschaft 2014

Nachdem wir am Anfang der FIFA Weltmeisterschaft 2014 unterschiedliche Prognosen in Hinblick auf ihre Methodiken vorgestellt und diskutiert haben, wollen nun zum Ende der Weltmeisterschaft in Brasilien vergleichen, wie gut die Prognosen den tatsächlichen Turnierbaum vorhergesagt haben. In den hier vorliegenden Prognosen ist die Vorhersage für einen Weltmeistertitel Argentiniens dabei meist relativ ähnlich zu den Chancen für Deutschlands. Daher macht es nur einen geringen Unterschied, ob wir das Finale noch abwarten oder nicht.

Wir haben die Autoren der hier vorgestellten Prognosen kontaktiert, und um einen Turnierbaum mit berechneten Überlebenswahrscheinlichkeiten für jedes Team und jede Runde gebeten (falls diese nicht öffentlich verfügbar waren wie bei Goldman Sachs oder Goalimpact). Damit sind Prognosen wie von Gerhards et al. ausgeschieden, die keine Simulation durchgeführt haben. Bis auf die Commerzbank haben uns freundlicherweise alle Autoren geantwortet und ihre Überlebenswahrscheinlichkeiten zur Verfügung gestellt, womit wir sechs Prognosen vergleichen können. Vielen Dank an dieser Stelle an Achim Zeileis, Gunther Schauberger und Ritchie King!

Die hier diskutierten Prognosen im Vergleich, die Daten findet ihr hier (siehe einzelne Sheets):
 

• Goldman Sachs
• Goalimpact.com
• Zeileis, Leitner und Hornik (2014)
• FiveThirtyEight.com
• Groll und Schauberger (2014)
• sowie meine eigene Tippspielprognose

Hierunter sind drei Prognosen, die sich auf historische Mannschaftsdaten stützen, zwei Vorhersagen, die detailliert Spielerstärken aus nationalen Ligen modellieren und eine Studie, die die Wettquoten für den Sieg bei der diesjährigen WM verwendet hat.

Unter den Prognosen, die historische Mannschaftsdaten verwenden, findet sich erstens die Prognose von Goldman Sachs, die wir bereits vorgestellt haben. Zweitens, eine Vorhersage von zwei Statistikern aus München, Groll und Schauberger (eine ausführlichere Präsentation ist hier zu finden), die uns leider erst im Laufe der Weltmeisterschaft aufgefallen ist und daher im letzten Artikel nicht enthalten ist. Und drittens eine Abwandlung meines eigenen Algorithmus, welches ich für unterschiedliche Tippspiele verwendet habe und das ich als Vergleich für ein einfaches Modell mit historischen Daten vorstellen möchte. 

Die Prognose von Groll und Schauberger verwendet Daten der Weltmeisterschaften von 2002 bis 2010 und eine Reihe von Kontrollvariablen, wie das Bruttosozialprodukt pro Kopf, Bevölkerung, FIFA Weltrangliste, Heim und Kontinentalvorteil, Charakteristika des Trainers und der Mannschaft, z.B. Anzahl der Champions League Spielern, und noch einige mehr, sowie teamspezifische Fehlerterme, um die erzielten Tore vorherzusagen.

Meine eigene Prognose, die ich für Tippspiele verwendet habe, nutzt als Datengrundlage die WM Qualifikationsspiele der letzten 6 Jahre und stützt sich auf die Wettquoten und Elo-Rankings (sowie teamspezifische Fehlerterme), um die erzielten Tore einer jeder Mannschaft zu modellieren. Damit eignet sie sich leider nicht für eine Simulation, da die Wettquoten nur für die tatsächlichen Partien vorliegen. Hier habe ich um einen Vergleich zu ermöglichen eine einfachere Prognose gewählt, die nur die Elo-Rankings und teamspezifische Fehlerterme verwendet. Sowohl die Prognose von Groll und Schauberger wie meine eigene verwenden dabei Poisson-Spezifikationen, da damit sichergestellt werden kann, dass die Prädiktion für die erzielten Tore nicht negativ wird.

Zwei der Prognosen modellieren die Stärke der Spieler, FiveThirtyEight.com und Goalimpact.com, und eine Studie (Zeileis, Leitner und Hornik) verwendet die Wettquoten für den Gewinn der Weltmeisterschaft einer jeder Mannschaft. Diese drei Prognosen haben wir bereits Anfang der Weltmeisterschaft vorgestellt.

Zur Methodik: Hier nehme ich an, dass die Wahrscheinlichkeit des Erreichens des Achtelfinales bzw. der weiteren Runden einer Mannschaft unabhängig davon ist, wer aus der Ursprungsgruppe noch das Achtelfinale erreicht. Damit kann ich dann einfach die Wahrscheinlichkeiten einer jeder Mannschaft die nächste Runde zu erreichen (ihre Überlebenswahrscheinlichkeiten) aufmultiplizieren. Die Berechnungen sind hier einsehbar. Diese Annahme ist natürlich nicht erfüllt, aber eine Verletzung der Annahme wird vermutlich keine größeren Auswirkungen haben und gilt für alle Prognosen gleichermaßen. Auch kann ich hier wenig machen, da ich aus den Überlebenswahrscheinlichkeiten für jede Mannschaft und jede Runde nicht die Wahrscheinlichkeit für jede mögliche Achtelfinalpartie berechnen kann, da das entsprechende Gleichungssysteme unterbestimmt (pro Gruppe gibt es sechs mögliche Kombinationen der Achtelfinalteilnehmer aber nur fünf Gleichungen stehen zur Verfügung, da ich meist keine Informationen darüber habe, welche Mannschaft mit welcher Wahrscheinlichkeit Gruppenerster bzw. -zweiter wird).

Zunächst zu den einzelnen Gruppen, die folgenden Grafik zeigt die Wahrscheinlichkeit für jede Mannschaft jeder Gruppe das Achtelfinale zu erreichen. Blau hervorgehoben ist der Gruppenerste und rot der Gruppenzweite. Auf der x-Achse ist jeweils für jedes Team die Wahrscheinlichkeit aus unterschiedlichen Prognosen dargestellt, das Achtelfinale zu erreichen. Diese Wahrscheinlichkeiten addieren sich jeweils pro Gruppe zu 2, da jede Gruppe zwei Mannschaften ins Achtelfinale schickt. GS steht dabei für Goldman Sachs, GI für Goalimpact, Zeileis für Zeileis et al., FTE für FiveThirtyEight, Groll für Groll & Schauenberger und Elo + RE für meine eigene Prognose.

Einen unwahrscheinlichen Ausgang aus Sicht der Prognose nahm Gruppe D wo sich Costa Rica den Gruppensieg sichern konnte. Bei allen Prognosen aber nur die geringste Wahrscheinlichkeit vorhergesagt bekam, überhaupt das Achtelfinale zu erreichen, Werte zwischen 11% (Groll) und 40% (Goalimpact). Daneben sahen alle Prognosen Spanien als den wahrscheinlichsten Gruppensieger in Gruppen B, aber sowohl Niederlande wie Chile wurden auch nennenswerte Chancen zugestanden. In den Gruppen F, G, H wurde die Gruppenersten Argentinien, Deutschland und Belgien einstimmig vorhergesagt, aber der Gruppenzweite war jeweils etwas überraschend. Die Prognosen sahen eher Bosnien Herzegowina vor Nigeria, Portugal vor den USA, und meist sowohl Russland wie Südkorea vor Algerien voraus. 

Multiplizieren wir alle Überlebenswahrscheinlichkeiten für das Achtelfinale für die Mannschaften die tatsächlich das Achtelfinale erreicht haben, sehen wir ein relativ einheitliches Bild. Meine Prognose, die nur Elo-Werte und team-spezifische Fehlerterme verwendet, schneidet in dieser Runde am besten ab vor der FiveThirtyEight.com Prognose. Allerdings muss ich dazu sagen, dass mein ursprüngliches Modell welches die Wettquoten für alle Gruppenspiel mitmodelliert hat (und für diese Stufe noch angewendet werden kann da die Wettquoten für alle Gruppenspiele vor der WM zur Verfügung standen), hier  am schlechtesten ab (6.12e-06), da dies zu sehr hohen Wahrscheinlichkeiten für die Achtelfinalteilnahmen der Favoritenmannschaften führt. 

Zur Abschätzung wie aussagekräftig die Unterschiede sind, habe ich aus der Goldman Sachs Prognose (siehe dort Seite 7) noch deren Berechnung für die Weltmeisterschaft 2010 mit dem tatsächlichen Turnierbaum aus Südafrika verglichen. Dies erlaubt uns ansatzweise nicht nur Variation zwischen den Prognosen zu vergleichen, sondern auch innerhalb einer Prognose zwei Ziehungen gegen gegenüberzustellen. Hier sehen wir, dass zumindest Goldman Sachs vor vier Jahren eine deutliche bessere Prognose gelungen ist als 2014. Und damit erscheinen die Unterschiede zwischen den Prognosen in ihren Vorhersagen für das Achtelfinale 2014 eher gering.

In allen Achtelfinalspielen konnten sich interessanterweise jeweils die Gruppenersten durchsetzen. Auch war dies meist die Mannschaft, die die Prognosen vor der Weltmeisterschaft mit größerer Wahrscheinlichkeit im Viertelfinale gesehen haben (y-Achse). Eine Ausnahme bildeten hier nur Kolumbien, das aber nahezu gleichauf mit Uruguay stand, und Costa Rica, dem aufgrund seiner schweren Gruppen, etwas niedrigere Chancen eingeräumt wurden, das Viertelfinale zu erreichen als Griechenland. Auf den y-Achsen sehen wir immer die Wahrscheinlichkeit vor der WM, dass die Mannschaft das Viertelfinale erreicht, also nicht bedingt auf die Achtelfinalteilnahme.

Die höchste Wahrscheinlichkeit für die tatsächlichen Viertelfinalpartien finden wir bei FiveThirtyEight.com gefolgt von Goldman Sachs und Zeileis et al. Allerdings erscheinen die Unterschiede im Vergleich mit den Unterschieden zwischen Goldman Sachs 2010 und 2014 ebenfalls eher gering.

Im Viertelfinale konnte sich jeweils die Mannschaft durchsetzen, der die höhere Chance prognostiziert wurde, ins Halbfinale zu gelangen. Der Niederlande wurden auf den ersten Blick erstaunlich geringe Chancen eingeräumt die Runde der letzten vier zu erreichen. Der Grund liegt daran, dass sie die "Todesgruppe" mit Spanien und Chile überstehen mussten und als Gruppenzweiten wahrscheinlich auf den Brasilien getroffen wären. Belgien galt als einer der Geheimfavoriten, zwei der Prognosen, Goalimpact.com und Groll & Schauberger, haben dem Land sogar etwa gleich hohe Chancen zugerechnet, das Halbfinale zu erreichen wie Argentinien. Interessant ist die Spannbreite der Wahrscheinlichkeiten für eine Halbfinalteilnahme von beispielsweise Brasilien (zwischen 31% Goalimpact und 72% Goldman Sachs) oder Argentinien (21% bis 56%).

Betrachten wir das Produkt der Wahrscheinlichkeiten für die Halbfinalteilnehmer Argentinien, Brasilien, Deutschland und Niederlande an, so sehen wir das Goldman Sachs in 2014 diese Konstellation mit einer Wahrscheinlichkeit von immerhin fast 6% vorhergesehen hat. Schlusslicht ist Goalimpact.com, die entsprechend nur eine Wahrscheinlichkeit von 0,3% berechnet haben während alle anderen Prognosen bei knapp über 1% liegen. Ein Vergleich mit der Goldman Sachs Prognose von 2010 für die damaligen Halbfinalisten Deutschland, Niederlande, Spanien und Uruguay zeigt aber erneut, dass die Unterschiede vermutlich im zufälligen Rahmen liegen. Der Grund für den niedrigen Wert von 2010 liegt insbesondere daran, dass Goldman Sachs damals Uruguay nur geringere Chance von unter 9% eingeräumt hat ins Halbfinale vorzustoßen. Auch sah die Investmentbank damals keinen ähnlich hohen Favoriten wie Brasilien 2014. 

Im Halbfinale der diesjährigen setzte sich Argentinien gegen die Niederlande durch und Deutschland gewann überraschend hoch gegen Brasilien. Goldman Sachs, Zeileis et al. und FiveThirtyEight sahen Brasilien eher als Favoriten, teilweise mit aus meiner Sicht sehr hohen Wahrscheinlichkeiten die Weltmeisterschaft im eigenen Land zu holen (siehe die Diskussion der Prognosen). Goalimpact, Groll & Schauenberger und meine eigene Prognose sahen beide Mannschaften etwa gleichauf.

 

Die Finalkonstellation aus Argentinien und Deutschland ist alles andere als unwahrscheinlich aus Sicht der meisten Prognosen. Deren erwartete Wahrscheinlichkeit mit meist 5% bis 7% ist damit durchaus vergleichbar zur Weltmeisterschaft 2010 wo Spanien sich am Ende gegen die Niederlande durchsetzen konnte. Nur Goalimpact sah hier eine niedrigere Wahrscheinlichkeit von 2%.

Multipliziert man alle Wahrscheinlichkeiten zusammen, so schneidet die Goldman Sachs Prognose relativ gut ab, die diesen Turnierbaum für etwa 1.5-mal so wahrscheinlich gehalten hat wie die Prognose von FiveThirtyEight.com. Vielleicht fällt die Kritik des Wall Street Journal "Goldman Sachs blamiert sich mit WM-Prognose" an der Goldman Sachs Studie aus diesem Blickwinkel etwas zu hart aus. Am schlechtesten schneidet die Prognose von Goalimpact ab. Aber der Unterschied ist meiner Ansicht nach nicht besonders groß, wenn man sich das Produkt der Wahrscheinlichkeiten aus dem Jahr 2010 anguckt. Interessant wäre es natürlich das Elo-Modell für die früheren Weltmeisterschaften zu berechnen, um größere Variation in den Prognosegüten zu erhalten.

Wie kommen die Unterschiede zwischen den Prognosen zustande? Ein wichtiger Unterschied betrifft allgemein die Höhe der Wahrscheinlichkeiten, die den Favoriten eingeräumt wird. Hier sahen die Prognosen von Goldman Sachs, FiveThirtyEight und Groll & Schauberger große Chancen für Favoriten. Goldman Sachs und FiveThirtyEight prognostizierten Brasiliens Weltmeistertitel mit 49% bzw. 45%. Groll und Schauberger sahen eine 56% Chance, dass entweder Brasilien oder Deutschland Weltmeister wird. Der Hauptunterschied zwischen den Goldman Sachs und FiveThirtyEight Prognosen macht das Erreichen des Halbfinales durch Niederlande aus, 28% gegenüber 7%. Groll & Schauberger sahen Deutschland knapp als Favoriten für den Titel (29%) und würden entsprechend besser abschneiden, falls Deutschland heute gewinnt.

In der Grafik weiter unten haben wir die Standardabweichung der Überlebenswahrscheinlichkeiten der Mannschaften pro Stufe abgebildet. Die Überlebenswahrscheinlichkeiten in der Prognose von Goalimpact liegen deutlich enger beieinander, Brasilien ist hier mit 13% knapp der Favorit vor Deutschland und Spanien mit 12% bzw. 10%. Gerade in der Ko-Phase haben sich hier aber doch viele Favoriten durchsetzen können, und entsprechend geringer ist der Turnierbaum aus Sicht dieser Prognose. Interessant wären hier Prognosen wie für die Weltmeisterschaft 2002 in Japan und Südkorea, bei der im Halbfinale neben Brasilien und Deutschland auch die Türkei und Südkorea standen. 

Fazit:

Insgesamt erscheinen die Unterschiede zwischen den Prognosen im zufälligen Rahmen. Auch ist bei der Weltmeisterschaft nicht unbedingt erkennbar, dass komplexere Modelle besser abschneiden als einfachere. Zeileis, Leitner und Hornik verwenden mit den Wettquoten für die Weltmeisterschaft jeder Mannschaft nur eine einzelne Zahl. Groll und Schauberger verwenden deutlich mehr Kontrollvariablen als meine Analyse. Interessant wäre hier ein ausführlicherer Vergleich mit Ligadaten am besten aus unterschiedlichen Ländern.

Persönlich hat mir mein Prognosemodell aber geholfen, bei Tippspielen gut abzuschneiden. Vor dem Finale bin ich bei einem Tippspiel auf Platz 8 von 100 angekommen, deutlich besser als vor zwei Jahren. Dies deutet an, dass zumindest gegenüber normalen Interessierten ein Informationsgewinn geholt werden kann.  

Brasilien wird Weltmeister?! Prognosen für die Weltmeisterschaft 2014 in Brasilien

Während in Brasilien die ersten Vorrundenspiele der Weltmeisterschaft 2014 laufen wollen wir einen Blick hinter Prognosen von Fußballspielen und insbesondere der diesjährigen Weltmeisterschaft werfen. Wie gut sind Fußballspiele vorherzusagen, welche Methoden schneiden erfolgreich ab? Eine unvollständige Literaturübersicht ohne eigene Daten. Dafür mit einer subjektiven Bewertung der Stärken und Schwächen der einzelnen Prognosen.

Banken wie Commerzbank oder Goldman Sachs, Zeitungen wie das Handelsblatt in Kooperation mit Beratungen wie Deloitte, und auch Forscher und Statistiker aus Deutschland, Österreich und den USA haben es gewagt, eine Prognose für die aktuelle Fußballweltmeisterschaft zu modellieren. Die meisten Studien sehen dabei Brasilien vor Argentinien, Deutschland und Spanien vorne.

Commerzbank, Deloitte und Goldman Sachs und gehen dabei mit ähnlichen Methoden vor, sie stützen sich vor allem auf das Elo-Ranking welches aus dem Schachspiel für die Bewertung von Fußballmannschaften übertragen wurde. Für die Deloitte und Handelsblattprognose liegen aber kaum Informationen vor, weshalb wir uns im Folgenden auf die Prognose der beiden Banken beschränken werden. Daneben wollen wir im Anschluss drei Prognosen von Statistikern und Wissenschaftlern näher beleuchten.

Zunächst ist es aber wichtig zu wissen, wie das Elo-Bewertungssystem funktioniert, welches für Nationalmannschaften aber auch für Fußballvereine existiert. Elo ist ein Versuch die relativen Fähigkeiten von unterschiedlichen Mannschaften zu erfassen und basiert auf den Ergebnissen von früheren Spielen dieser Mannschaft. Hierbei wird jedoch im Gegensatz zur Bundesliga oder zur WM Gruppenphase keine feste Punktzahl für ein Sieg oder ein Unentschieden gegeben. Der Gewinn oder Verlust an Punkten errechnet sich aus der Differenz von Elo-Werten der beiden Mannschaften im direkten Vergleich. Siege oder Unentschieden gegen stärkere Teams gehen also positiver in die Wertung ein, wohingegen einem schwächeren Team bei der ohnehin erwarteten Niederlage nicht so viele Punkte abgezogen werden. Nach jedem Spiel werden die Elo-Werte der beiden Teams aktualisiert, abhängig davon welches Team besser oder schlechter abschneidet als man anhand der Elo-Werte im Voraus erwarten würde. Ein Elo-Ranking kann sich nur auf Sieg / Unentschieden / Niederlage beziehen, oder auch die Tordifferenz berücksichtigen. Eines der größeren Probleme anhand des Elo-Rankings ist es gute Startwerte für die Qualität von Mannschaften zu finden, insbesondere falls nur wenige relevante Spiele gespielt wurden. Hvattum und Arntzen (2010) beschreiben die Verwendung von Elo-Rankings im Fußball näher und testen die Vorhersagefähigkeit dieses Bewertungssystems im Vergleich mit anderen Methoden. Hierbei schneiden Wettquoten etwas besser ab, ein Ergebnis welches auch Leitner, Zeileis und Hornik (2010) bestätigen. Insgesamt kann man aber meiner Ansicht nach festhalten, dass das Elo-Rating etabliert und als ausreichend solide bezeichnet werden kann.

Zurück zu den Prognosen der beiden Banken. Neben dem Elo-Ranking spielen in beiden Prognosen auch frühere Spiele eine wichtige Rolle und es wird auch jeweils der Heim- bzw. Kontinentalvorteil einer Weltmeisterschaft hinzugezogen. Goldman Sachs berechnet dabei Regressionskoeffizient aus allen Spielen seit 1960 sowie die erzielten Tore und Gegentore der letzten 10 bzw. 5 internationalen Pflichtspiele. Dazu kommen noch historische Weltmeisterschaftsergebnisse, aber nur für die sieben Nationen, Argentinien, Brasilien, Deutschland, England, Frankreich, Italien, Niederlande und Spanien. Die Commerzbank verwendet die erzielten Punkte in den letzten 20 Weltmeisterschaften als zusätzliche erklärende Variable. Der Heim- und Kontinentalvorteil wird bei Goldman Sachs ebenfalls aus historischen Daten (seit 1960) berechnet, während die Commerzbank diese ad hoc festlegt.

Die Goldman Sachs Analyse scheint allgemein etwas ausgearbeiteter, und ist auch detaillierter beschrieben. Sie verwenden eine Monte-Carlo Simulation, die wir auch zur Berechnung der wahrscheinlichen Gegner der dt. Mannschaften im diesjährigen UEFA Champions League  Achtelfinale verwendet haben und modellieren direkt die Tore mit Hilfe einer Poisson-Verteilung, die ihre Probleme besitzt (siehe z.B. Bittner et al., 2007), aber hierfür wohl angemessen erscheint. Bei der Commerzbank Prognose ist nicht im Detail beschrieben, wie sie die Wahrscheinlichkeiten berechnen, aber vermutlich wird dies ähnlich erfolgt sein. 

Was mich persönlich bei der Commerzbank Prognose irritiert ist die Aufnahme einer Variable, die den letztjährigen Weltmeister beschreibt, weil „aus statistischer Sicht sinkt […] die Wahrscheinlichkeit, dass der aktuelle Weltmeister das kommende Turnier gewinnt“. Sehen wir mal von der geringen Stichprobengröße ab, ist das für mich ein typisches Beispiel von „Regression to the Mean“ welches vermutlich auch den Finalverlierer betrifft, und kein Effekt von geringerer Motivation durch den Gewinn der Weltmeisterschaft beschreibt. Also warum wird das nicht für alle Mannschaften modelliert.

Bei der Goldman Sachs Prognose wundert mich wiederum die hohe Wahrscheinlichkeit, die sie für den Gewinn durch Brasilien errechnen (48,5%). Bei 32 Teams, eine fast 50%-Chance zu gewinnen? Das erscheint mir persönlich sehr hoch. Auf Platz 2 bis 4 folgen Argentinien, Deutschland und Spanien mit ähnlichen Prognosewerten in Höhe von 14%, 11% und 10%. Die Commerzbank sieht dagegen für Brasilien mit einer Chance von 1 zu 10 (10,3%) minimal vor Spanien (10,2%), Deutschland (10,0%), Argentinien (8,8%) und Niederlande (8,5%). Eine deutliche Diskrepanz.

Ein Hauptproblem beider Studien liegt für mich in unterschiedlichen Gründen. Erstens in der Gewichtung von früheren und heutigen Spielen. Wie repräsentativ sind Spiele von 1960 (für die Goldman Sachs Prognose) bzw. von 1994 (für Commerzbank) für heutige Partien? Hier sehe ich große Probleme bei der Modellierung über lange Zeiträume. Zweitens, die Berechnung des Heimvorteils ist für mich in beiden Studien hochproblematisch. Der Heimvorteil hat über die Zeit stark abgenommen, in der Bundesliga wie auch in anderen Ligen oder bei internationalen Spielen (siehe die Diskussion der fivethirtyeight.com Prognose weiter unten). Die Stichprobengröße ist natürlich relativ gering, und beide Studien überzeugen mich nicht, wie sie den Heimvorteil modellieren. Die Goldman Sachs Prognose nimmt zeitkonstante Heimvorteile und zeitkonstante mannschaftsspezifische Kontinentalvorteile. Die Prognose von Commerzbank weist auf den Rückgang des Heimvorteils hin, verwendet aber einfach einen „Heimvorteil-Einheitskoeffizienten“, wobei nicht näher eingegangen wird, wie dieser sich berechnet. 

Eine ganz andere Vorgehensweise nimmt die akademische Studie von Achim Zeileis, Christoph Leitner und Kurt Hornik (2014), die zum wiederholten Male (z.B. nach der UEFA Europameisterschaft 2008 und der FIFA Weltmeisterschaft 2010) Wettquoten verwenden. Sie aggregieren die Quoten von 22 Wettanbietern und nutzen diese ebenfalls für eine Monte-Carlo Simulation. In einer früheren Studie haben diese Autoren gezeigt, dass sie damit die Europameisterschaft 2008 besser vorhersagen können als mit einem (einfachen) Elo-Ranking. Die Autoren sehen, wie beide vorherigen Prognosen, ebenfalls Brasilien vorne. Die Wahrscheinlichkeit für einen Weltmeistersieg Brasiliens liegt bei 22,5% und damit zwischen den Gewinnwahrscheinlichkeiten der beiden anderen Studien. Auf Platz 2-4 folgen wie bei der Prognose von Goldman Sachs Argentinien, Deutschland und Spanien mit 16%, 13% und 12%. Die Studie gefällt mir gut, die Wahrscheinlichkeit für einen Sieg Brasiliens ist hoch, immerhin fast ein Viertel, aber vielleicht nicht unrealistisch hoch. Die Autoren weisen auch auf eine hohe positive Korrelation der aus den Quoten abgeleiten Siegwahrscheinlichkeiten im direkten Vergleich mit der FIFA–Rangliste und (noch etwas deutlicher) mit dem Elo-Ranking. 

Der Ansatz der Studie ist interessant und theoretisch gut begründet, denn schließlich haben zwei Ökonomen dieses Jahr den Nobelpreis gewonnen, die sich mit der Effizienz von Märkten auseinander gesetzt haben (und ein Dritter, der die ökonometrische Analyse stark weiterentwickelt hat). Aber ich bin etwas skeptisch, ob in den Wettquoten wirklich alle Informationen eingespeist sind. Meine eigenen Analysen der internationalen Spiele der letzten Jahre zeigt statistisch hochsignifikante Korrelationen der Elo-Werte beider Teams mit den erzielten Toren kontrolliert um die Wettquoten (die ebenfalls hochsignifikant sind). Es gibt auch unter wissenschaftlichen Studien Indizien, dass neben den Wettquoten weitere Informationen ausgenutzt werden können, z.B. Constantinou and Fenton (2012). In Zukunft wäre es schön zu sehen, ob es ein Informationsgewinn gibt, falls weitere Variablen wie das Elo-Ranking verwendet werden würden, und falls ja, wie groß dieser aussehen würde. Der Vergleich mit der Elo-Methode, die die Autoren in Leitner et al. (2010) angewandt haben, ignoriert Unentschieden und modelliert keine Tordifferenzen. Aber etwas gravierender ist vielleicht der folgende Punkt, ich zweifele etwas an der Annahme, dass der Gewinn des Anbieters pro Team konstant ist (damit man aus den Quoten auf die zugrundeliegenden Wahrscheinlichkeiten schließen kann), ein Gegenargument hierfür könnte ein mögliches Ausnutzen des Favorite-longshot bias sein (siehe zum Beispiel Direr, 2013). Hier hätte ich mir eine etwas ausführliche Begründung der Annahme gewünscht, oder zumindest eine Diskussion der Auswirkungen falls die Annahme nicht gilt. Allerdings ist das natürlich einfach gesagt, und schwierig zu modellieren. Alles in allem aber eine interessante Studie, die für mich die Frage aufwirft, ob es sich überhaupt lohnt, sich mit einer komplexen Prognose zu beschäftigen. 

Eine Prognose, die mir von der Beschreibung her gefällt, stammt von Nate Silver im US-Blog www.fivethirtyeight.com, einem amerikanischen Statistiker, der durch Baseball- und US-Wahlkampfprognosen bekannt geworden ist.  In seiner Prognose verwendet er Länderspiele der letzten vier Jahre und verbindet dies mit Spielerdaten der Kader. Für alle Spieler in den größeren Ligen analysieren sie Gewinnquoten mit und ohne Einsatz eines Spielers (zumindest verstehe ich deren Beschreibung in diesem Sinne). Damit guckt er sich auch Freundschaftsspiele an, zumindest falls der Kader in einem solchen Spiel ähnlich ist zu dem in Pflichtspielen. Separat wird auf die Offensive und Defensive modelliert, um bessere Ergebnisprognosen zu erhalten. Ferner geht er detailliert auf dem Heimvorteil ein und hat ausführliche Analysen angewandt in denen er herausfindet, dass Ost-West-Reisen statistisch relevanter sind als Nord-Süd-Reisen. Der Grund liegt hier vermutlich im Jet-Lag durch Zeitverschiebungen. Auch bestätigt er die Abnahme des Heimvorteils über die Zeit und verwendet daher für dessen Berechnung nur Spiele seit 2006. Nichtsdestotrotz findet er, ähnlich zur Goldman Sachs Prognose, eine Chance von 1 zu 2 (45,2%), dass Brasilien Weltmeister wird, gefolgt von der bereits bekannten Rangfolge Argentinien (13%), Deutschland (11%) und Spanien (8%). Auch hier gilt natürlich meine Verwunderung über diese hohe Wahrscheinlichkeit für den sechsten Titel von Brasilien.

Die letzte Studie, die wir vorstellen wollen, stammt von den drei deutschen Sozialwissenschaftlern Jürgen Gerhards, Michael Mutz und Gert G. Wagner, die Marktwertdaten von transfermarkt.de verwenden. Die Autoren machen im Gegensatz zu den anderen Studien keine Simulation und geben daher keine Wahrscheinlichkeit für unterschiedliche Mannschaften an. Sie sehen als einzige Studie nicht Brasilien als wahrscheinlichsten Sieger an, sondern tippen auf Spanien, da diese Mannschaft den höchsten Kaderwert besitzt. Demnach erzielt Spanien im Finale gegen Deutschland ihren zweiten Weltmeistertitel während Brasilien und Argentinien im Halbfinale ausscheiden. Die Autoren weisen darauf hin, dass "Einfachheit [...] ein zentrales Gütekriterium von Wissenschaft" ist. Dem kann ich nur zustimmen, komplexe Modelle lassen deren Probleme oft schlechter einschätzen und mögen vielleicht vergangene Spiele mehr oder weniger perfekt vorhersagen, ihre Prognosefähigkeit für neue Daten kann aber sehr schlecht sein. Trotzdem schätze ich das einfache Modell als ausbaufähig ein. Marktwerte sind nicht das perfekte Kriterium, da natürlich auch Faktoren wie die Werbewirksamkeit hier eine Rolle spielen, so dass es vielleicht sinnvoll wäre weitere Variablen wie Wettquoten oder Elo-Rankings hinzuzufügen, was aber natürlich zu mehr Komplexität führt. Auch könnte man die Marktwerte des Kaders genauer analysieren, um potenzielle Schwächen wie das Fehlen eines erfahrenen Linksverteidigers zu beleuchten (dies war meine Idee für einen Algorithmus den ich aber aus Zeitmangel nicht umsetzen konnte). Zumindest eine grobe Aufteilung in Offensive und Defensive wie bei fivethirtyeight.com könnte vielleicht hilfreich sein.

Zusammenfassend sehen wir unterschiedliche Prognosen, die unterschiedliche Methoden anwenden, und fast alle Brasilien als Sieger sehen vor Argentinien, Deutschland und Spanien (teilweise in anderer Reihenfolge). Als Datengrundlagen verwenden diese Studien Elo-Rankings, Wettquoten, Marktwerte oder Spielerdaten mit Verknüpfung zu Ligaspielen. Eine große Herausforderung stellt dabei die Quantifizierung des Heimvorteils für Brasilien und eines Kontinentalvorteils für die übrigen südamerikanischen Mannschaften dar. Eine verwandte Schwierigkeit liegt im Abwägen welche Spiele man als Datengrundlage hinzuzieht, so dass ausreichend historische Spiele zur Verfügung stehen, Prognosen aber nicht auf längst vergangenen Kadern beruhen. Verwendet man auch Freundschaftsspiele, und wie stellt man sicher, dass ausreichend Spiele zwischen Kandidaten für den Weltmeisterschaftssieg vorhanden sind?

Empirisch sind die Prognosen schwer zu vergleichen und zu bewerten. Leider konnte ich meist keinen Hinweis finden, wo man selbst die verwendeten Daten bzw. die Skripte herunterladen kann. Die Datengrundlagen variieren stark und dies macht den Vergleich der historischen Prognosefähigkeit schwierig. Auch gibt es keine generelle vereinbarte loss function, die uns sagt, wie man z.B. richtige Tendenzen gegenüber komplett falschen Tipps bewertet, und die wir bei jedem Tippspiel definieren (wohl ein generelles Problem in der Literatur). Das macht auch die retrospektive Bewertung in einigen Wochen schwierig.

Für meine Tippspiele habe ich mit einem geringen Zeitbudget Elo-Rankings zusammen mit Wettquoten und mannschaftsspezifischen Effekten ("random effects") verwendet, um die geschossenen Tore zu simulieren. Nach den ersten Spieltagen liege ich damit in den Tippspielen, zu denen ich eingeladen wurde, relativ weit zurück. Die nicht-ganzzahligen Toreprognosen scheinen dabei gut zu funktionen (wenn man mal z.B. von Spanien gegen Niederlande 1:5 absieht), aber es ist mir nur schlecht gelungen von den prognostizierten Toren, zum Beispiel 1,1 vs 0,9 bei Elfenbeinküste gegen Japan (Ausgang 2:1) auf Sieg für eine Mannschaft bzw. Unentschieden zu tippen. Auch könnte ich mir vorstellen, dass eine separate Modellierung für Offensive und Defensive genauere Torprognosen, und damit auch bessere Endprognosen, liefern könnte. Sehr viel besser kann man die Frage der Prognostizierbarkeit von Fußballspielen aber sicher in Ligawettbewerben wie der Bundesliga beantworten.

PS: Ein Beispiel für eine Methode zur Berechnung der Stärke einzelner Spieler beschreibt die Webseite www.goalimpact.com, die die Tordifferenz einer Mannschaft (auf Minutenbasis) in Abhängig von der Aufstellung analysiert. Die genauen Details des Algorithmus sind leider nicht veröffentlicht, aber in der Beschreibung heißt es, dass hier, unter Berücksichtigung von Gegner, Mitspielern und Heimvorteil, die durchschnittliche Tordifferenz einer Mannschaft mit oder ohne Einsatz eines Spielers berechnet, wobei auch Einwechselspieler berücksichtigt werden. Ein interessanter Ansatz, ich bin gespannt zu sehen, ob man mit solchen Ansätzen bessere Prognosen erhalten kann.


Prognosen und Studien im Text:

Commerzbank Economic Research. Economic Insight - Das schöne Spiel: Die Ökonomie der Fußball WM 2014. 4. Juni 2014.

Constantinou, Anthony C., Norman E. Fenton, and Martin Neil. pi-football: A Bayesian network model for forecasting Association Football match outcomes. Knowledge-Based Systems 36 (2012): 322-339.

Direr, Alexis. Are betting markets efficient? Evidence from European football championships. Applied Economics 45.3 (2013): 343-356.

Fivethirtyeight.com. It’s Brazil’s World Cup to Lose.
Gerhards, Jürgen, Michael Mutz, and Gert G. Wagner. Spannung bis zum Abpfiff – Die Prognose des Fußballweltmeisters ist schwieriger als bei der letzten WM. DIW Wochenbericht 24/2014.
Goldman Sachs. The World Cup and Economics 2014.

Hvattum, Lars Magnus, and Halvard Arntzen. Using ELO ratings for match result prediction in association football. International Journal of forecasting 26.3 (2010): 460-470.

Leitner, Christoph, Achim Zeileis, and Kurt Hornik. Forecasting sports tournaments by ratings of (prob) abilities: A comparison for the EURO 2008. International Journal of Forecasting 26.3 (2010): 471-481.

Zeileis, Achim, Christoph Leitner, and Kurt Hornik. Home Victory for Brazil in the 2014 FIFA World Cup. No. 2014-17. 2014.

Toreverteilung Bundesliga 1963-2012

Im letzten Post haben wir uns mit dem Heimvorteil und dessen Entwicklung über die Zeit beschäftigt. Hier wollen wir uns dieser Analyse direkt anschließen, indem wir die Trends einzelner Ergebnisse in der Bundesliga untersuchen.
Die folgende Grafik zeigt die relative Häufigkeit unterschiedlicher Spielausgänge in der Bundesliga von der Spielzeit 1963/1964 bis zur Winterpause 2013/2014 und beruht auf 15.394 Spielen. In den Spalten sieht man dabei die erzielten Tore der Heimmannschaft, in den Spalten die Tore der Auswärtsmannschaft. Unentschieden sind auf der Diagonalen zu finden, während Siege der Heimmannschaft unterhalb der Diagonale zu finden sind, und Siege des Gastteams oberhalb der Diagonalen:

Das häufigste Ergebnis ist mit Abstand ein 1:1, das in 11,6% aller Spiele aufgetreten ist. Insgesamt enden aber nur 25,8% aller Spiele mit einem Unentschieden. Diese Zahl erhält man aus der obigen Grafik, wenn man alle Zahlen auf der Diagonale aufsummiert. Wie im letzten Post festgestellt wurde, enden 51,2% aller Bundesligapartien mit einem Sieg der Heimmannschaft (die Summe unter der Diagonale). Es ist hier deutlich ersichtlich, dass Heimsiege häufiger auftreten als Auswärtssiege. Die zweit-, dritt- und vierthäufigsten Ergebnisse sind Siege der Heimmannschaft mit 2:1, 1:0 und 2:0. Ein Auswärtssieg ist unter den acht häufigsten Ergebnissen gar nicht zu finden, was leichter ersichtlich ist, wenn man obige Tabelle nach Häufigkeit der Ergebnisse sortiert. Allerdings ist hier zu beachten, dass der Heimvorteil über die Zeit zurückgegangen ist und die langjährigen Häufigkeiten nicht unbedingt der Anordnung der letzten Jahre entspricht, aber mehr dazu weiter unten:

In der folgenden Grafik haben wir die durchschnittliche Zahl der Tore der Heim- und Auswärtsmannschaft über alle Bundesligaspielzeiten abgebildet. Hier sieht man deutlich den Rückgang des Heimvorteils. Schossen Heimmannschaft in der Bundesliga bis Anfang der 1980er Jahre im Durchschnitt noch fast 2,1 Tore, so ist dies Ende der 80er Jahre auf 1,7 Tore pro Spiel zurückgegangen. Interessant ist besonders, dass der Rückgang innerhalb von relativ wenigen Spielzeiten in den 80er passiert ist. Die Gründe hierfür sind vermutlich taktische Umstellungen hin zu einem defensiveren Spiel.

Bei den Auswärtsmannschaften sehen wir dagegen keinen deutlichen Trend. Die durchschnittliche Anzahl der Tore geht bis etwa 2002/2003 sehr leicht zurück, seitdem jedoch wieder etwas hinauf. Der letzte Anstieg ist auch statistisch signifikant (auf dem 5%-Niveau).

Insgesamt haben sich hierdurch die durchschnittliche Anzahl der Heim- und der Auswärtstore deutlich angenähert. In der letzten Bundesligaspielzeit 2012/2013 schossen Heimmannschaften im Durchschnitt 1.59 Tore und Auswärtsmannschaften 1.34 Tore. Der Unterschied ist weiterhin ebenfalls statistisch signifikant (auf dem 5%-Niveau, wobei hier die Abhängigkeit beider Variable nicht betrachtet wurde).

Es stellt sich natürlich die Frage, ob die beobachteten Veränderungen durch einzelne bestimmte Ergebnisse geprägt sind, oder ob sie die Trends allgemein über die einzelnen Ergebnisse hinaus entwickelt haben. Im Folgenden zeigen wir die durchschnittlichen Ergebnisse für je zehn der ersten 50 Spielzeiten der Bundesliga auf.

Auf die Entwicklung einzelner Ergebnisse wollen wir nun genauer eingehen, um zu sehen, ob die Entwicklung der Heimtore zum Beispiel durch hohe Siege bestimmt wird. Auch für Unentschieden und Auswärtssiege analysieren wir die Entwicklung einzelner Ergebnisse, denn hier könnten gegenläufige Entwicklungen zu einem stabilen Gesamtbildführen.

Die Entwicklung der einzelnen Ergebnisse analysieren wir mit Hilfe von nicht-parametrischen Regressionsmethoden, die es flexibler erlauben, die Veränderungen über die Zeit darzustellen, als das mit Hilfe von linearen Regressionsmodellen möglich ist. Das "np"-Packet in der Statistik-Programmiersprache R erlaubt, eine einfache Implementierung von nicht-parametrischen Kernel Regressionsmodellen.
Wir verwenden hierbei in allen folgenden Analyse eine feste Bandbreite (von 2.5), um die Vergleichbarkeit zu erleichtern. Beginnen wir mit dem Heimsiegen. In der folgenden Grafik seht ihr die Entwicklung unterschiedlicher Ergebnisse von Heimsiegen über die Zeit, wobei wir alle Ergebnisse mit 3 oder mehr Punkten zusammengefasst haben. (3+1):1 steht damit für 3:1, 4:1, 5:1 und so weiter, während (3++):(3+) Ausgänge wie 4:3, 5:3, 5:4 ... umfassen. Um die gelbe Kurve für (3+:2) herum haben wir die durchschnittlichen Ergebnisse pro Saison eingetragen, so dass man erkennen kann, wie die nicht-parametrischen Kurven im Vergleich zu den zugrundeliegenden Daten verlaufen.

Die Grafik für die Heimsiege zeigt, dass trotz des Rückgangs des Heimvorteils, häufige Spielausgänge wie 2:0 (grün) und 1:0 (blau) gleichwahrscheinlich geblieben sind. Der häufigste Ausgang eines Heimsieges in Form von 2:1 (rot) ging anteilsmäßig an allen Spielen lange Zeit zurück, von Ende der 1960er bis Anfang der 1990er, ist seitdem jedoch wieder etwas häufiger zu sehen. Diese Siege der Heimmannschaft, die mit weniger Tore erreicht werden, können den allgemeinen Trend also nicht erklären. Zurückzugehen scheinen dagegen insbesondere hohe Heimsiege wie 3:1, 3:0, 3:2 (und höher) sowie Spiele in denen die Heimmannschaft letztendlich trotz vieler Gegentore gewinnt wie 4:3 (braun). Es sind also die Kantersiege und hohe Spielausgänge, die wir seltener sehen. Dies spiegelt sich natürlich in der durchschnittlichen Zahl der erzielten Heimtore wieder, wie wir es weiter oben gesehen haben.

Als nächstes gucken wir uns die Entwicklung der Unentschieden an. (3+):(3+) steht hierbei für 3:3, 4:4 oder 5:5. Ein 5:5 ist übrigens zwei mal aufgetreten, am 6. Spieltag der Saison 1973/1974 im Spiel Schalke 04 gegen Bayern München und am 13. Spieltag der folgenden Saison in der Begegnung Eintracht Frankfurt gegen VfB Stuttgart. Die unterschiedlichen Ausgänge der Unentschieden laufen relativ parallel, insgesamt ist der Anteil der Unentschieden stabil, wobei erkennbar ist, dass die Zunahme der Unentschieden Ende der 1980er insbesondere durch torarme 0:0 (blau) und 1:1 (rot) getrieben ist, während 2:2 (grün) und höhere Unentschiede (3+):(3+) sich über die Zeit kaum verändert haben. Nach der Einführung der 3-Punkte-Regel ist dieser Anstieg aber langfristig wieder zurückgegangen. Zur Illustration haben wir unter die geglättete Kurve der 1:1 auch die Durchschnitte pro Saison eingezeichnet.

Bei den Auswärtssiegen haben wir festgestellt, dass deren Anteil seit Anfang der 2000er leicht angestiegen ist. In der folgenden Grafik sieht der Anstieg von Auswärtssiegen aufgrund des feineren Maßstabs (die y-Achse endet hier bei 8%) deutlich ausgeprägter aus, wobei auch leicht zu erkennen ist, dass der Anteil der Auswärtssiege insbesondere in den letzten Jahrzehnten angestiegen ist. Hohe Spielausgänge wie 2:(3+) (gelb) sind dabei auch nicht erkennbar zurückgegangen, im Gegensatz zu den Heimsiegen wie wir es weiter oben festgestellt haben. Nur sehr torreiche Partien, die mit einer Heimniederlage enden, wie 3:4 sieht man heutzutage seltener, waren aber auch früher sehr selten. Der Heimvorteil geht eindeutig zurück, und dies bei ganz unterschiedlichen Spielausgängen.