EPA? Analytics? Wie bitte?

Die Diskussion rund um NFL Football wird im Regelfall hitzig und leidenschaftlich geführt. Oft – und gerade auf Twitter, wo es eng ist – werden dabei Begriffe verwendet, die nicht jeder versteht. Wir als ein erstes “Hallo Welt!” und zum Einstieg werden die Grundbegriffe klären, die wir im Blog regelmäßig verwenden werden. 

---

American Football ist ein durch und durch quantifizierter Sport. Da es um Raumgewinn geht, und der Spielfluss sich aus dutzenden klar abgetrennten Spielzügen zusammensetzt, gibt es einen Haufen an Sachen, die sich messen lassen. Raumgewinn und seine Umwandlung in Punkte sind dabei die zentralsten Punkte jeder Analyse. Wie also Raumgewinn messen?

Warum braucht es überhaupt “Advanced Stats”?

Die normale Methode ist dem Regelwerk entnommen: Das Spielfeld misst 100 Yards und die Regel besagt, dass man vier Versuche hat um zehn Yards zu überwinden. Das Yard ist somit die simpelste Art, Raumgewinn zu messen, und führt zu den in Broadcasts und auf den meisten Stats-Seiten von ESPN bis Fantasy verwendeten Statistiken.

Der Grund, warum das Yard aber nicht ausreicht als Messeinheit, liegt in den besagten vier Versuchen: Die führen dazu, dass nicht jedes Yard gleich ist. Wenn ein WR einen 10 Yard Pass fängt, ist das bei 2nd and 8 ein für die Offense insgesamt betrachtet gewinnbringender Zug: Er führt zu einem neuen First Down und erhöht die Chance auf Punkte auf dem Drive. 

Bei 3rd and 18 wäre derselbe Pass mit denselben 10 Yards im Regelfall als Verlustgeschäft anzusehen: Die Offense wird den Ball vermutlich hergeben müssen im nächsten Spielzug, die Chance auf Punkte hat sich verringert.

Darum gibt es seit Jahrzehnten bereits den Versuch, Yards zu kontextualisieren, und die “eher wertvollen” von den “eher wertlosen” Yards zu unterscheiden.

Expected Points

1971 erfindet Virgil Carter das Expected Points (EP) Modell für Football: Er hat dafür 8,373 Plays mit 53 Variablen — zB. Zeit, Down und Distance — aus 56 Spielen der ersten Hälfte der 1969 Saison auf Lochkarten kodiert und seinem IBM verfüttert. Er wollte wissen, wie viele “virtuelle” Punkte ein First Down an einem bestimmten Punkt auf dem Feld wert ist.

Die Idee ist, dass ein First Down nahe an der gegnerischen Goal Line fast schon ein TD ist. Es fehlen nur mehr wenige Yards, und es ist sehr wahrscheinlich, dass die Offense scoren wird. Hingegen ist ein First Down an der eigenen Goal Line ganz anders: Es fehlt noch einiges an Raumgewinn und es ist bei weitem nicht gesagt, wer überhaupt als nächster scoren wird. 

Carters Modell war rudimentär aber revolutionär. Die Werte, die den heutigen Football beschreiben, sind ein wenig anders, und vor allem nahe der beiden Goal Lines wurde einiges verfeinert, aber in Grundzügen gilt noch heute, dass EP Modelle das Feld von circa -2 EP bis +6 EP analysieren.  

Bild 1 aus: Virgil Carter, Robert E. Machol, (1971) Technical Note—Operations Research on Football. Operations Research 19(2):541-544. 

Ein EP Modell gibt also jeder Situation mithilfe historischer Baselines einen zu erwartenden Punktwert beim nächsten Score-Event. Wenn ich von einem Spielzug zum nächsten gehe, hat sich dieser Wert verändert, hier spricht man dann von EPA: Expected Points Added.

Sehen wir uns zur Illustration ein Beispiel aus dem letzten Spiel an, Atlanta in Kansas City, der 98 Yards Drive nach dem Pick von Keanu Neal:

Play Nr.	Play
1	(8:44) T.Gurley right end to ATL 8 for 6 yards (D.Sorensen).
2	(8:07) M.Ryan pass short right to K.Smith to ATL 15 for 7 yards (B.Niemann).
3	(7:28) (Shotgun) M.Ryan pass short left to I.Smith to ATL 20 for 5 yards (B.Niemann). FUMBLES (B.Niemann). ball out of bounds at ATL 20.
4	(6:57) B.Hill right end to ATL 23 for 3 yards (D.Nnadi).
5	(6:17) M.Ryan pass short right to T.Gurley to ATL 31 for 8 yards (W.Gay) [C.Jones].
6	(5:41) B.Hill left guard to ATL 35 for 4 yards (M.Danna).
7	(5:05) (Shotgun) M.Ryan pass short left to C.Ridley to KC 11 for 54 yards (D.Sorensen).
8	(4:18) B.Hill left guard to KC 5 for 6 yards (O.Cobb).
9	(3:40) (Shotgun) M.Ryan pass short middle to H.Hurst for 5 yards. TOUCHDOWN.

Blicken wir nun auf die EP Werte, wie sie auf rbsdm.com zu finden sind:

Play Nr.	LOS	Down	To go	Type	EP vor dem play	EP nach dem play	EP Veränderung (EPA)
1	98	1	10	run	-0,69	-0,18	0,51
2	92	2	4	pass	-0,18	0,46	0,64
3	85	1	10	pass	0,46	0,46	0,00
4	80	2	5	run	0,47	0,22	-0,25
5	77	3	2	pass	0,21	1,31	1,10
6	69	1	10	run	1,31	1,14	-0,17
7	65	2	6	pass	1,14	4,88	3,74
8	11	1	10	run	4,88	5,27	0,39
9	5	2	4	pass	5,27	7,00	1,73

Hier sehen wir, dass der Drive mit einer negativen Punkteerwartung startete: 1st and 10 an der eignen 2 führt historisch betrachtet zu jeder Menge unterschiedlicher Punkteveränderungen im weiteren Verlauf. Manche, aber sehr wenige Drives enden in einem TD, wie der hier. Einige mehr enden in einem FG. Wiederrum eine recht große Gruppe enden in einem Punt oder einem Turnover, und von denen enden nicht wenige in gegnerischen Punkten, die sich als Minuspunkte in dem EP Modell niederschlagen. Und ein paar Drives enden hier auch direkt mit einerm Safety, der sich ohne Umwege als Minuspunkte niederschlägt.

Ein EP Modell macht nun eine Regression über alle diesen historischen Ereignisse und bildet eine gewisse Art Durschnitt, der sagt: Wenn du den Ball an der eigenen 2 bekommst mit 1st and 10, dann kannst du im Schnitt damit rechnen, dass die nächste Punkteveränderung -0.7 Punkte sein wird.

Nach dem ersten Gurley-Run, der sechs Yards brachte, stand die Offense bei 2nd and 4 an der 8. Wiederum hat das EP Modell für diese Situation eine Regression parat, die sagt, hier sind -0.18 Punkte zu erwarten beim nächsten Score Event. Zwischen den beiden Spielzügen hat die Offense also circa eine halben Punkt an EP gewonnen, bzw. addiert, daher der Begriff Expected Points Added.

Es gibt auch Plays, die EP verlieren, obwohl sie positive Yards machen, hier sehen wir also wie das EP Modell deutlich andere Analysen erlaubt, als pure Yards. Der 3 Yards Run von Brian Hill bei 2nd and 5 ist offiziell ein Raumgewinn. Aber das EP Modell zeigt auf, dass man bei 2nd 5 an der 80 mehr Punkte erwarten sollte, als bei 3rd and 2 an der 77. Insofern schlägt sich der Run, sowie auch Hills folgender First Down Run für 4 Yards, als negative EPA nieder.

Hursts TD ist zwar ein wertvoller Play, aber er bekommt “nur” 1.7 EPA, da Teams von der 5 Yard Line historisch betrachtet oft scoren. Wo ein Fantasy Scoring seine Produktion höher als Ridleys einstufen würde auf dem Drive, zeigt EPA auf, dass Ridleys Beitrag zum Punktegewinn mehr als doppelt so groß wie Hursts war.

Außerdem lässt sich EPA somit aufschlüsseln in Variablen wie Run vs Pass, Downs, Distance, etc. Der Drive z.B. generierte 0.48 EPA auf Runs und 7.21 auf Pässen. (Wie können die Pässe mehr als die 7 Punkte generieren, die der Drive brachte? Weil es dazwischen immer wieder auch negative EPA plays gab – in dem Fall, wie in vielen anderen, Runs – die die Pässe wieder wettmachen mussten am Weg zu Endzone.)

Als Durchschnitt betrachtet hatten die Runs 0.12 EPA/play während die Pässe 1.44 EPA/play generierten. Diese enorme Diskrepanz taucht so immer wieder, wenn auch nicht ganz so dramatisch, auf, weshalb EPA eine maßgebliche Entwicklung in der Diskussion des Werts des Laufspiels darstellte.

Success Rate, DVOA

In den 80ern kam mit The Hidden Game of Football von Bob Carroll, John Thorn und Pete Palmer ein Buch raus, das ganz dem Zeitgeist des langsam alles übernehmenden Computers entsprechen eine binäre schwarz/weiß Metrik namens Success Rate kreierte, die jedem Spielzug als Erfolg oder Misserfolg kategorisiert, je nachdem wie viele Yards geholt wurden. Bei 1st Down reichen 40% der Yards to Go für einen Erfolg, bei 2nd Down müssen es schon 60% sein und bei 3rd und 4th Down reicht nur eine Conversion. (Minimale Variationen der Werte bei 1st und 2nd Down sind immer wieder anzutreffen bei den Nachfolgern.)

Bereits in diesem Buch wird der Mythos vom etablieren des Laufspiels kritisiert und aufgezeigt, dass Teams laufen, wenn sie gewinnen, und nicht umgekehrt. Noch heute wird dieses fundamentale Resultat von den meisten NFL Coaches, Medienleuten und etlichen Fans vehement negiert. 

Success Rate und seine geistigen Nachfolger helfen, einzelne Spielzüge, die Durchschnitte massiv nach oben oder unten reißen, zu nivellieren. Sie erlauben auch Spielertypen zu vergleichen, die bei normalen Stats einfach nicht erkannt werden. 2019 hatten Ito Smith und Qadree Ollison gleich viele rushing Attempts. Smith holte 106 Yards raus, Ollison 50. Smiths Y/C ist um Welten besser als Ollisons (4.8 zu 2.3). Success Rate, wie sie von Analysten wie Warren Sharp verwendet wird, kommt bei beiden aber bei knapp über 50% raus. Das sagt uns: Ollison hatte seine Läufe einfach auf sehr kurzen Yards to Go Situationen: An der Goalline, oder bei 3rd and Short. Er macht dadurch weniger Yards (weil weniger notwendig ist und die Defense auch dichter verteidigt) als Smith, aber für das Vorankommen der Offense ist er ungefähr ähnlich erfolgreich wie Smith, der dafür viel Platz zum Laufen hat, da er auch mal bei 1st und 2nd und long antritt.

Anfang der Nuller Jahre versucht Aaron Schatz Success Rate weiterzuentwickeln, schließlich ist es eben nur bedingt egal, ob nach einem erfolgreichen First Down der WR gleich getackelt wird oder noch 20 Yards mehr draufpackt. Aus der binären SR wurde DVOA, Defense Adjusted over Average, welches jeden Spielzug nicht nur nach seiner SR beurteilt, sondern auch nach dem Liga-Standard in der Situation. Die von Football Outsiders noch heute verwendete Stats-Familie passt das Ergebnis auch an den Gegner an, da es nicht egal ist, ob man massig Punkte gegen die Falcons oder gegen eine existente Defense schafft. 

Pro Football Focus bietet eine weitere Reihe an advanced stats an. Dort werden neben Player Grades auch Statistiken wie Yards per Route Run für Receiver oder Pressure Rate für Defender zB analysiert. Sie treiben mit einer großartigen R&D Abteilung die Forschung an Football Stats im Allgemeinen derzeit am stärksten voran.

Und zuallerletzt gehört noch Ron Yurkos und Maksim Horowitz’ nflscrapR erwähnt, der ein EPA Modell erstmals einer breiten Öffentlichkeit zur Verfügung stellte und die Grundlage für die heutige EPA-Betrachtung lieferte.

Also was jetzt?  

Eine wichtige Frage haben wir noch gar nicht berührt, und zwar wie fluky wins sind in der NFL. Der Salary Cap und die generelle Ähnlichkeit vieler Coaching und Team Building Konzepte führt dazu, dass Teams generell sehr nah beieinander sind. Es gibt selten wirklich Dynastien oder Langzeitmodelle die viel erfolgreicher als andere sind. 

Circa die Hälfte der NFL Spiele sind one score games, also Spiele, bei denen trotz der circa hundert Spielzüge, die gespielt wurden, am Ende doch nur einer reichen würde, das Ergebnis zu drehen. Darum sind Wins kein guter Predictor von zukünftigen Wins. Wer Glück hat in one score games, wird in der Saison drauf vermutlich wieder zur Normalität regressieren. Die Wins im Vorjahr haben das Team besser aussehen lassen als es war. 

Point Differential ist da viel besser, denn da wird auch abgebildet ob das Team in der Lage ist, gegnerische Teams zu dominieren, bzw. ob es oft dominiert wird. Vergleicht man nun die erwähnten Statistiken mit Point Differential, so zeigt sich dass EPA und DVOA viel besser Point Differential vorhersagen können, als Yards, Yards per Play, oder sogar Wins. Sprich EPA und DVOA erfassen jenen Teil der Team Qualität besser, der stabil ist und nicht von zufälligen Ausreißern bestimmt wird.

Wir werden hier auf dem Sturzflug Blog beides verwenden, mit einem Hang zu EPA, da EPA mit dem Punkte-Begriff intuitiver beschreibt, was auf dem Feld passiert, als DVOA mit seiner recht sperrigen Prozent-Formulierung. 

Success Rate werden wir, wenn, dann in einer EPA-Formulierung verwenden: Also als Messwert dafür, ob ein Spielzug positive EPA oder negative EPA hat. Die prozentuale Formulierung aus Hidden Game of Football, die auch DVOA zugrunde liegt, werden wir nicht verwenden, auch wenn sie NFL Coaches großteils für ihr Playcalling heranziehen.  

Geangelt! Wohin jetzt?

Zum Abschluss noch Links, Links, Links, zuerstmal woher die Stats nehmen?

• EPA entnehmen wir derzeit von rbsdm.com, wobei das dem zugrundeliegende nflfastr-Modell von Sebastian Carl und Ben Baldwin völlig frei verfügbar ist für alle, die sich mit R auskennen.
• DVOA findet ihr auf Football Outsiders, wobei es sich lohnt einen gratis Account anzulegen, um überhaupt die gratis Stats von ihnen zu sehen. Noch detaillierter wird es natürlich mit Subscription. 
• Weiter großartige Einführungen in Advanced Stats, inklusive weiterführenden Diskussionen rund um den Wert des Laufspiels etc. findet ihr bei Adrian Franke auf SPOX und bei Thomas Psaier’s Sideline Reporter.
• Auf Englisch gibt es eine gute Einführung von Ben Baldwin mit Links zu vielen wichtigen bisher erforschten Ergebnissen hier.
• Lead Blogger versammelt etliche Analytics-interessierte deutschsprachige Schreiberlinge und ist immer wieder ein must-read.
• Zusätzliche empfohlene Twitter-Follows zu den Themen: Timo Riske, Eric Eager, George Chahrouri, Kevin Cole, Lee Sharpe, Zach Feldman, Lau Sze Yui, Steven Ruiz, Zach Feldman, Robby Greerre