EPL matchweek: how the predictor works

%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22epl-matchweek%3D%3D0.0.0%2Bmarimo.de8b02483317%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22EPL%20matchweek%3A%20how%20the%20predictor%20works%22%2C%0A%20%20%20%20css_file%3D%22course.css%22%2C%0A%20%20%20%20html_head_file%3D%22head.html%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20EPL%20matchweek%3A%20how%20the%20predictor%20works%0A%0A%20%20%20%20This%20notebook%20walks%20through%20a%20Premier%20League%20match%20predictor%2C%20one%20idea%20at%20a%20time.%20The%0A%20%20%20%20predictor%20is%20already%20written.%20It%20lives%20in%20%60src%2Fepl_matchweek%2F%60%2C%20it%20is%20plain%20Python%20with%20no%0A%20%20%20%20statistics%20library%2C%20and%20it%20runs%20from%20this%20notebook.%20The%20**Match%20day**%20section%20after%20part%209%0A%20%20%20%20downloads%20the%20latest%20results%2C%20forecasts%20the%20next%20round%20of%20matches%20and%20shows%20how%20it%20rates%0A%20%20%20%20each%20team.%20If%20the%20forecasts%20are%20all%20you%20came%20for%2C%20go%20straight%20there.%0A%0A%20%20%20%20Each%20part%20takes%20one%20question%2C%20explains%20the%20idea%20needed%20to%20answer%20it%2C%20shows%20the%20code%20from%0A%20%20%20%20the%20package%20that%20does%20it%2C%20and%20runs%20that%20code%20on%20real%20results.%20Nothing%20here%20assumes%20you%20know%0A%20%20%20%20any%20statistics.%20New%20terms%20are%20in%20**bold**%20where%20they%20are%20explained.%0A%0A%20%20%20%20%7C%20Part%20%7C%20Question%20%7C%20Idea%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%201%20%7C%20How%20do%20matches%20end%3F%20%7C%20Base%20rates%3A%20the%20bar%20every%20predictor%20has%20to%20beat%20%7C%0A%20%20%20%20%7C%202%20%7C%20What%20is%20a%20good%20forecast%3F%20%7C%20Probabilities%2C%20and%20how%20to%20mark%20them%20%7C%0A%20%20%20%20%7C%203%20%7C%20How%20much%20is%20luck%3F%20%7C%20Random%20variation%20and%20sample%20size%20%7C%0A%20%20%20%20%7C%204%20%7C%20How%20many%20goals%3F%20%7C%20Describing%20a%20random%20process%20with%20a%20formula%20%7C%0A%20%20%20%20%7C%205%20%7C%20How%20good%20is%20each%20team%3F%20%7C%20Fitting%20a%20model%20to%20data%20%7C%0A%20%20%20%20%7C%206%20%7C%20Can%20ratings%20keep%20themselves%20up%20to%20date%3F%20%7C%20Learning%20from%20one%20result%20at%20a%20time%20%7C%0A%20%20%20%20%7C%207%20%7C%20Does%20any%20of%20it%20work%3F%20%7C%20Testing%20on%20matches%20the%20model%20has%20not%20seen%20%7C%0A%20%20%20%20%7C%208%20%7C%20Would%20more%20inputs%20help%3F%20%7C%20Machine%20learning%2C%20and%20when%20it%20adds%20nothing%20%7C%0A%20%20%20%20%7C%209%20%7C%20What%20about%20next%20weekend%3F%20%7C%20The%20finished%20predictor%20%7C%0A%0A%20%20%20%20**How%20to%20use%20it.**%20Grey%20boxes%20headed%20with%20a%20file%20name%20show%20code%20read%20live%20from%20the%20package%2C%0A%20%20%20%20so%20what%20you%20see%20is%20what%20runs.%20Sliders%20and%20menus%20re-run%20everything%20that%20depends%20on%20them.%0A%20%20%20%20If%20you%20are%20running%20the%20notebook%20yourself%2C%20the%20code%20cells%20are%20editable%2C%20and%20nothing%20you%0A%20%20%20%20change%20here%20alters%20the%20package.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20download)%3A%0A%20%20%20%20%23%20%60download%60%20is%20the%20button%20in%20the%20Match%20day%20section.%20Pressing%20it%20re-runs%20this%20cell%2C%0A%20%20%20%20%23%20which%20fetches%20the%20latest%20results%20and%20fixtures%20before%20loading%20them.%0A%20%20%20%20downloaded%2C%20download_error%20%3D%20None%2C%20None%0A%20%20%20%20if%20download.value%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20downloaded%20%3D%20data.update()%0A%20%20%20%20%20%20%20%20except%20OSError%20as%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20download_error%20%3D%20error%0A%0A%20%20%20%20matches%20%3D%20data.load_matches()%0A%0A%20%20%20%20%23%20The%20course%20uses%20ten%20complete%20seasons%2C%20so%20its%20numbers%20stay%20the%20same%20as%20new%20results%20arrive.%0A%20%20%20%20COURSE_SEASONS%20%3D%20%5Bdata.season_name(year)%20for%20year%20in%20range(2016%2C%202026)%5D%0A%20%20%20%20course%20%3D%20%5Bm%20for%20m%20in%20matches%20if%20m.season%20in%20COURSE_SEASONS%5D%0A%20%20%20%20results%20%3D%20%5Bm.result%20for%20m%20in%20course%5D%0A%20%20%20%20return%20COURSE_SEASONS%2C%20course%2C%20download_error%2C%20downloaded%2C%20matches%2C%20results%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COURSE_SEASONS%2C%20course%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%20The%20data%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%60course%60%20holds%20%7Blen(course)%3A%2C%7D%20matches%3A%20every%20Premier%20League%20game%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20%7BCOURSE_SEASONS%5B0%5D%7D%20to%20%7BCOURSE_SEASONS%5B-1%5D%7D%2C%20oldest%20first.%20These%20are%20the%20first%20five.%0A%20%20%20%20%20%20%20%20%20%20%20%20%60result%60%20is%20%60H%60%20for%20a%20home%20win%2C%20%60D%60%20for%20a%20draw%20and%20%60A%60%20for%20an%20away%20win.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22season%22%3A%20m.season%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22date%22%3A%20m.date.isoformat()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22home%22%3A%20m.home%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22away%22%3A%20m.away%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22home_goals%22%3A%20m.home_goals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22away_goals%22%3A%20m.away_goals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22result%22%3A%20m.result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20m%20in%20course%5B%3A5%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%201.%20How%20do%20matches%20end%3F%0A%0A%20%20%20%20Before%20predicting%20anything%2C%20count.%20If%20you%20knew%20nothing%20about%20the%20two%20teams%2C%20how%20often%0A%20%20%20%20would%20you%20expect%20a%20home%20win%2C%20a%20draw%20or%20an%20away%20win%3F%0A%0A%20%20%20%20The%20answer%20is%20a%20**base%20rate**%3A%20how%20often%20something%20happens%20when%20you%20know%20nothing%20else%0A%20%20%20%20about%20the%20case.%20Base%20rates%20matter%20because%20they%20are%20the%20forecast%20you%20get%20for%20free.%20A%0A%20%20%20%20predictor%20that%20can't%20beat%20them%20has%20learned%20nothing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20outcomes%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%5Bshow_source(outcomes.outcome_counts)%2C%20show_source(outcomes.outcome_rates)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(course%2C%20mo%2C%20outcomes)%3A%0A%20%20%20%20rates%20%3D%20outcomes.outcome_rates(course)%0A%20%20%20%20by_season%20%3D%20outcomes.rates_by_season(course)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Brates%5B'H'%5D%3A.1%25%7D%22%2C%20label%3D%22Home%20wins%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Brates%5B'D'%5D%3A.1%25%7D%22%2C%20label%3D%22Draws%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Brates%5B'A'%5D%3A.1%25%7D%22%2C%20label%3D%22Away%20wins%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20by_season%2C%20rates%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(INK%2C%20OUTCOME_NAMES%2C%20OUTCOME_SCALE%2C%20alt%2C%20by_season%2C%20fitted%2C%20mo)%3A%0A%20%20%20%20_seasons%20%3D%20sorted(by_season)%0A%20%20%20%20_data%20%3D%20alt.Data(%0A%20%20%20%20%20%20%20%20values%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22season%22%3A%20season%2C%20%22outcome%22%3A%20OUTCOME_NAMES%5Bkey%5D%2C%20%22share%22%3A%20by_season%5Bseason%5D%5Bkey%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20season%20in%20_seasons%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20key%20in%20OUTCOME_NAMES%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_x%20%3D%20alt.X(%22season%3AN%22%2C%20title%3DNone%2C%20sort%3D_seasons%2C%20axis%3Dalt.Axis(labelAngle%3D0%2C%20labelOverlap%3DTrue))%0A%20%20%20%20_y%20%3D%20alt.Y(%22share%3AQ%22%2C%20title%3D%22Share%20of%20matches%22%2C%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%20scale%3Dalt.Scale(zero%3DTrue))%0A%20%20%20%20_lines%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_x%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22outcome%3AN%22%2C%20title%3DNone%2C%20scale%3DOUTCOME_SCALE)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22season%3AN%22%2C%20%22outcome%3AN%22%2C%20alt.Tooltip(%22share%3AQ%22%2C%20format%3D%22.1%25%22%2C%20title%3D%22share%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.transform_filter(alt.datum.season%20%3D%3D%20_seasons%5B-1%5D)%0A%20%20%20%20%20%20%20%20.mark_text(align%3D%22left%22%2C%20dx%3D10%2C%20color%3DINK)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20text%3D%22outcome%3AN%22)%0A%20%20%20%20)%0A%20%20%20%20_lowest%20%3D%20min(_seasons%2C%20key%3Dlambda%20season%3A%20by_season%5Bseason%5D%5B%22H%22%5D)%0A%20%20%20%20_note%20%3D%20f%22Home%20teams%20did%20worst%20in%20%7B_lowest%7D%2C%20winning%20%7Bby_season%5B_lowest%5D%5B'H'%5D%3A.1%25%7D%20of%20matches.%22%0A%20%20%20%20if%20_lowest%20%3D%3D%20%222020-21%22%3A%0A%20%20%20%20%20%20%20%20_note%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20That%20season%20was%20played%20in%20empty%20stadiums%20because%20of%20the%20pandemic%2C%20and%20it%20is%20the%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20only%20one%20where%20away%20wins%20outnumbered%20home%20wins.%20Much%20of%20home%20advantage%20seems%20to%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20come%20from%20the%20crowd.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted((_lines%20%2B%20_labels).properties(title%3D%22How%20matches%20ended%2C%20season%20by%20season%22%2C%20height%3D280))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20these%20numbers%20as%20a%20table%22%3A%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22season%22%3A%20season%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%7BOUTCOME_NAMES%5Bkey%5D%3A%20f%22%7Bby_season%5Bseason%5D%5Bkey%5D%3A.1%25%7D%22%20for%20key%20in%20OUTCOME_NAMES%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20season%20in%20_seasons%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20three%20shares%20hold%20fairly%20steady%20from%20season%20to%20season%2C%20with%20one%20exception.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_note%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20take%20from%20this%20part.**%20The%20base%20rates%20are%20the%20bar.%20Everything%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20follows%20is%20an%20attempt%20to%20do%20better%20than%20saying%20the%20same%20three%20numbers%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20every%20match.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%202.%20What%20is%20a%20good%20forecast%3F%0A%0A%20%20%20%20A%20prediction%20such%20as%20%22Arsenal%20will%20win%22%20is%20either%20right%20or%20wrong%2C%20and%20that%20hides%20how%20sure%0A%20%20%20%20the%20predictor%20was.%20A%20**forecast**%20says%20how%20likely%20each%20outcome%20is%3A%20three%20**probabilities**%0A%20%20%20%20that%20add%20up%20to%20100%25%2C%20such%20as%2060%25%20home%20win%2C%2025%25%20draw%2C%2015%25%20away%20win.%0A%0A%20%20%20%20Probabilities%20are%20more%20useful%20than%20picks%2C%20and%20they%20can%20be%20marked%20more%20fairly.%20Two%20ways%20of%0A%20%20%20%20marking%20them%3A%0A%0A%20%20%20%20-%20**Accuracy**%20takes%20the%20outcome%20given%20the%20highest%20probability%20as%20the%20pick%20and%20counts%20how%0A%20%20%20%20%20%20often%20it%20was%20right.%20It%20ignores%20how%20confident%20the%20forecast%20was.%0A%20%20%20%20-%20**Log%20loss**%20looks%20only%20at%20the%20probability%20the%20forecast%20gave%20to%20what%20actually%20happened%2C%0A%20%20%20%20%20%20and%20charges%20a%20penalty%20that%20grows%20as%20that%20probability%20shrinks.%20It%20is%20the%20average%20surprise.%0A%20%20%20%20%20%20Lower%20is%20better.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20scoring%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%5Bshow_source(scoring.accuracy)%2C%20show_source(scoring.log_loss)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20The%20penalty%20for%20one%20match%20depends%20on%20the%20probability%20you%20gave%20to%20what%20happened%3A%0A%0A%20%20%20%20%7C%20Probability%20given%20to%20what%20happened%20%7C%20Penalty%20%7C%0A%20%20%20%20%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%2099%25%20%7C%200.01%20%7C%0A%20%20%20%20%7C%2090%25%20%7C%200.11%20%7C%0A%20%20%20%20%7C%2050%25%20%7C%200.69%20%7C%0A%20%20%20%20%7C%2033%25%20%7C%201.10%20%7C%0A%20%20%20%20%7C%2010%25%20%7C%202.30%20%7C%0A%20%20%20%20%7C%201%25%20%7C%204.61%20%7C%0A%0A%20%20%20%20Being%20confidently%20wrong%20is%20very%20expensive%2C%20and%20saying%200%25%20for%20something%20that%20then%0A%20%20%20%20happens%20costs%20infinitely%20much.%20That%20is%20what%20keeps%20a%20forecaster%20honest%3A%20the%20only%20way%20to%0A%20%20%20%20a%20low%20log%20loss%20is%20to%20say%20probabilities%20that%20match%20how%20often%20things%20really%20happen.%0A%0A%20%20%20%20**Try%20it.**%20Pick%20one%20forecast%20to%20give%20to%20every%20match%20in%20the%20data%2C%20and%20compare%20it%20with%0A%20%20%20%20three%20others.%20The%20away%20win%20share%20is%20whatever%20is%20left%20over.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20your_home%20%3D%20mo.ui.slider(1%2C%2097%2C%20value%3D60%2C%20label%3D%22Home%20win%20%25%22%2C%20show_value%3DTrue)%0A%20%20%20%20your_draw%20%3D%20mo.ui.slider(1%2C%2097%2C%20value%3D20%2C%20label%3D%22Draw%20%25%22%2C%20show_value%3DTrue)%0A%20%20%20%20mo.hstack(%5Byour_home%2C%20your_draw%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%0A%20%20%20%20return%20your_draw%2C%20your_home%0A%0A%0A%40app.cell%0Adef%20_(course%2C%20mo%2C%20rates%2C%20results%2C%20scoring%2C%20your_draw%2C%20your_home)%3A%0A%20%20%20%20_away%20%3D%20100%20-%20your_home.value%20-%20your_draw.value%0A%20%20%20%20mo.stop(_away%20%3C%201%2C%20mo.callout(%22Home%20win%20and%20draw%20must%20leave%20at%20least%201%25%20for%20an%20away%20win.%22%2C%20kind%3D%22warn%22))%0A%0A%20%20%20%20_constant_forecasts%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Almost%20certain%20of%20a%20home%20win%22%3A%20%7B%22H%22%3A%200.98%2C%20%22D%22%3A%200.01%2C%20%22A%22%3A%200.01%7D%2C%0A%20%20%20%20%20%20%20%20%22Equal%20thirds%22%3A%20%7B%22H%22%3A%201%20%2F%203%2C%20%22D%22%3A%201%20%2F%203%2C%20%22A%22%3A%201%20%2F%203%7D%2C%0A%20%20%20%20%20%20%20%20%22The%20base%20rates%20from%20part%201%22%3A%20rates%2C%0A%20%20%20%20%20%20%20%20%22Yours%22%3A%20%7B%22H%22%3A%20your_home.value%20%2F%20100%2C%20%22D%22%3A%20your_draw.value%20%2F%20100%2C%20%22A%22%3A%20_away%20%2F%20100%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22forecast%20for%20every%20match%22%3A%20name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22home%20%2F%20draw%20%2F%20away%22%3A%20%22%20%2F%20%22.join(f%22%7Bforecast%5Bk%5D%3A.0%25%7D%22%20for%20k%20in%20%22HDA%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%22%3A%20f%22%7Bscoring.accuracy(%5Bforecast%5D%20*%20len(course)%2C%20results)%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22log%20loss%22%3A%20f%22%7Bscoring.log_loss(%5Bforecast%5D%20*%20len(course)%2C%20results)%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20forecast%20in%20_constant_forecasts.items()%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20Two%20things%20to%20notice%3A%0A%0A%20%20%20%20-%20**Accuracy%20can't%20tell%20these%20forecasts%20apart.**%20Every%20forecast%20that%20rates%20a%20home%20win%20most%0A%20%20%20%20%20%20likely%20scores%20the%20same%20accuracy%2C%20whether%20it%20says%2045%25%20or%2098%25.%0A%20%20%20%20-%20**No%20single%20forecast%20beats%20the%20base%20rates%20on%20log%20loss.**%20Move%20the%20sliders%20as%20much%20as%20you%0A%20%20%20%20%20%20like.%20Log%20loss%20rewards%20saying%20what%20is%20true%2C%20and%20for%20one%20fixed%20forecast%20the%20truth%20is%20the%0A%20%20%20%20%20%20base%20rates.%0A%0A%20%20%20%20**What%20to%20take%20from%20this%20part.**%20The%20predictor's%20job%20is%20to%20produce%20probabilities%2C%20and%20log%0A%20%20%20%20loss%20is%20how%20they%20are%20marked%20from%20here%20on.%20A%20forecast%20that%20says%20the%20base%20rates%20for%20every%0A%20%20%20%20match%20is%20called%20a%20**baseline**%3A%20the%20simplest%20thing%20that%20could%20work.%20The%20package%20has%20it%20as%20a%0A%20%20%20%20model%2C%20%60BaseRates%60%2C%20with%20the%20same%20three%20methods%20every%20later%20model%20has%3A%20%60fit%60%20to%20learn%20from%0A%20%20%20%20past%20matches%2C%20%60predict%60%20to%20forecast%20one%2C%20and%20%60update%60%20to%20take%20in%20a%20new%20result.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(outcomes%2C%20show_source)%3A%0A%20%20%20%20show_source(outcomes.BaseRates)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%203.%20How%20much%20is%20luck%3F%0A%0A%20%20%20%20A%20league%20table%20looks%20like%20a%20ranking%20of%20quality.%20Some%20of%20it%20is%3A%20better%20teams%20win%20more.%20But%0A%20%20%20%20some%20of%20the%20gaps%20between%20teams%20would%20be%20there%20even%20if%20every%20team%20were%20exactly%20as%20good%20as%0A%20%20%20%20every%20other%2C%20because%20results%20vary%20by%20chance.%20This%20is%20**random%20variation**%2C%20and%20it%20is%20the%0A%20%20%20%20reason%20a%20handful%20of%20results%20proves%20very%20little.%0A%0A%20%20%20%20To%20see%20how%20much%20of%20a%20table%20luck%20alone%20can%20produce%2C%20replay%20a%20season's%20fixtures%20with%20every%0A%20%20%20%20result%20drawn%20at%20random%20from%20the%20base%20rates.%20No%20team%20is%20better%20than%20any%20other%2C%20so%20every%20gap%0A%20%20%20%20in%20that%20table%20is%20luck.%20Doing%20an%20experiment%20like%20this%20with%20random%20numbers%20is%20called%20a%0A%20%20%20%20**simulation**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(luck%2C%20show_source)%3A%0A%20%20%20%20show_source(luck.luck_only_table)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(COURSE_SEASONS%2C%20mo)%3A%0A%20%20%20%20luck_season%20%3D%20mo.ui.dropdown(COURSE_SEASONS%2C%20value%3DCOURSE_SEASONS%5B-1%5D%2C%20label%3D%22Season%22)%0A%20%20%20%20replay%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dlambda%20count%3A%20count%20%2B%201%2C%20label%3D%22Roll%20the%20dice%20again%22)%0A%20%20%20%20mo.hstack(%5Bluck_season%2C%20replay%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%0A%20%20%20%20return%20luck_season%2C%20replay%0A%0A%0A%40app.cell%0Adef%20_(course%2C%20luck%2C%20luck_season%2C%20mo%2C%20random%2C%20rates%2C%20replay)%3A%0A%20%20%20%20_fixtures%20%3D%20%5Bm%20for%20m%20in%20course%20if%20m.season%20%3D%3D%20luck_season.value%5D%0A%20%20%20%20_real%20%3D%20luck.league_table(_fixtures)%0A%20%20%20%20_dice%20%3D%20luck.luck_only_table(_fixtures%2C%20rates%2C%20random.Random(replay.value))%0A%0A%20%20%20%20def%20_top(table%2C%20places%3D6)%3A%0A%20%20%20%20%20%20%20%20ranked%20%3D%20sorted(table.items()%2C%20key%3Dlambda%20item%3A%20-item%5B1%5D)%5B%3Aplaces%5D%0A%20%20%20%20%20%20%20%20return%20%5B%7B%22position%22%3A%20place%2C%20%22team%22%3A%20team%2C%20%22points%22%3A%20points%7D%20for%20place%2C%20(team%2C%20points)%20in%20enumerate(ranked%2C%201)%5D%0A%0A%20%20%20%20%23%20Side%20by%20side%20where%20there%20is%20room%20for%20two%20tables%2C%20one%20above%20the%20other%20on%20a%20phone.%0A%20%20%20%20_half%20%3D%20%7B%22flex%22%3A%20%221%201%20340px%22%7D%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**What%20happened**%22)%2C%20mo.ui.table(_top(_real)%2C%20selection%3DNone)%5D).style(_half)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**The%20same%20fixtures%2C%20decided%20by%20dice**%22)%2C%20mo.ui.table(_top(_dice)%2C%20selection%3DNone)%5D).style(_half)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20In%20the%20dice%20league%20the%20team%20names%20mean%20nothing%2C%20yet%20somebody%20still%20finishes%20top%2C%20usually%0A%20%20%20%20with%20a%20points%20total%20that%20would%20put%20a%20real%20team%20in%20the%20top%20half.%20Roll%20again%20and%20a%20different%0A%20%20%20%20team%20wins.%0A%0A%20%20%20%20To%20measure%20this%2C%20compare%20how%20spread%20out%20the%20points%20are.%20The%20**standard%20deviation**%20is%0A%20%20%20%20roughly%20the%20typical%20distance%20of%20a%20team's%20points%20from%20the%20average.%20The%20cell%20below%20works%20it%0A%20%20%20%20out%20for%20the%20real%20seasons%20and%20for%20200%20dice%20seasons.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(COURSE_SEASONS%2C%20course%2C%20luck%2C%20mo%2C%20random%2C%20rates)%3A%0A%20%20%20%20_seasons%20%3D%20%7Bseason%3A%20%5Bm%20for%20m%20in%20course%20if%20m.season%20%3D%3D%20season%5D%20for%20season%20in%20COURSE_SEASONS%7D%0A%20%20%20%20real_tables%20%3D%20%5Bluck.league_table(fixtures)%20for%20fixtures%20in%20_seasons.values()%5D%0A%20%20%20%20_rng%20%3D%20random.Random(2026)%0A%20%20%20%20dice_tables%20%3D%20%5Bluck.luck_only_table(_seasons%5BCOURSE_SEASONS%5Bi%20%25%2010%5D%5D%2C%20rates%2C%20_rng)%20for%20i%20in%20range(200)%5D%0A%0A%20%20%20%20real_spread%20%3D%20sum(luck.spread(table.values())%20for%20table%20in%20real_tables)%20%2F%20len(real_tables)%0A%20%20%20%20dice_spread%20%3D%20sum(luck.spread(table.values())%20for%20table%20in%20dice_tables)%20%2F%20len(dice_tables)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Breal_spread%3A.1f%7D%20points%22%2C%20label%3D%22Spread%20of%20a%20real%20table%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bdice_spread%3A.1f%7D%20points%22%2C%20label%3D%22Spread%20of%20a%20dice%20table%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B(dice_spread%20%2F%20real_spread)%20**%202%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Share%20of%20the%20real%20variation%20luck%20could%20explain%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22the%20ratio%20of%20the%20spreads%2C%20squared%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20dice_spread%2C%20dice_tables%2C%20real_spread%2C%20real_tables%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20BLUE%2C%0A%20%20%20%20INK%2C%0A%20%20%20%20ORANGE%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20dice_spread%2C%0A%20%20%20%20dice_tables%2C%0A%20%20%20%20fitted%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20real_spread%2C%0A%20%20%20%20real_tables%2C%0A)%3A%0A%20%20%20%20def%20_by_position(tables)%3A%0A%20%20%20%20%20%20%20%20ranked%20%3D%20%5Bsorted(table.values()%2C%20reverse%3DTrue)%20for%20table%20in%20tables%5D%0A%20%20%20%20%20%20%20%20return%20%5Bsum(season%5Bplace%5D%20for%20season%20in%20ranked)%20%2F%20len(ranked)%20for%20place%20in%20range(20)%5D%0A%0A%20%20%20%20_kinds%20%3D%20%7B%22Real%20seasons%22%3A%20_by_position(real_tables)%2C%20%22Dice%20seasons%22%3A%20_by_position(dice_tables)%7D%0A%20%20%20%20_data%20%3D%20alt.Data(%0A%20%20%20%20%20%20%20%20values%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22position%22%3A%20place%20%2B%201%2C%20%22kind%22%3A%20kind%2C%20%22points%22%3A%20points%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20kind%2C%20by_place%20in%20_kinds.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20place%2C%20points%20in%20enumerate(by_place)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_x%20%3D%20alt.X(%22position%3AQ%22%2C%20title%3D%22Final%20position%22%2C%20scale%3Dalt.Scale(domain%3D%5B1%2C%2020%5D)%2C%20axis%3Dalt.Axis(tickCount%3D20%2C%20grid%3DFalse))%0A%20%20%20%20_y%20%3D%20alt.Y(%22points%3AQ%22%2C%20title%3D%22Average%20points%22%2C%20scale%3Dalt.Scale(zero%3DTrue))%0A%20%20%20%20_lines%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_x%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22kind%3AN%22%2C%20title%3DNone%2C%20scale%3Dalt.Scale(domain%3Dlist(_kinds)%2C%20range%3D%5BBLUE%2C%20ORANGE%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22kind%3AN%22%2C%20%22position%3AQ%22%2C%20alt.Tooltip(%22points%3AQ%22%2C%20format%3D%22.1f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.transform_filter(alt.datum.position%20%3D%3D%2020)%0A%20%20%20%20%20%20%20%20.mark_text(align%3D%22left%22%2C%20dx%3D10%2C%20color%3DINK)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20text%3D%22kind%3AN%22)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted((_lines%20%2B%20_labels).properties(title%3D%22Points%20by%20final%20position%3A%20real%20seasons%20against%20dice%22%2C%20height%3D280))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20real%20table%20is%20much%20steeper%20than%20the%20dice%20table%2C%20so%20quality%20is%20real%20and%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20matters.%20But%20the%20dice%20table%20is%20not%20flat.%20Pure%20luck%20spreads%20teams%20by%20about%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bdice_spread%3A.0f%7D%20points%20either%20side%20of%20the%20average%2C%20against%20%7Breal_spread%3A.0f%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20in%20reality.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20take%20from%20this%20part.**%20A%20season%20is%2038%20matches%20per%20team%2C%20which%20is%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20small%20**sample**%3A%20few%20enough%20results%20that%20chance%20leaves%20a%20visible%20mark.%20Any%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20judgement%20about%20a%20team%2C%20or%20about%20a%20predictor%2C%20needs%20a%20lot%20of%20matches%20behind%20it.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Part%207%20comes%20back%20to%20this%20when%20comparing%20models.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%204.%20How%20many%20goals%3F%0A%0A%20%20%20%20Results%20come%20from%20goals%2C%20so%20a%20model%20of%20goals%20gives%20a%20model%20of%20results.%20Goals%20have%20a%20useful%0A%20%20%20%20property%3A%20a%20team%20gets%20many%20small%20chances%20in%20a%20match%20and%20scores%20from%20very%20few%20of%20them.%20When%0A%20%20%20%20something%20happens%20rarely%2C%20at%20a%20steady%20rate%2C%20and%20each%20occurrence%20is%20independent%20of%20the%0A%20%20%20%20others%2C%20the%20count%20follows%20a%20known%20pattern%20called%20the%20**Poisson%20distribution**.%0A%0A%20%20%20%20A%20**distribution**%20says%20how%20likely%20each%20possible%20value%20is.%20The%20Poisson%20distribution%20needs%0A%20%20%20%20only%20one%20number%2C%20the%20average%2C%20and%20from%20it%20gives%20the%20chance%20of%200%20goals%2C%201%20goal%2C%202%20goals%20and%0A%20%20%20%20so%20on.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(goals%2C%20show_source)%3A%0A%20%20%20%20show_source(goals.poisson)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BLUE%2C%20ORANGE%2C%20alt%2C%20course%2C%20fitted%2C%20goals%2C%20mo)%3A%0A%20%20%20%20_counts%20%3D%20goals.goal_counts(course)%0A%20%20%20%20_total%20%3D%20sum(_counts.values())%0A%20%20%20%20_average%20%3D%20sum(scored%20*%20times%20for%20scored%2C%20times%20in%20_counts.items())%20%2F%20_total%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_scored%20in%20range(0%2C%208)%3A%0A%20%20%20%20%20%20%20%20_rows.append(%7B%22goals%22%3A%20_scored%2C%20%22kind%22%3A%20%22What%20happened%22%2C%20%22share%22%3A%20_counts.get(_scored%2C%200)%20%2F%20_total%7D)%0A%20%20%20%20%20%20%20%20_rows.append(%7B%22goals%22%3A%20_scored%2C%20%22kind%22%3A%20%22Poisson%20formula%22%2C%20%22share%22%3A%20goals.poisson(_scored%2C%20_average)%7D)%0A%20%20%20%20_data%20%3D%20alt.Data(values%3D_rows)%0A%20%20%20%20_x%20%3D%20alt.X(%22goals%3AO%22%2C%20title%3D%22Goals%20scored%20by%20a%20team%20in%20a%20match%22%2C%20axis%3Dalt.Axis(labelAngle%3D0)%2C%20scale%3Dalt.Scale(paddingInner%3D0.35))%0A%20%20%20%20_y%20%3D%20alt.Y(%22share%3AQ%22%2C%20title%3D%22Share%20of%20the%20time%22%2C%20axis%3Dalt.Axis(format%3D%22%25%22))%0A%20%20%20%20_color%20%3D%20alt.Color(%0A%20%20%20%20%20%20%20%20%22kind%3AN%22%2C%20title%3DNone%2C%20scale%3Dalt.Scale(domain%3D%5B%22What%20happened%22%2C%20%22Poisson%20formula%22%5D%2C%20range%3D%5BBLUE%2C%20ORANGE%5D)%0A%20%20%20%20)%0A%20%20%20%20_tooltip%20%3D%20%5B%22kind%3AN%22%2C%20%22goals%3AO%22%2C%20alt.Tooltip(%22share%3AQ%22%2C%20format%3D%22.1%25%22)%5D%0A%20%20%20%20_bars%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.transform_filter(alt.datum.kind%20%3D%3D%20%22What%20happened%22)%0A%20%20%20%20%20%20%20%20.mark_bar(cornerRadiusEnd%3D4)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20color%3D_color%2C%20tooltip%3D_tooltip)%0A%20%20%20%20)%0A%20%20%20%20_points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_data)%0A%20%20%20%20%20%20%20%20.transform_filter(alt.datum.kind%20%3D%3D%20%22Poisson%20formula%22)%0A%20%20%20%20%20%20%20%20.mark_point(size%3D110%2C%20filled%3DTrue%2C%20stroke%3D%22%23fcfcfb%22%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20color%3D_color%2C%20tooltip%3D_tooltip)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Across%20the%20data%20a%20team%20scores%20**%7B_average%3A.2f%7D**%20goals%20a%20match%20on%20average.%20Put%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20that%20one%20number%20into%20the%20formula%20and%20compare%20its%20answer%20with%20what%20happened%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted((_bars%20%2B%20_points).properties(title%3D%22Goals%20per%20team%20per%20match%3A%20data%20against%20the%20formula%22%2C%20height%3D280))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20these%20numbers%20as%20a%20table%22%3A%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22goals%22%3A%20scored%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22what%20happened%22%3A%20f%22%7B_counts.get(scored%2C%200)%20%2F%20_total%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Poisson%20formula%22%3A%20f%22%7Bgoals.poisson(scored%2C%20_average)%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20scored%20in%20range(0%2C%208)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20fit%20is%20close%2C%20from%20a%20formula%20with%20a%20single%20number%20in%20it.%20That%20is%20what%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20**model**%20is%3A%20a%20simplified%20description%20that%20is%20wrong%20in%20detail%20and%20useful%20anyway.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20match%20has%20two%20teams.%20If%20each%20side's%20goals%20are%20treated%20as%20independent%2C%20the%20chance%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20scoreline%20is%20the%20two%20chances%20multiplied%20together%2C%20and%20adding%20up%20the%20scorelines%20gives%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20forecast%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(goals%2C%20mo%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%5Bshow_source(goals.score_chances)%2C%20show_source(goals.outcome_chances)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20home_average%20%3D%20mo.ui.slider(0.2%2C%203.5%2C%20step%3D0.1%2C%20value%3D1.6%2C%20label%3D%22Home%20team's%20average%20goals%22%2C%20show_value%3DTrue)%0A%20%20%20%20away_average%20%3D%20mo.ui.slider(0.2%2C%203.5%2C%20step%3D0.1%2C%20value%3D1.2%2C%20label%3D%22Away%20team's%20average%20goals%22%2C%20show_value%3DTrue)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22**Try%20it.**%20Set%20each%20side's%20average%20and%20watch%20the%20forecast%20change.%22)%2C%20mo.hstack(%5Bhome_average%2C%20away_average%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%5D)%0A%20%20%20%20return%20away_average%2C%20home_average%0A%0A%0A%40app.cell%0Adef%20_(away_average%2C%20goals%2C%20home_average%2C%20mo%2C%20score_heatmap)%3A%0A%20%20%20%20_forecast%20%3D%20goals.outcome_chances(home_average.value%2C%20away_average.value)%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20score_heatmap(home_average.value%2C%20away_average.value%2C%20%22Chance%20of%20each%20scoreline%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'H'%5D%3A.0%25%7D%22%2C%20label%3D%22Home%20win%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'D'%5D%3A.0%25%7D%22%2C%20label%3D%22Draw%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'A'%5D%3A.0%25%7D%22%2C%20label%3D%22Away%20win%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20**What%20to%20take%20from%20this%20part.**%20Two%20numbers%2C%20each%20side's%20average%20goals%2C%20are%20enough%20to%0A%20%20%20%20produce%20a%20full%20forecast%20and%20the%20chance%20of%20every%20scoreline.%20The%20remaining%20problem%20is%20where%0A%20%20%20%20those%20two%20numbers%20come%20from%20for%20a%20particular%20match.%20They%20depend%20on%20who%20is%20playing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%205.%20How%20good%20is%20each%20team%3F%0A%0A%20%20%20%20Give%20every%20team%20two%20ratings%3A%20an%20**attack**%20and%20a%20**defence**.%20Then%20say%20that%20the%20goals%20a%0A%20%20%20%20team%20is%20expected%20to%20score%20depend%20on%20its%20attack%2C%20the%20opponent's%20defence%2C%20and%20whether%20it%20is%0A%20%20%20%20at%20home%3A%0A%0A%20%20%20%20%3E%20home%20team's%20average%20goals%20%3D%20league%20average%20%C3%97%20home%20boost%20%C3%97%20home%20attack%20%C3%B7%20away%20defence%0A%0A%20%20%20%20The%20away%20team's%20average%20is%20the%20same%20without%20the%20home%20boost.%20The%20ratings%20are%20stored%20as%0A%20%20%20%20logarithms%2C%20which%20turns%20the%20multiplying%20into%20adding.%20That%20is%20all%20%60expected_goals%60%20does%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Strengths%2C%20show_source)%3A%0A%20%20%20%20show_source(Strengths.expected_goals)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20Numbers%20such%20as%20the%20attack%20and%20defence%20ratings%2C%20which%20a%20model%20needs%20but%20which%20nobody%20can%0A%20%20%20%20look%20up%2C%20are%20its%20**parameters**.%20Finding%20good%20values%20for%20them%20from%20data%20is%20called%0A%20%20%20%20**fitting**%20the%20model.%0A%0A%20%20%20%20%22Good%22%20has%20a%20precise%20meaning%20here.%20For%20any%20set%20of%20ratings%2C%20part%204's%20formula%20gives%20the%0A%20%20%20%20chance%20of%20each%20score%20that%20actually%20happened.%20Multiply%20those%20chances%20together%20and%20you%20get%0A%20%20%20%20the%20**likelihood**%3A%20how%20probable%20the%20real%20results%20would%20have%20been%20if%20the%20ratings%20were%0A%20%20%20%20true.%20The%20best%20ratings%20are%20the%20ones%20that%20make%20what%20happened%20most%20likely.%0A%0A%20%20%20%20%60fit%60%20finds%20them%20with%20a%20loop.%20It%20starts%20with%20every%20team%20rated%20average%2C%20then%20repeats%3A%0A%0A%20%20%20%201.%20Work%20out%20how%20many%20goals%20each%20team%20*should*%20have%20scored%20and%20conceded%20under%20the%20current%0A%20%20%20%20%20%20%20ratings.%0A%20%20%20%202.%20Compare%20with%20how%20many%20it%20actually%20did.%0A%20%20%20%203.%20Move%20each%20rating%20part%20of%20the%20way%20towards%20closing%20the%20gap.%0A%0A%20%20%20%20Each%20pass%20is%20a%20sweep%2C%20and%20it%20stops%20when%20the%20ratings%20stop%20moving.%20Two%20refinements%20are%20in%0A%20%20%20%20the%20code.%20Recent%20matches%20count%20for%20more%20than%20old%20ones%3A%20a%20match%20loses%20half%20its%20weight%20every%0A%20%20%20%20%60half_life_days%60.%20And%20%60caution%60%20adds%20a%20few%20imaginary%20average%20goals%20to%20every%20team%2C%20so%20that%0A%20%20%20%20three%20good%20games%20don't%20convince%20the%20model%20that%20a%20newly%20promoted%20side%20is%20brilliant.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Strengths%2C%20show_source)%3A%0A%20%20%20%20show_source(Strengths.fit)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Strengths%2C%20course%2C%20math%2C%20mo)%3A%0A%20%20%20%20strengths_model%20%3D%20Strengths().fit(course)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(len(strengths_model.progress)%2C%20label%3D%22Sweeps%20until%20the%20ratings%20settled%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%C3%97%7Bmath.exp(strengths_model.home_boost)%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Home%20boost%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22multiplies%20the%20home%20team's%20goals%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmath.exp(strengths_model.base)%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22League%20average%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22goals%20by%20an%20average%20away%20team%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(strengths_model%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BLUE%2C%20GREY%2C%20INK%2C%20alt%2C%20course%2C%20data%2C%20fitted%2C%20mo%2C%20strengths_model)%3A%0A%20%20%20%20_progress%20%3D%20alt.Data(values%3D%5B%7B%22sweep%22%3A%20i%20%2B%201%2C%20%22explained%22%3A%20v%7D%20for%20i%2C%20v%20in%20enumerate(strengths_model.progress)%5D)%0A%20%20%20%20_progress_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_progress)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue%2C%20color%3DBLUE)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22sweep%3AQ%22%2C%20title%3D%22Sweep%22%2C%20axis%3Dalt.Axis(tickMinStep%3D1))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22explained%3AQ%22%2C%20title%3D%22Log%20of%20the%20likelihood%20(higher%20is%20better)%22%2C%20scale%3Dalt.Scale(zero%3DFalse))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22sweep%3AQ%22%2C%20alt.Tooltip(%22explained%3AQ%22%2C%20format%3D%22.1f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22Each%20sweep%20makes%20the%20real%20results%20more%20likely%22%2C%20height%3D220)%0A%20%20%20%20)%0A%0A%20%20%20%20_current%20%3D%20data.teams_in(%5Bm%20for%20m%20in%20course%20if%20m.season%20%3D%3D%20course%5B-1%5D.season%5D)%0A%20%20%20%20_ratings%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%22team%22%3A%20team%2C%20%22attack%22%3A%20strengths_model.attack%5Bteam%5D%2C%20%22defence%22%3A%20strengths_model.defence%5Bteam%5D%7D%0A%20%20%20%20%20%20%20%20for%20team%20in%20_current%0A%20%20%20%20%5D%0A%20%20%20%20_teams%20%3D%20alt.Data(values%3D_ratings)%0A%20%20%20%20_x%20%3D%20alt.X(%22attack%3AQ%22%2C%20title%3D%22Attack%20rating%20(further%20right%20scores%20more)%22)%0A%20%20%20%20_y%20%3D%20alt.Y(%22defence%3AQ%22%2C%20title%3D%22Defence%20rating%20(higher%20concedes%20less)%22)%0A%20%20%20%20_zero_x%20%3D%20alt.Chart(alt.Data(values%3D%5B%7B%22at%22%3A%200%7D%5D)).mark_rule(color%3DGREY).encode(x%3D%22at%3AQ%22)%0A%20%20%20%20_zero_y%20%3D%20alt.Chart(alt.Data(values%3D%5B%7B%22at%22%3A%200%7D%5D)).mark_rule(color%3DGREY).encode(y%3D%22at%3AQ%22)%0A%20%20%20%20_dots%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_teams)%0A%20%20%20%20%20%20%20%20.mark_point(color%3DBLUE%2C%20size%3D80%2C%20filled%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20tooltip%3D%5B%22team%3AN%22%2C%20alt.Tooltip(%22attack%3AQ%22%2C%20format%3D%22%2B.2f%22)%2C%20alt.Tooltip(%22defence%3AQ%22%2C%20format%3D%22%2B.2f%22)%5D)%0A%20%20%20%20)%0A%20%20%20%20_names%20%3D%20alt.Chart(_teams).mark_text(dy%3D-11%2C%20color%3DINK%2C%20fontSize%3D11).encode(x%3D_x%2C%20y%3D_y%2C%20text%3D%22team%3AN%22)%0A%20%20%20%20_ratings_chart%20%3D%20(_zero_x%20%2B%20_zero_y%20%2B%20_dots%20%2B%20_names).properties(%0A%20%20%20%20%20%20%20%20title%3Df%22Fitted%20ratings%20for%20the%20%7Bcourse%5B-1%5D.season%7D%20teams.%20Zero%20is%20about%20average.%22%2C%20height%3D380%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted(_progress_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22The%20ratings%20it%20settled%20on%2C%20for%20the%20teams%20in%20the%20most%20recent%20season%20of%20the%20data%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted(_ratings_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20the%20ratings%20as%20a%20table%22%3A%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22team%22%3A%20r%5B%22team%22%5D%2C%20%22attack%22%3A%20f%22%7Br%5B'attack'%5D%3A%2B.2f%7D%22%2C%20%22defence%22%3A%20f%22%7Br%5B'defence'%5D%3A%2B.2f%7D%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20sorted(_ratings%2C%20key%3Dlambda%20r%3A%20-(r%5B%22attack%22%5D%20%2B%20r%5B%22defence%22%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20page_size%3D20%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(course%2C%20data%2C%20mo)%3A%0A%20%20%20%20_current%20%3D%20data.teams_in(%5Bm%20for%20m%20in%20course%20if%20m.season%20%3D%3D%20course%5B-1%5D.season%5D)%0A%20%20%20%20fixture_home%20%3D%20mo.ui.dropdown(_current%2C%20value%3D%22Arsenal%22%20if%20%22Arsenal%22%20in%20_current%20else%20_current%5B0%5D%2C%20label%3D%22Home%22)%0A%20%20%20%20fixture_away%20%3D%20mo.ui.dropdown(_current%2C%20value%3D%22Everton%22%20if%20%22Everton%22%20in%20_current%20else%20_current%5B-1%5D%2C%20label%3D%22Away%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Try%20it.**%20Pick%20a%20match.%20The%20ratings%20give%20each%20side's%20average%20goals%2C%20and%20part%204's%20code%20turns%20those%20into%20a%20forecast.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfixture_home%2C%20fixture_away%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20fixture_away%2C%20fixture_home%0A%0A%0A%40app.cell%0Adef%20_(fixture_away%2C%20fixture_home%2C%20mo%2C%20score_heatmap%2C%20strengths_model)%3A%0A%20%20%20%20mo.stop(fixture_home.value%20%3D%3D%20fixture_away.value%2C%20mo.callout(%22Pick%20two%20different%20teams.%22%2C%20kind%3D%22warn%22))%0A%20%20%20%20_home_goals%2C%20_away_goals%20%3D%20strengths_model.expected_goals(fixture_home.value%2C%20fixture_away.value)%0A%20%20%20%20_forecast%20%3D%20strengths_model.predict(fixture_home.value%2C%20fixture_away.value)%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20score_heatmap(_home_goals%2C%20_away_goals%2C%20f%22%7Bfixture_home.value%7D%20v%20%7Bfixture_away.value%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_home_goals%3A.2f%7D%20%E2%80%93%20%7B_away_goals%3A.2f%7D%22%2C%20label%3D%22Expected%20goals%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'H'%5D%3A.0%25%7D%22%2C%20label%3D%22Home%20win%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'D'%5D%3A.0%25%7D%22%2C%20label%3D%22Draw%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_forecast%5B'A'%5D%3A.0%25%7D%22%2C%20label%3D%22Away%20win%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20**What%20to%20take%20from%20this%20part.**%20Fitting%20is%20a%20search%20for%20the%20parameter%20values%20that%20make%20the%0A%20%20%20%20data%20most%20likely%2C%20and%20here%20the%20search%20is%20a%20loop%20of%20%22compare%2C%20then%20nudge%22.%20Nearly%20every%0A%20%20%20%20model%20in%20statistics%20and%20machine%20learning%20is%20fitted%20by%20some%20version%20of%20that%20loop.%20This%20is%0A%20%20%20%20the%20first%20real%20predictor%20in%20the%20course%3A%20the%20forecasts%20now%20depend%20on%20who%20is%20playing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%206.%20Can%20ratings%20keep%20themselves%20up%20to%20date%3F%0A%0A%20%20%20%20The%20strengths%20model%20refits%20everything%20from%20scratch%20whenever%20new%20results%20arrive.%20**Elo**%0A%20%20%20%20ratings%2C%20invented%20for%20chess%2C%20take%20the%20opposite%20approach%3A%20one%20number%20per%20team%2C%20adjusted%20a%0A%20%20%20%20little%20after%20every%20match%20and%20never%20recomputed.%0A%0A%20%20%20%20Before%20a%20match%2C%20the%20gap%20between%20two%20teams'%20ratings%20is%20turned%20into%20chances.%20%60predict%60%20does%0A%20%20%20%20that.%20The%20home%20team%20gets%20a%20fixed%20number%20of%20points%20added%20for%20playing%20at%20home.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Elo%2C%20show_source)%3A%0A%20%20%20%20show_source(Elo.predict)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20After%20the%20match%2C%20%60update%60%20compares%20what%20happened%20with%20what%20was%20expected.%20A%20win%20counts%20as%0A%20%20%20%201%2C%20a%20draw%20as%20a%20half%20and%20a%20loss%20as%200%2C%20and%20the%20**expected%20score**%20is%20the%20same%20sum%20weighted%20by%0A%20%20%20%20the%20forecast.%20Then%3A%0A%0A%20%20%20%20%3E%20new%20rating%20%3D%20old%20rating%20%2B%20K%20%C3%97%20(actual%20score%20%E2%88%92%20expected%20score)%0A%0A%20%20%20%20Beat%20a%20team%20you%20were%20expected%20to%20beat%20and%20your%20rating%20barely%20moves.%20Lose%20to%20them%20and%20it%0A%20%20%20%20drops%20sharply.%20The%20away%20team's%20rating%20moves%20by%20the%20same%20amount%20in%20the%20other%20direction.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Elo%2C%20show_source)%3A%0A%20%20%20%20show_source(Elo.update)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(course%2C%20data%2C%20mo)%3A%0A%20%20%20%20_everyone%20%3D%20data.teams_in(course)%0A%20%20%20%20_suggested%20%3D%20%5Bteam%20for%20team%20in%20(%22Man%20City%22%2C%20%22Arsenal%22%2C%20%22Leicester%22%2C%20%22Newcastle%22)%20if%20team%20in%20_everyone%5D%0A%20%20%20%20k_slider%20%3D%20mo.ui.slider(2%2C%2060%2C%20step%3D2%2C%20value%3D20%2C%20label%3D%22K%3A%20how%20far%20one%20result%20moves%20a%20rating%22%2C%20show_value%3DTrue)%0A%20%20%20%20elo_teams%20%3D%20mo.ui.multiselect(_everyone%2C%20value%3D_suggested%2C%20label%3D%22Teams%20to%20plot%20(up%20to%20four)%22%2C%20max_selections%3D4)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Try%20it.**%20The%20cell%20below%20replays%20every%20match%20in%20order.%20Change%20K%20to%20see%20what%20it%20does%20to%20the%20ratings.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bk_slider%2C%20elo_teams%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20elo_teams%2C%20k_slider%0A%0A%0A%40app.cell%0Adef%20_(Elo%2C%20course%2C%20k_slider)%3A%0A%20%20%20%20rating_model%20%3D%20Elo(k%3Dk_slider.value)%0A%20%20%20%20rating_history%20%3D%20%5B%5D%0A%20%20%20%20for%20_match%20in%20course%3A%0A%20%20%20%20%20%20%20%20rating_model.update(_match)%0A%20%20%20%20%20%20%20%20rating_history.append((_match.date%2C%20_match.home%2C%20rating_model.rating(_match.home)))%0A%20%20%20%20%20%20%20%20rating_history.append((_match.date%2C%20_match.away%2C%20rating_model.rating(_match.away)))%0A%20%20%20%20return%20(rating_history%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(INK%2C%20SERIES%2C%20alt%2C%20elo_teams%2C%20fitted%2C%20k_slider%2C%20mo%2C%20rating_history)%3A%0A%20%20%20%20mo.stop(not%20elo_teams.value%2C%20mo.callout(%22Pick%20at%20least%20one%20team%20to%20plot.%22%2C%20kind%3D%22warn%22))%0A%20%20%20%20_chosen%20%3D%20list(elo_teams.value)%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%22date%22%3A%20day.isoformat()%2C%20%22team%22%3A%20team%2C%20%22rating%22%3A%20rating%7D%0A%20%20%20%20%20%20%20%20for%20day%2C%20team%2C%20rating%20in%20rating_history%0A%20%20%20%20%20%20%20%20if%20team%20in%20_chosen%0A%20%20%20%20%5D%0A%20%20%20%20_last%20%3D%20%7Brow%5B%22team%22%5D%3A%20row%20for%20row%20in%20_rows%7D%0A%20%20%20%20_x%20%3D%20alt.X(%22date%3AT%22%2C%20title%3DNone)%0A%20%20%20%20_y%20%3D%20alt.Y(%22rating%3AQ%22%2C%20title%3D%22Elo%20rating%22%2C%20scale%3Dalt.Scale(zero%3DFalse))%0A%20%20%20%20_lines%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(alt.Data(values%3D_rows))%0A%20%20%20%20%20%20%20%20.mark_line(strokeWidth%3D1.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_x%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22team%3AN%22%2C%20title%3DNone%2C%20scale%3Dalt.Scale(domain%3D_chosen%2C%20range%3DSERIES%5B%3A%20len(_chosen)%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22team%3AN%22%2C%20%22date%3AT%22%2C%20alt.Tooltip(%22rating%3AQ%22%2C%20format%3D%22.0f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(alt.Data(values%3Dlist(_last.values())))%0A%20%20%20%20%20%20%20%20.mark_text(align%3D%22left%22%2C%20dx%3D8%2C%20color%3DINK)%0A%20%20%20%20%20%20%20%20.encode(x%3D_x%2C%20y%3D_y%2C%20text%3D%22team%3AN%22)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted((_lines%20%2B%20_labels).properties(title%3Df%22Elo%20ratings%20after%20every%20match%2C%20with%20K%20%3D%20%7Bk_slider.value%7D%22%2C%20height%3D300))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Every%20team%20starts%20on%201500.%20A%20flat%20stretch%2C%20or%20a%20line%20that%20ends%20early%2C%20is%20a%20spell%0A%20%20%20%20%20%20%20%20%20%20%20%20outside%20the%20Premier%20League%3A%20the%20rating%20waits%20where%20it%20was%20until%20the%20team%20comes%20back.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20With%20a%20small%20K%20the%20lines%20are%20smooth%20but%20slow%20to%20notice%20that%20a%20team%20has%20changed.%20With%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20large%20K%20they%20react%20at%20once%20and%20also%20chase%20every%20lucky%20result.%20K%20is%20a%20**learning%0A%20%20%20%20%20%20%20%20%20%20%20%20rate**%3A%20how%20much%20to%20trust%20one%20new%20piece%20of%20evidence%20against%20everything%20seen%20before.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20take%20from%20this%20part.**%20Elo%20and%20the%20strengths%20model%20learn%20the%20same%20kind%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20thing%20in%20two%20different%20ways.%20One%20refits%20to%20all%20the%20data%3B%20the%20other%20makes%20a%20small%0A%20%20%20%20%20%20%20%20%20%20%20%20correction%20after%20each%20result.%20Updating%20a%20model%20one%20example%20at%20a%20time%20is%20called%0A%20%20%20%20%20%20%20%20%20%20%20%20**online%20learning**%2C%20and%20the%20%22compare%2C%20then%20nudge%22%20step%20is%20the%20same%20idea%20as%20part%205's%0A%20%20%20%20%20%20%20%20%20%20%20%20sweep%2C%20applied%20to%20a%20single%20match.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%207.%20Does%20any%20of%20it%20work%3F%0A%0A%20%20%20%20There%20are%20now%20three%20models%3A%20base%20rates%2C%20team%20strengths%20and%20Elo.%20Marking%20them%20fairly%20is%0A%20%20%20%20harder%20than%20it%20sounds%2C%20because%20a%20model%20can%20look%20excellent%20on%20the%20matches%20it%20learned%20from%0A%20%20%20%20and%20be%20useless%20on%20new%20ones.%0A%0A%20%20%20%20Here%20is%20a%20model%20built%20to%20show%20the%20problem.%20It%20remembers%20how%20every%20exact%20pairing%20ended%0A%20%20%20%20before%2C%20and%20forecasts%20the%20same%20again.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(outcomes)%3A%0A%20%20%20%20class%20Memoriser%3A%0A%20%20%20%20%20%20%20%20%22%22%22Remembers%20how%20each%20home-and-away%20pairing%20ended%20before%2C%20and%20expects%20the%20same%20again.%22%22%22%0A%0A%20%20%20%20%20%20%20%20def%20fit(self%2C%20matches)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.seen%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.fallback%20%3D%20outcomes.outcome_rates(matches)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20match%20in%20matches%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.update(match)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%0A%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20home%2C%20away%2C%20date%3DNone)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20self.seen.get((home%2C%20away))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20counts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20self.fallback%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20A%20sliver%20for%20outcomes%20this%20pairing%20hasn't%20produced%20yet%2C%20so%20nothing%20is%20exactly%200%25.%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7Boutcome%3A%20(counts%5Boutcome%5D%20%2B%200.02)%20%2F%20(sum(counts.values())%20%2B%200.06)%20for%20outcome%20in%20%22HDA%22%7D%0A%0A%20%20%20%20%20%20%20%20def%20update(self%2C%20match)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.seen.setdefault((match.home%2C%20match.away)%2C%20%7B%22H%22%3A%200%2C%20%22D%22%3A%200%2C%20%22A%22%3A%200%7D)%5Bmatch.result%5D%20%2B%3D%201%0A%0A%20%20%20%20return%20(Memoriser%2C)%0A%0A%0A%40app.cell%0Adef%20_(COURSE_SEASONS%2C%20Memoriser%2C%20backtest%2C%20course%2C%20mo%2C%20outcomes%2C%20scoring)%3A%0A%20%20%20%20%23%20The%20last%20three%20seasons%20are%20held%20back%20as%20a%20test.%20Nothing%20may%20learn%20from%20them%20in%20advance.%0A%20%20%20%20TEST%20%3D%20COURSE_SEASONS%5B-3%3A%5D%0A%20%20%20%20earlier%20%3D%20%5Bm%20for%20m%20in%20course%20if%20m.season%20%3C%20TEST%5B0%5D%5D%0A%0A%20%20%20%20_memoriser%20%3D%20Memoriser().fit(earlier)%0A%20%20%20%20_seen_loss%20%3D%20scoring.log_loss(%5B_memoriser.predict(m.home%2C%20m.away)%20for%20m%20in%20earlier%5D%2C%20%5Bm.result%20for%20m%20in%20earlier%5D)%0A%20%20%20%20_unseen_loss%20%3D%20backtest.marks(backtest.walk_forward(Memoriser%2C%20course%2C%20TEST))%5B%22log%20loss%22%5D%0A%20%20%20%20_base_loss%20%3D%20backtest.marks(backtest.walk_forward(outcomes.BaseRates%2C%20course%2C%20TEST))%5B%22log%20loss%22%5D%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_seen_loss%3A.3f%7D%22%2C%20label%3D%22Memoriser%20on%20matches%20it%20learned%20from%22%2C%20caption%3D%22log%20loss%2C%20lower%20is%20better%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_unseen_loss%3A.3f%7D%22%2C%20label%3D%22Memoriser%20on%20matches%20it%20had%20not%20seen%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_base_loss%3A.3f%7D%22%2C%20label%3D%22Base%20rates%20on%20those%20same%20unseen%20matches%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20TEST%2C%20earlier%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(TEST%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20On%20the%20matches%20it%20memorised%2C%20the%20model%20looks%20far%20better%20than%20anything%20else%20in%20this%0A%20%20%20%20notebook.%20On%20new%20matches%20it%20is%20worse%20than%20saying%20the%20base%20rates.%20It%20learned%20the%20noise%20in%0A%20%20%20%20its%20data%20instead%20of%20anything%20that%20lasts%2C%20which%20is%20called%20**overfitting**.%20Every%20model%0A%20%20%20%20overfits%20to%20some%20degree%2C%20so%20marks%20on%20data%20a%20model%20has%20already%20seen%20are%20never%20to%20be%20trusted.%0A%0A%20%20%20%20The%20honest%20test%20copies%20how%20a%20predictor%20is%20really%20used.%20Hold%20some%20seasons%20back%2C%20here%0A%20%20%20%20%7BTEST%5B0%5D%7D%20to%20%7BTEST%5B-1%5D%7D.%20At%20the%20start%20of%20each%20one%2C%20fit%20the%20model%20on%20everything%20before%20it.%0A%20%20%20%20Then%20go%20through%20the%20season%20in%20order%3A%20forecast%20a%20match%2C%20record%20the%20forecast%2C%20and%20only%20then%0A%20%20%20%20show%20the%20model%20the%20result.%20This%20is%20a%20**backtest**%2C%20and%20%60walk_forward%60%20is%20all%20of%20it%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(backtest%2C%20show_source)%3A%0A%20%20%20%20show_source(backtest.walk_forward)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Elo%2C%20Strengths%2C%20TEST%2C%20backtest%2C%20course%2C%20mo%2C%20outcomes)%3A%0A%20%20%20%20tested%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Base%20rates%22%3A%20backtest.walk_forward(outcomes.BaseRates%2C%20course%2C%20TEST)%2C%0A%20%20%20%20%20%20%20%20%22Elo%22%3A%20backtest.walk_forward(Elo%2C%20course%2C%20TEST)%2C%0A%20%20%20%20%20%20%20%20%22Team%20strengths%22%3A%20backtest.walk_forward(Strengths%2C%20course%2C%20TEST)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20board(entries)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20scoreboard%20as%20a%20table.%22%22%22%0A%20%20%20%20%20%20%20%20return%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22model%22%3A%20row%5B%22model%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22log%20loss%22%3A%20f%22%7Brow%5B'log%20loss'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Brier%22%3A%20f%22%7Brow%5B'brier'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%22%3A%20f%22%7Brow%5B'accuracy'%5D%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22matches%22%3A%20row%5B%22matches%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20row%20in%20backtest.scoreboard(entries)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20board(tested)%0A%20%20%20%20return%20board%2C%20tested%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(backtest%2C%20mo%2C%20tested)%3A%0A%20%20%20%20_elo_gap%2C%20_elo_error%20%3D%20backtest.edge(tested%5B%22Elo%22%5D%2C%20tested%5B%22Base%20rates%22%5D)%0A%20%20%20%20_pair_gap%2C%20_pair_error%20%3D%20backtest.edge(tested%5B%22Elo%22%5D%2C%20tested%5B%22Team%20strengths%22%5D)%0A%20%20%20%20_verdict%20%3D%20%22too%20small%20to%20call%22%20if%20abs(_pair_gap)%20%3C%202%20*%20_pair_error%20else%20%22probably%20real%22%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20Both%20real%20models%20beat%20the%20base%20rates%20clearly.%20The%20**Brier**%20column%20is%20a%20second%20way%20of%0A%20%20%20%20%20%20%20%20marking%20probabilities%2C%20the%20average%20squared%20gap%20between%20forecast%20and%20outcome%2C%20shown%20as%20a%0A%20%20%20%20%20%20%20%20cross-check%20on%20log%20loss.%0A%0A%20%20%20%20%20%20%20%20**How%20sure%20can%20we%20be%3F**%20Part%203%20showed%20that%20small%20samples%20mislead%2C%20and%20a%20test%20is%20a%0A%20%20%20%20%20%20%20%20sample%20too.%20%60backtest.edge%60%20measures%20the%20gap%20between%20two%20models%20match%20by%20match%20and%0A%20%20%20%20%20%20%20%20works%20out%20how%20far%20luck%20alone%20could%20have%20moved%20it%2C%20a%20quantity%20called%20the%20**standard%0A%20%20%20%20%20%20%20%20error**.%20As%20a%20rule%20of%20thumb%2C%20a%20gap%20smaller%20than%20twice%20its%20standard%20error%20could%20easily%0A%20%20%20%20%20%20%20%20be%20luck.%0A%0A%20%20%20%20%20%20%20%20%7C%20Comparison%20%7C%20Gap%20in%20log%20loss%20%7C%20Standard%20error%20%7C%20Verdict%20%7C%0A%20%20%20%20%20%20%20%20%7C---%7C---%3A%7C---%3A%7C---%7C%0A%20%20%20%20%20%20%20%20%7C%20Elo%20against%20base%20rates%20%7C%20%7B_elo_gap%3A.4f%7D%20%7C%20%7B_elo_error%3A.4f%7D%20%7C%20%7B%22real%22%20if%20_elo_gap%20%3E%202%20*%20_elo_error%20else%20%22unclear%22%7D%20%7C%0A%20%20%20%20%20%20%20%20%7C%20Elo%20against%20team%20strengths%20%7C%20%7B_pair_gap%3A%2B.4f%7D%20%7C%20%7B_pair_error%3A.4f%7D%20%7C%20%7B_verdict%7D%20%7C%0A%0A%20%20%20%20%20%20%20%20So%20the%20models%20are%20better%20than%20the%20baseline%20beyond%20reasonable%20doubt%2C%20and%20three%20seasons%0A%20%20%20%20%20%20%20%20are%20not%20enough%20to%20say%20which%20of%20the%20two%20is%20better.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(backtest%2C%20show_source)%3A%0A%20%20%20%20show_source(backtest.edge)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Choosing%20settings%20without%20cheating%0A%0A%20%20%20%20Elo%20has%20a%20K%2C%20and%20the%20strengths%20model%20has%20a%20half-life.%20If%20those%20were%20chosen%20by%20trying%0A%20%20%20%20values%20on%20the%20test%20seasons%20and%20keeping%20the%20best%2C%20the%20test%20would%20no%20longer%20be%20a%20test%3A%20the%0A%20%20%20%20settings%20would%20have%20been%20fitted%20to%20it.%20So%20a%20third%20set%20of%20seasons%20sits%20between%20the%20two.%20The%0A%20%20%20%20settings%20are%20tried%20on%20these%20**validation**%20seasons%2C%20and%20the%20test%20seasons%20are%20used%20once%2C%20at%0A%20%20%20%20the%20end.%20The%20defaults%20in%20the%20package%20were%20chosen%20this%20way.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BLUE%2C%20COURSE_SEASONS%2C%20Elo%2C%20alt%2C%20backtest%2C%20course%2C%20fitted%2C%20mo)%3A%0A%20%20%20%20VALIDATION%20%3D%20COURSE_SEASONS%5B4%3A7%5D%0A%20%20%20%20_sweep%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%22k%22%3A%20k%2C%20%22loss%22%3A%20backtest.marks(backtest.walk_forward(lambda%3A%20Elo(k%3Dk)%2C%20course%2C%20VALIDATION))%5B%22log%20loss%22%5D%7D%0A%20%20%20%20%20%20%20%20for%20k%20in%20(5%2C%2010%2C%2015%2C%2020%2C%2025%2C%2030%2C%2040%2C%2050)%0A%20%20%20%20%5D%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(alt.Data(values%3D_sweep))%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue%2C%20color%3DBLUE)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22k%3AQ%22%2C%20title%3D%22K%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22loss%3AQ%22%2C%20title%3D%22Log%20loss%20on%20the%20validation%20seasons%22%2C%20scale%3Dalt.Scale(zero%3DFalse))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22k%3AQ%22%2C%20alt.Tooltip(%22loss%3AQ%22%2C%20format%3D%22.4f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3Df%22Trying%20values%20of%20K%20on%20%7BVALIDATION%5B0%5D%7D%20to%20%7BVALIDATION%5B-1%5D%7D%22%2C%20height%3D220)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted(_chart)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20curve%20is%20shallow%20near%20its%20lowest%20point%2C%20so%20the%20exact%20value%20of%20K%20matters%20little.%0A%20%20%20%20%20%20%20%20%20%20%20%20Note%20that%20the%20vertical%20axis%20does%20not%20start%20at%20zero%3A%20the%20whole%20range%20shown%20is%20small.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Do%20the%20probabilities%20mean%20what%20they%20say%3F%0A%0A%20%20%20%20A%20forecaster%20is%20**calibrated**%20if%20the%20things%20it%20calls%2030%25%20happen%20about%2030%25%20of%20the%20time.%0A%20%20%20%20%60scoring.calibration%60%20sorts%20every%20probability%20the%20model%20stated%20into%20bands%20and%20checks%20how%0A%20%20%20%20often%20each%20band%20came%20true.%20Points%20on%20the%20diagonal%20line%20are%20perfect.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BLUE%2C%20GREY%2C%20alt%2C%20fitted%2C%20mo%2C%20scoring%2C%20tested)%3A%0A%20%20%20%20_bands%20%3D%20scoring.calibration(%5Bp.forecast%20for%20p%20in%20tested%5B%22Elo%22%5D%5D%2C%20%5Bp.match.result%20for%20p%20in%20tested%5B%22Elo%22%5D%5D)%0A%20%20%20%20_diagonal%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(alt.Data(values%3D%5B%7B%22stated%22%3A%200%2C%20%22happened%22%3A%200%7D%2C%20%7B%22stated%22%3A%201%2C%20%22happened%22%3A%201%7D%5D))%0A%20%20%20%20%20%20%20%20.mark_line(color%3DGREY%2C%20strokeDash%3D%5B4%2C%204%5D)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22stated%3AQ%22%2C%20y%3D%22happened%3AQ%22)%0A%20%20%20%20)%0A%20%20%20%20_points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(alt.Data(values%3D_bands))%0A%20%20%20%20%20%20%20%20.mark_point(color%3DBLUE%2C%20size%3D90%2C%20filled%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22stated%3AQ%22%2C%20title%3D%22What%20Elo%20said%22%2C%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22happened%3AQ%22%2C%20title%3D%22How%20often%20it%20happened%22%2C%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22stated%3AQ%22%2C%20format%3D%22.1%25%22%2C%20title%3D%22said%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22happened%3AQ%22%2C%20format%3D%22.1%25%22%2C%20title%3D%22happened%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22count%3AQ%22%2C%20title%3D%22forecasts%20in%20band%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20fitted((_diagonal%20%2B%20_points).properties(title%3D%22Elo's%20stated%20probabilities%20against%20what%20happened%22%2C%20height%3D380)%2C%20widest%3D440)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20these%20numbers%20as%20a%20table%22%3A%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22said%22%3A%20f%22%7Bb%5B'stated'%5D%3A.1%25%7D%22%2C%20%22happened%22%3A%20f%22%7Bb%5B'happened'%5D%3A.1%25%7D%22%2C%20%22forecasts%20in%20band%22%3A%20b%5B%22count%22%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20b%20in%20_bands%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20take%20from%20this%20part.**%20Only%20marks%20on%20unseen%20matches%20count.%20Split%20the%20data%20by%0A%20%20%20%20%20%20%20%20%20%20%20%20time%20into%20matches%20to%20fit%20on%2C%20matches%20to%20choose%20settings%20on%2C%20and%20matches%20to%20test%20on%0A%20%20%20%20%20%20%20%20%20%20%20%20once.%20Then%20ask%20whether%20a%20gap%20between%20two%20models%20is%20bigger%20than%20luck%20could%20produce.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%208.%20Would%20more%20inputs%20help%3F%0A%0A%20%20%20%20Elo%20uses%20one%20thing%20about%20each%20team%3A%20its%20rating.%20A%20fan%20would%20also%20look%20at%20recent%20form%2C%20at%0A%20%20%20%20goal%20difference%2C%20and%20at%20whether%20one%20side%20played%20three%20days%20ago.%20Each%20of%20those%20is%20an%0A%20%20%20%20**input**%2C%20also%20called%20a%20feature.%0A%0A%20%20%20%20With%20several%20inputs%2C%20something%20has%20to%20decide%20how%20much%20each%20one%20counts.%20In%20parts%205%20and%206%0A%20%20%20%20that%20was%20decided%20by%20the%20design%20of%20the%20model.%20**Machine%20learning**%20means%20letting%20the%20data%0A%20%20%20%20decide%20instead%3A%20give%20every%20input%20a%20**weight**%2C%20and%20find%20the%20weights%20that%20produce%20the%20best%0A%20%20%20%20forecasts%20on%20past%20matches.%0A%0A%20%20%20%20The%20model%20here%20uses%20four%20inputs%2C%20each%20a%20gap%20between%20the%20home%20and%20the%20away%20team%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Learned%2C%20show_source)%3A%0A%20%20%20%20show_source(Learned.inputs)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20Each%20outcome%20gets%20a%20score%3A%20the%20inputs%20multiplied%20by%20that%20outcome's%20weights%20and%20added%20up.%0A%20%20%20%20Scores%20can%20be%20any%20number%2C%20so%20%60softmax%60%20squeezes%20the%20three%20of%20them%20into%20probabilities.%0A%20%20%20%20This%20kind%20of%20model%20is%20called%20**logistic%20regression**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(learned%2C%20show_source)%3A%0A%20%20%20%20show_source(learned.softmax)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20Finding%20the%20weights%20is%20called%20**training**%2C%20and%20it%20is%20the%20loop%20from%20part%205%20again.%20Start%0A%20%20%20%20with%20all%20weights%20at%20zero.%20Forecast%20every%20past%20match%2C%20see%20how%20far%20off%20each%20forecast%20was%2C%0A%20%20%20%20and%20move%20every%20weight%20a%20little%20in%20the%20direction%20that%20would%20have%20helped.%20Repeat.%0A%0A%20%20%20%20One%20detail%20matters%3A%20the%20inputs%20for%20a%20match%20are%20worked%20out%20only%20from%20matches%20before%20it.%0A%20%20%20%20If%20a%20team's%20form%20included%20the%20match%20being%20forecast%2C%20the%20model%20would%20be%20shown%20the%20answer.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Learned%2C%20show_source)%3A%0A%20%20%20%20show_source(Learned.fit)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Learned%2C%20earlier%2C%20learned%2C%20mo)%3A%0A%20%20%20%20learned_model%20%3D%20Learned().fit(earlier)%0A%0A%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22input%22%3A%20name%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%7C%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20outcome_name%3A%20f%22%7Blearned_model.weights%5Boutcome%5D%5Bi%5D%3A%2B.2f%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20outcome%2C%20outcome_name%20in%20((%22H%22%2C%20%22home%20win%22)%2C%20(%22D%22%2C%20%22draw%22)%2C%20(%22A%22%2C%20%22away%20win%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20name%20in%20enumerate(learned.INPUTS)%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(learned%2C%20mo)%3A%0A%20%20%20%20chosen_inputs%20%3D%20mo.ui.multiselect(list(learned.INPUTS)%2C%20value%3Dlist(learned.INPUTS)%2C%20label%3D%22Inputs%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Those%20are%20the%20weights%20it%20learned%20from%20the%20seasons%20before%20the%20test.%20A%20positive%0A%20%20%20%20%20%20%20%20%20%20%20%20weight%20means%20that%20a%20bigger%20gap%20in%20the%20home%20team's%20favour%20pushes%20that%20outcome%20up.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20rating%20gap%20carries%20the%20most%20weight.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Try%20it.**%20Choose%20which%20inputs%20the%20model%20may%20use%2C%20and%20see%20how%20it%20does%20on%20the%20test%0A%20%20%20%20%20%20%20%20%20%20%20%20seasons%20against%20Elo.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen_inputs%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(chosen_inputs%2C)%0A%0A%0A%40app.cell%0Adef%20_(Learned%2C%20TEST%2C%20backtest%2C%20board%2C%20chosen_inputs%2C%20course%2C%20mo%2C%20tested)%3A%0A%20%20%20%20mo.stop(not%20chosen_inputs.value%2C%20mo.callout(%22Pick%20at%20least%20one%20input.%22%2C%20kind%3D%22warn%22))%0A%20%20%20%20_chosen%20%3D%20backtest.walk_forward(lambda%3A%20Learned(use%3Dtuple(chosen_inputs.value))%2C%20course%2C%20TEST)%0A%20%20%20%20_gap%2C%20_error%20%3D%20backtest.edge(_chosen%2C%20tested%5B%22Elo%22%5D)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20board(%7B%22Elo%22%3A%20tested%5B%22Elo%22%5D%2C%20%22Learned%20weights%2C%20inputs%20as%20chosen%22%3A%20_chosen%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Gap%20to%20Elo%3A%20**%7B_gap%3A%2B.4f%7D**%20in%20log%20loss%2C%20with%20a%20standard%20error%20of%20%7B_error%3A.4f%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22That%20is%20within%20what%20luck%20could%20produce.%22%20if%20abs(_gap)%20%3C%202%20*%20_error%20else%20%22That%20is%20more%20than%20luck%20would%20explain.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20As%20long%20as%20the%20rating%20gap%20is%20among%20the%20inputs%2C%20the%20learned%20model%20lands%20about%20level%20with%0A%20%20%20%20Elo.%20Take%20the%20rating%20gap%20out%20to%20see%20how%20far%20the%20others%20get%20without%20it.%20Put%20it%20back%2C%20and%0A%20%20%20%20form%2C%20goal%20difference%20and%20rest%20add%20almost%20nothing.%20The%20reason%20is%20worth%20understanding.%20A%20team's%0A%20%20%20%20Elo%20rating%20is%20already%20a%20summary%20of%20its%20results%2C%20with%20recent%20ones%20counted%20most.%20Form%20and%0A%20%20%20%20goal%20difference%20are%20summaries%20of%20the%20same%20results%2C%20so%20they%20repeat%20what%20the%20rating%20says.%0A%20%20%20%20An%20input%20only%20helps%20if%20it%20carries%20information%20the%20model%20doesn't%20already%20have.%0A%0A%20%20%20%20**What%20to%20take%20from%20this%20part.**%20Machine%20learning%20is%20a%20way%20of%20fitting%20weights.%20It%20is%20not%20a%0A%20%20%20%20source%20of%20information.%20With%20the%20same%20information%20going%20in%2C%20a%20learned%20model%20and%20a%20simple%0A%20%20%20%20hand-built%20one%20end%20up%20in%20the%20same%20place.%20Real%20gains%20would%20need%20inputs%20from%20outside%20the%0A%20%20%20%20results%20table%2C%20such%20as%20injuries%2C%20line-ups%20or%20shot%20quality.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Part%209.%20What%20about%20next%20weekend%3F%0A%0A%20%20%20%20The%20predictor%20uses%20one%20more%20idea.%20Elo%20and%20the%20strengths%20model%20reach%20their%20forecasts%20in%0A%20%20%20%20different%20ways%2C%20so%20they%20make%20different%20mistakes%2C%20and%20averaging%20two%20forecasts%20cancels%20some%0A%20%20%20%20of%20those%20mistakes%20out.%20A%20model%20made%20by%20combining%20others%20is%20called%20an%20**ensemble**.%20This%20one%0A%20%20%20%20is%20as%20simple%20as%20they%20come%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20predict%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%5Bshow_source(predict.Blend)%2C%20show_source(predict.default_model)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Learned%2C%20TEST%2C%20backtest%2C%20board%2C%20course%2C%20predict%2C%20tested)%3A%0A%20%20%20%20final_board%20%3D%20dict(tested)%0A%20%20%20%20final_board%5B%22Learned%20weights%22%5D%20%3D%20backtest.walk_forward(Learned%2C%20course%2C%20TEST)%0A%20%20%20%20final_board%5B%22Blend%20(the%20predictor)%22%5D%20%3D%20backtest.walk_forward(predict.default_model%2C%20course%2C%20TEST)%0A%20%20%20%20final_board%5B%22Bookmaker%20odds%22%5D%20%3D%20backtest.market_predictions(course%2C%20TEST)%0A%0A%20%20%20%20board(final_board)%0A%20%20%20%20return%20(final_board%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(backtest%2C%20final_board%2C%20mo%2C%20show_source)%3A%0A%20%20%20%20_blend_gap%2C%20_blend_error%20%3D%20backtest.edge(final_board%5B%22Blend%20(the%20predictor)%22%5D%2C%20final_board%5B%22Elo%22%5D)%0A%20%20%20%20_sure%20%3D%20(%0A%20%20%20%20%20%20%20%20%22By%20part%207's%20rule%20that%20is%20enough%20to%20believe.%22%0A%20%20%20%20%20%20%20%20if%20_blend_gap%20%3E%202%20*%20_blend_error%0A%20%20%20%20%20%20%20%20else%20%22By%20part%207's%20rule%20that%20is%20not%20enough%20to%20be%20sure%20of%2C%20so%20treat%20the%20blend%20as%20at%20least%20as%20good%20as%20its%20members%2C%20not%20as%20proven%20better.%22%0A%20%20%20%20)%0A%20%20%20%20_text%20%3D%20f%22%22%22%0A%20%20%20%20That%20is%20every%20model%20in%20the%20course%2C%20marked%20on%20the%20same%20unseen%20matches.%20The%20blend's%20log%0A%20%20%20%20loss%20is%20lower%20than%20Elo's%20by%20%7B_blend_gap%3A.4f%7D%2C%20with%20a%20standard%20error%20of%20%7B_blend_error%3A.4f%7D.%0A%20%20%20%20%7B_sure%7D%0A%0A%20%20%20%20%23%23%23%20How%20good%20is%20good%3F%0A%0A%20%20%20%20The%20toughest%20benchmark%20is%20the%20betting%20market.%20Bookmakers'%20odds%20are%20forecasts%20made%20by%0A%20%20%20%20people%20with%20money%20at%20stake%20and%20with%20information%20this%20model%20has%20never%20seen%3A%20injuries%2C%0A%20%20%20%20line-ups%2C%20transfers.%20Odds%20convert%20to%20probabilities%20with%20%60market_forecast%60%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20if%20final_board%5B%22Bookmaker%20odds%22%5D%3A%0A%20%20%20%20%20%20%20%20_market_gap%2C%20_market_error%20%3D%20backtest.edge(final_board%5B%22Bookmaker%20odds%22%5D%2C%20final_board%5B%22Blend%20(the%20predictor)%22%5D)%0A%20%20%20%20%20%20%20%20if%20_market_gap%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_after%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20bookmaker's%20row%20is%20in%20the%20scoreboard%20above.%20Its%20log%20loss%20is%20lower%20than%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20blend's%20by%20%7B_market_gap%3A.4f%7D%2C%20with%20a%20standard%20error%20of%20%7B_market_error%3A.4f%7D.%20That%0A%20%20%20%20%20%20%20%20%20%20%20%20gap%20is%20the%20value%20of%20everything%20the%20market%20knows%20and%20a%20results%20table%20does%20not.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_after%20%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20bookmaker's%20row%20is%20in%20the%20scoreboard%20above.%20On%20these%20seasons%20its%20log%20loss%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20higher%20than%20the%20blend's%20by%20%7B-_market_gap%3A.4f%7D%2C%20with%20a%20standard%20error%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B_market_error%3A.4f%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_after%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20The%20data%20on%20file%20has%20no%20odds%20yet%2C%20so%20the%20scoreboard%20above%20has%20no%20bookmaker%20row.%20The%0A%20%20%20%20%20%20%20%20download%20button%20in%20the%20Match%20day%20section%20below%20adds%20it.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20mo.vstack(%5Bmo.md(_text)%2C%20show_source(backtest.market_forecast)%2C%20mo.md(_after)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20That%20is%20the%20whole%20predictor.%20The%20next%20section%20puts%20it%20to%20work.%0A%0A%20%20%20%20---%0A%20%20%20%20%23%20Match%20day%3A%20using%20the%20predictor%0A%0A%20%20%20%20This%20section%20is%20the%20predictor%20itself%2C%20and%20it%20is%20meant%20to%20be%20used%20every%20week.%20Everything%0A%20%20%20%20above%20ran%20on%20the%20ten%20course%20seasons%20so%20that%20its%20numbers%20stay%20fixed.%20Everything%20below%20runs%0A%20%20%20%20on%20every%20match%20on%20file%2C%20including%20the%20current%20season.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(in_browser%2C%20mo)%3A%0A%20%20%20%20download%20%3D%20mo.ui.run_button(label%3D%22Download%20the%20latest%20results%20and%20fixtures%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Latest%20results%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**This%20is%20the%20published%20copy.**%20It%20runs%20entirely%20in%20your%20browser%2C%20on%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results%20that%20were%20published%20with%20the%20page.%20It%20can't%20download%20newer%20ones%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20it%20saves%20nothing%3A%20fixtures%20you%20type%20and%20forecasts%20you%20log%20last%20until%20you%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reload%20or%20close%20the%20page.%20So%20the%20side-by-side%20test%20further%20down%20can%20write%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prompt%20and%20read%20a%20reply%20here%2C%20but%20it%20can't%20mark%20the%20forecasts%20afterwards.%20For%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20latest%20results%20and%20a%20running%20record%2C%20run%20the%20notebook%20from%20its%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20repository.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%20if%20in_browser%20else%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Latest%20results%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20button%20downloads%20every%20season's%20results%20and%20the%20next%20fixtures%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bfootball-data.co.uk%5D(https%3A%2F%2Fwww.football-data.co.uk)%2C%20saves%20them%20in%20the%20project's%0A%20%20%20%20%20%20%20%20%20%20%20%20%60data%2F%60%20folder%20and%20re-runs%20the%20notebook%20with%20them.%20Allow%20it%20several%20seconds.%20Press%0A%20%20%20%20%20%20%20%20%20%20%20%20it%20after%20each%20round%20of%20matches.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20download%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(download%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20data%2C%0A%20%20%20%20download_error%2C%0A%20%20%20%20downloaded%2C%0A%20%20%20%20fixtures%2C%0A%20%20%20%20in_browser%2C%0A%20%20%20%20matches%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20show_source%2C%0A)%3A%0A%20%20%20%20_notes%20%3D%20%5B%5D%0A%20%20%20%20if%20download_error%3A%0A%20%20%20%20%20%20%20%20_notes.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20download%20failed%3A**%20%60%7Bdownload_error%7D%60.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20below%20still%20uses%20the%20results%20that%20were%20already%20on%20file.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20downloaded%3A%0A%20%20%20%20%20%20%20%20_notes.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22Downloaded%20%7Bdownloaded%5B0%5D%3A%2C%7D%20matches%20and%20%7Bdownloaded%5B1%5D%7D%20upcoming%20fixtures.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20*_notes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Blen(matches)%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Matches%20on%20file%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%7Bmatches%5B0%5D.season%7D%20to%20%7Bmatches%5B-1%5D.season%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmatches%5B-1%5D.date%3A%25d%20%25b%20%25Y%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Latest%20result%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%7Bmatches%5B-1%5D.season%7D%20season%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(len(fixtures))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Upcoming%20fixtures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22from%20%7Bfixtures%5B0%5D.date%3A%25a%20%25d%20%25b%7D%22%20if%20fixtures%20else%20%22none%20listed%20yet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20published%20copy%20has%20no%20download%20button%20to%20explain.%0A%20%20%20%20%20%20%20%20%20%20%20%20*(%5B%5D%20if%20in_browser%20else%20%5Bmo.accordion(%7B%22The%20code%20behind%20the%20button%22%3A%20show_source(data.update)%7D)%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20predict%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20The%20next%20round%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20predictor%20is%20fitted%20to%20every%20match%20on%20file%2C%20then%20asked%20about%20each%20upcoming%0A%20%20%20%20%20%20%20%20%20%20%20%20fixture.%20Where%20the%20fixture%20list%20came%20with%20odds%2C%20the%20bookmaker's%20view%20is%20shown%0A%20%20%20%20%20%20%20%20%20%20%20%20alongside%20for%20comparison.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22The%20code%20behind%20the%20forecasts%22%3A%20show_source(predict.forecast_fixtures)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(datetime%2C%20mo)%3A%0A%20%20%20%20_today%20%3D%20datetime.date.today()%0A%20%20%20%20typed%20%3D%20mo.ui.text_area(placeholder%3D%22Arsenal%20v%20Man%20City%5CnEverton%20v%20Nott'm%20Forest%22%2C%20rows%3D6%2C%20full_width%3DTrue)%0A%20%20%20%20%23%20Defaults%20to%20the%20coming%20Saturday.%0A%20%20%20%20typed_date%20%3D%20mo.ui.date(%0A%20%20%20%20%20%20%20%20value%3D_today%20%2B%20datetime.timedelta(days%3D(5%20-%20_today.weekday())%20%25%207)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Date%20of%20the%20matches%22%2C%0A%20%20%20%20)%0A%20%20%20%20use_typed%20%3D%20mo.ui.run_button(label%3D%22Use%20these%20fixtures%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**Fixtures%20not%20listed%20yet%3F**%20The%20next%20round%20is%20not%20always%20on%20file.%0A%20%20%20%20%20%20%20%20%20%20%20%20football-data.co.uk%20lists%20it%20late%2C%20and%20the%20published%20copy%20of%20this%20course%20carries%0A%20%20%20%20%20%20%20%20%20%20%20%20no%20fixture%20list.%20Type%20the%20round%20here%2C%20one%20match%20per%20line%20with%20the%20home%20team%20first.%20Short%20names%20work%20where%20only%20one%20team%0A%20%20%20%20%20%20%20%20%20%20%20%20fits.%20The%20button%20replaces%20the%20fixture%20list%20on%20file%20with%20these%20matches%2C%20and%20an%0A%20%20%20%20%20%20%20%20%20%20%20%20empty%20box%20clears%20it.%20Later%20downloads%20keep%20them%20until%20the%20site%20lists%20the%20round%20or%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20date%20has%20passed.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20typed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Btyped_date%2C%20use_typed%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20typed%2C%20typed_date%2C%20use_typed%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20matches%2C%20mo%2C%20predict%2C%20typed%2C%20typed_date%2C%20use_typed)%3A%0A%20%20%20%20%23%20Runs%20after%20each%20download%2C%20and%20again%20when%20%22Use%20these%20fixtures%22%20is%20pressed.%0A%20%20%20%20_problem%20%3D%20None%0A%20%20%20%20if%20use_typed.value%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20data.save_fixtures(predict.typed_fixtures(typed.value%2C%20typed_date.value%2C%20data.current_teams(matches)))%0A%20%20%20%20%20%20%20%20except%20ValueError%20as%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_problem%20%3D%20mo.callout(mo.md(str(error))%2C%20kind%3D%22warn%22)%0A%0A%20%20%20%20fixtures%20%3D%20data.load_fixtures()%0A%20%20%20%20_problem%0A%20%20%20%20return%20(fixtures%2C)%0A%0A%0A%40app.cell%0Adef%20_(fixtures%2C%20forecast_bars%2C%20matches%2C%20mo%2C%20predict)%3A%0A%20%20%20%20outlooks%20%3D%20predict.forecast_fixtures(matches%2C%20fixtures)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20forecast_bars(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B(f%22%7Bo.fixture.date%3A%25a%20%25d%20%25b%7D%20%20%7Bo.fixture.home%7D%20v%20%7Bo.fixture.away%7D%22%2C%20o.forecast)%20for%20o%20in%20outlooks%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Upcoming%20fixtures%2C%20from%20results%20up%20to%20%7Bmatches%5B-1%5D.date%3A%25d%20%25B%20%25Y%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22date%22%3A%20f%22%7Bo.fixture.date%3A%25a%20%25d%20%25b%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22match%22%3A%20f%22%7Bo.fixture.home%7D%20v%20%7Bo.fixture.away%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22home%22%3A%20f%22%7Bo.forecast%5B'H'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22draw%22%3A%20f%22%7Bo.forecast%5B'D'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22away%22%3A%20f%22%7Bo.forecast%5B'A'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22likely%20score%22%3A%20f%22%7Bo.likely_score%5B0%5D%7D-%7Bo.likely_score%5B1%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22bookmaker%22%3A%20%22%20%2F%20%22.join(f%22%7Bo.market%5Bk%5D%3A.0%25%7D%22%20for%20k%20in%20%22HDA%22)%20if%20o.market%20else%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20o%20in%20outlooks%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20page_size%3D20%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%20if%20outlooks%20else%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%20upcoming%20fixtures%20on%20file.%20Type%20the%20next%20round%20into%20the%20box%20above%2C%20or%20pick%20any%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22match%20below.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22neutral%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(outlooks%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(data%2C%20matches%2C%20mo)%3A%0A%20%20%20%20_current%20%3D%20data.current_teams(matches)%0A%20%20%20%20pick_home%20%3D%20mo.ui.dropdown(_current%2C%20value%3D%22Liverpool%22%20if%20%22Liverpool%22%20in%20_current%20else%20_current%5B0%5D%2C%20label%3D%22Home%22)%0A%20%20%20%20pick_away%20%3D%20mo.ui.dropdown(_current%2C%20value%3D%22Man%20City%22%20if%20%22Man%20City%22%20in%20_current%20else%20_current%5B-1%5D%2C%20label%3D%22Away%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Any%20match%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Pick%20any%20two%20teams%20from%20the%20current%20season.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bpick_home%2C%20pick_away%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20pick_away%2C%20pick_home%0A%0A%0A%40app.cell%0Adef%20_(matches%2C%20predict)%3A%0A%20%20%20%20final_model%20%3D%20predict.default_model().fit(matches)%0A%20%20%20%20return%20(final_model%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20data%2C%0A%20%20%20%20final_model%2C%0A%20%20%20%20forecast_bars%2C%0A%20%20%20%20matches%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pick_away%2C%0A%20%20%20%20pick_home%2C%0A%20%20%20%20predict%2C%0A%20%20%20%20score_heatmap%2C%0A)%3A%0A%20%20%20%20mo.stop(pick_home.value%20%3D%3D%20pick_away.value%2C%20mo.callout(%22Pick%20two%20different%20teams.%22%2C%20kind%3D%22warn%22))%0A%20%20%20%20_outlook%20%3D%20predict.outlook(final_model%2C%20data.Fixture(matches%5B-1%5D.date%2C%20pick_home.value%2C%20pick_away.value))%0A%20%20%20%20_label%20%3D%20f%22%7Bpick_home.value%7D%20v%20%7Bpick_away.value%7D%22%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20forecast_bars(%5B(_label%2C%20_outlook.forecast)%5D%2C%20%22The%20predictor's%20forecast%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score_heatmap(*_outlook.expected_goals%2C%20%22Chance%20of%20each%20scoreline%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_outlook.expected_goals%5B0%5D%3A.2f%7D%20%E2%80%93%20%7B_outlook.expected_goals%5B1%5D%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Expected%20goals%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_outlook.likely_score%5B0%5D%7D-%7B_outlook.likely_score%5B1%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Most%20likely%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20predict%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Team%20ratings%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20How%20the%20predictor%20rates%20each%20team%20in%20the%20current%20season%2C%20strongest%20first.%20**Elo**%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20part%206's%20rating%3A%20teams%20start%20on%201500%20and%20take%20points%20from%20each%20other.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Attack**%20and%20**defence**%20are%20part%205's%20strengths.%20For%20both%2C%200%20is%20about%20average.%20A%0A%20%20%20%20%20%20%20%20%20%20%20%20higher%20attack%20means%20more%20goals%20scored%2C%20and%20a%20higher%20defence%20means%20fewer%20conceded.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22The%20code%20behind%20the%20ratings%22%3A%20show_source(predict.team_ratings)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20final_model%2C%20matches%2C%20mo%2C%20predict)%3A%0A%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20predict.team_ratings(final_model%2C%20data.current_teams(matches))%2C%0A%20%20%20%20%20%20%20%20format_mapping%3D%7B%22elo%22%3A%20%22%7B%3A.0f%7D%22%2C%20%22attack%22%3A%20%22%7B%3A%2B.2f%7D%22%2C%20%22defence%22%3A%20%22%7B%3A%2B.2f%7D%22%7D%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20page_size%3D20%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20predict%2C%20show_source)%3A%0A%20%20%20%20run_scoreboard%20%3D%20mo.ui.run_button(label%3D%22Run%20the%20scoreboard%22)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Scoreboard%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Part%209's%20scoreboard%20is%20fixed%20to%20the%20course's%20seasons.%20This%20one%20tests%20every%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20on%20the%20three%20most%20recent%20complete%20seasons%20on%20file%2C%20so%20it%20moves%20on%20each%20time%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20season%20finishes.%20It%20takes%20a%20few%20seconds%2C%20so%20it%20runs%20when%20you%20press%20the%20button.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20run_scoreboard%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22The%20code%20behind%20the%20scoreboard%22%3A%20show_source(predict.backtest_every_model)%7D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(run_scoreboard%2C)%0A%0A%0A%40app.cell%0Adef%20_(board%2C%20matches%2C%20mo%2C%20predict%2C%20run_scoreboard)%3A%0A%20%20%20%20mo.stop(not%20run_scoreboard.value)%0A%20%20%20%20recent_seasons%2C%20recent_tests%20%3D%20predict.backtest_every_model(matches)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22Marked%20on%20%7Brecent_seasons%5B0%5D%7D%20to%20%7Brecent_seasons%5B-1%5D%7D.%20Lower%20log%20loss%20and%20Brier%20are%20better.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20board(recent_tests)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20prompt_kind%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22From%20memory%22%3A%20False%2C%20%22With%20the%20predictor's%20data%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22From%20memory%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Prompt%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20Side%20by%20side%20with%20a%20chat%20assistant%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20How%20would%20ChatGPT%20or%20Claude%20do%20at%20this%3F%20The%20test%20has%20to%20run%20forwards.%20A%20chat%0A%20%20%20%20%20%20%20%20%20%20%20%20assistant%20has%20read%20the%20results%20of%20every%20past%20season%2C%20so%20marking%20it%20on%20those%20would%0A%20%20%20%20%20%20%20%20%20%20%20%20be%20part%207's%20memoriser%20again.%20Here%20its%20forecasts%20are%20logged%20before%20the%20matches%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20marked%20after%20them.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20**Copy%20the%20prompt.**%20Choose%20one%20below%2C%20then%20use%20the%20copy%20button%20that%20appears%20at%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20top%20right%20of%20the%20grey%20box%20when%20the%20pointer%20is%20over%20it.%20*From%20memory*%20asks%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20assistant%20to%20forecast%20from%20what%20it%20already%20knows.%20*With%20the%20predictor's%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data*%20also%20gives%20it%20the%20ratings%20and%20recent%20results%20the%20predictor%20works%20from.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20**Ask%20the%20assistant.**%20Paste%20the%20prompt%20into%20a%20new%20chat.%20If%20the%20app%20has%20a%20web%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20search%20switch%2C%20turn%20it%20off.%20With%20search%20on%2C%20the%20assistant%20can%20read%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bookmakers'%20odds%20and%20hand%20them%20back.%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20**Paste%20the%20reply**%20into%20the%20box%20further%20down%2C%20say%20who%20answered%2C%20check%20how%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20was%20read%2C%20and%20save.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Saving%20also%20logs%20the%20predictor's%20own%20forecasts%20for%20the%20same%20matches%2C%20and%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20bookmaker's%20where%20odds%20are%20on%20file%2C%20so%20all%20of%20them%20were%20made%20at%20the%20same%20time.%0A%20%20%20%20%20%20%20%20%20%20%20%20After%20the%20matches%2C%20the%20download%20button%20brings%20in%20the%20results%20and%20the%20table%20at%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20end%20of%20this%20section%20marks%20everyone.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20prompt_kind%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(prompt_kind%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(challenge%2C%20final_model%2C%20fixtures%2C%20matches%2C%20mo%2C%20prompt_kind)%3A%0A%20%20%20%20%23%20Only%20matches%20that%20have%20not%20been%20played%20yet%20can%20be%20forecast%20honestly.%0A%20%20%20%20to_ask%20%3D%20challenge.still_to_play(fixtures%2C%20matches)%0A%20%20%20%20_briefing%20%3D%20challenge.briefing(final_model%2C%20matches%2C%20to_ask)%20if%20prompt_kind.value%20else%20%22%22%0A%20%20%20%20mo.md(f%22%60%60%60text%5Cn%7Bchallenge.prompt(to_ask%2C%20_briefing)%7D%5Cn%60%60%60%22)%20if%20to_ask%20else%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20are%20no%20upcoming%20fixtures%20on%20file%2C%20so%20there%20is%20nothing%20to%20ask%20about%20yet.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Type%20the%20next%20round%20into%20the%20box%20under%20**The%20next%20round**%2C%20above%2C%20and%20the%20prompt%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22appears%20here.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22neutral%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(to_ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20A%20short%20debounce%20shows%20how%20the%20reply%20was%20read%20as%20soon%20as%20it%20is%20pasted.%0A%20%20%20%20who%20%3D%20mo.ui.text(value%3D%22Claude%22%2C%20label%3D%22Who%20answered%22%2C%20debounce%3D300)%0A%20%20%20%20reply%20%3D%20mo.ui.text_area(placeholder%3D%22Paste%20the%20assistant's%20reply%20here%22%2C%20rows%3D8%2C%20full_width%3DTrue%2C%20debounce%3D300)%0A%20%20%20%20save%20%3D%20mo.ui.run_button(label%3D%22Save%20these%20forecasts%22)%0A%20%20%20%20mo.vstack(%5Bwho%2C%20reply%5D)%0A%20%20%20%20return%20reply%2C%20save%2C%20who%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20challenge%2C%0A%20%20%20%20final_model%2C%0A%20%20%20%20matches%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20outlooks%2C%0A%20%20%20%20prompt_kind%2C%0A%20%20%20%20reply%2C%0A%20%20%20%20save%2C%0A%20%20%20%20to_ask%2C%0A%20%20%20%20who%2C%0A)%3A%0A%20%20%20%20_name%20%3D%20f%22%7Bwho.value.strip()%7D%2C%20%7Bprompt_kind.selected_key.lower()%7D%22%0A%20%20%20%20_shown%20%3D%20%5B%5D%0A%20%20%20%20if%20to_ask%20and%20reply.value.strip()%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20who.value.strip()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Say%20who%20answered%20before%20saving.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_forecasts%20%3D%20challenge.parse_reply(reply.value%2C%20to_ask)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20save.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_count%20%3D%20challenge.record_round(_name%2C%20to_ask%2C%20_forecasts%2C%20final_model%2C%20matches)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_shown%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Saved%20%7B_count%7D%20forecasts%20as%20**%7B_name%7D**%2C%20along%20with%20the%20predictor's%20and%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22where%20there%20are%20odds%2C%20the%20bookmaker's.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ours%20%3D%20%7Bo.fixture%3A%20o.forecast%20for%20o%20in%20outlooks%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_shown%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22The%20reply%20was%20read%20as%20below.%20If%20it%20looks%20right%2C%20save%20it%20as%20**%7B_name%7D**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22match%22%3A%20f%22%7Bfixture.home%7D%20v%20%7Bfixture.away%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22home%22%3A%20f%22%7Bforecast%5B'H'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22draw%22%3A%20f%22%7Bforecast%5B'D'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22away%22%3A%20f%22%7Bforecast%5B'A'%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20predictor%22%3A%20%22%20%2F%20%22.join(f%22%7B_ours%5Bfixture%5D%5Bk%5D%3A.0%25%7D%22%20for%20k%20in%20%22HDA%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20fixture%2C%20forecast%20in%20zip(to_ask%2C%20_forecasts)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20page_size%3D20%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20save%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20except%20ValueError%20as%20problem%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_shown%20%3D%20%5Bmo.callout(mo.md(str(problem))%2C%20kind%3D%22warn%22)%5D%0A%0A%20%20%20%20forecast_log%20%3D%20challenge.load_log()%0A%20%20%20%20mo.vstack(_shown)%0A%20%20%20%20return%20(forecast_log%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(challenge%2C%20mo%2C%20show_source)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**The%20running%20score.**%20Each%20forecaster%20is%20marked%20on%20the%20matches%20they%20forecast%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20have%20since%20been%20played%2C%20so%20the%20*played*%20counts%20can%20differ.%20The%20last%20column%20is%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20fair%20comparison.%20It%20is%20the%20gap%20in%20log%20loss%20on%20the%20matches%20both%20they%20and%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20predictor%20forecast%2C%20where%20a%20positive%20number%20means%20better%20than%20the%20predictor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20followed%20by%20its%20standard%20error.%20By%20part%207's%20rule%2C%20a%20gap%20is%20worth%20believing%20once%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20more%20than%20about%20twice%20its%20standard%20error.%20At%20ten%20matches%20a%20round%2C%20expect%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20to%20take%20many%20rounds.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20code%20behind%20the%20prompt%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bshow_source(challenge.prompt)%2C%20show_source(challenge.briefing)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20code%20behind%20the%20log%20and%20the%20score%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_source(challenge.parse_reply)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_source(challenge.record)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_source(challenge.standings)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(challenge%2C%20forecast_log%2C%20matches%2C%20mo)%3A%0A%20%20%20%20standings%20%3D%20challenge.standings(forecast_log%2C%20matches)%0A%0A%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22forecaster%22%3A%20row%5B%22forecaster%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22logged%22%3A%20row%5B%22logged%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22played%22%3A%20row%5B%22played%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22log%20loss%22%3A%20%22%22%20if%20row%5B%22log%20loss%22%5D%20is%20None%20else%20f%22%7Brow%5B'log%20loss'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%22%3A%20%22%22%20if%20row%5B%22accuracy%22%5D%20is%20None%20else%20f%22%7Brow%5B'accuracy'%5D%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ahead%20of%20the%20predictor%22%3A%20%22%22%20if%20row%5B%22ahead%22%5D%20is%20None%20else%20f%22%7Brow%5B'ahead'%5D%3A%2B.4f%7D%20%C2%B1%20%7Brow%5B'margin'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20row%20in%20standings%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20)%20if%20standings%20else%20mo.md(%22*No%20forecasts%20have%20been%20logged%20yet.*%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20From%20a%20terminal%0A%0A%20%20%20%20The%20download%2C%20the%20forecasts%2C%20the%20ratings%20and%20the%20scoreboard%20also%20run%20from%20a%20terminal%2C%0A%20%20%20%20which%20suits%20scripts%20and%20scheduled%20jobs.%20The%20project's%20README%20lists%20the%20commands.%0A%0A%20%20%20%20---%0A%20%20%20%20%23%20Looking%20back%0A%0A%20%20%20%20%23%23%23%20What%20the%20course%20covered%0A%0A%20%20%20%20%7C%20Idea%20%7C%20Where%20it%20is%20in%20the%20code%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20Base%20rates%20and%20baselines%20%7C%20%60outcomes.py%60%20%7C%0A%20%20%20%20%7C%20Probabilities%2C%20log%20loss%2C%20calibration%20%7C%20%60scoring.py%60%20%7C%0A%20%20%20%20%7C%20Random%20variation%20and%20simulation%20%7C%20%60luck.py%60%20%7C%0A%20%20%20%20%7C%20A%20distribution%20as%20a%20model%20of%20goals%20%7C%20%60goals.py%60%20%7C%0A%20%20%20%20%7C%20Parameters%2C%20likelihood%20and%20fitting%20%7C%20%60strengths.py%60%20%7C%0A%20%20%20%20%7C%20Online%20learning%20and%20learning%20rates%20%7C%20%60elo.py%60%20%7C%0A%20%20%20%20%7C%20Overfitting%2C%20backtests%2C%20validation%2C%20standard%20error%20%7C%20%60backtest.py%60%20%7C%0A%20%20%20%20%7C%20Inputs%2C%20weights%20and%20training%20%7C%20%60learned.py%60%20%7C%0A%20%20%20%20%7C%20Ensembles%2C%20and%20the%20predictor%20itself%20%7C%20%60predict.py%60%20%7C%0A%0A%20%20%20%20%23%23%23%20Where%20to%20take%20it%20next%0A%0A%20%20%20%20-%20**Better%20inputs.**%20Part%208%20showed%20that%20the%20limit%20is%20information.%20Shots%20and%20expected%20goals%0A%20%20%20%20%20%20say%20more%20about%20a%20team's%20quality%20than%20its%20scores%20do.%0A%20%20%20%20-%20**Low%20scores.**%20Real%20matches%20end%200-0%20and%201-1%20a%20little%20more%20often%20than%20independent%20Poisson%0A%20%20%20%20%20%20goals%20predict.%20A%20correction%20for%20that%20is%20known%20as%20the%20Dixon-Coles%20model.%0A%20%20%20%20-%20**The%20market%20as%20an%20input.**%20If%20the%20odds%20know%20more%20than%20the%20model%2C%20they%20can%20be%20one%20of%20its%0A%20%20%20%20%20%20inputs%20rather%20than%20only%20its%20benchmark.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%20Appendix%3A%20setup%0A%0A%20%20%20%20The%20two%20cells%20below%20load%20the%20package%20and%20define%20the%20chart%20helpers%20used%20above.%20The%20first%0A%20%20%20%20also%20prepares%20the%20published%20copy%2C%20which%20runs%20in%20the%20reader's%20browser.%20marimo%20runs%0A%20%20%20%20cells%20in%20the%20order%20their%20dependencies%20need%2C%20not%20from%20top%20to%20bottom%2C%20so%20they%20can%20sit%20at%20the%0A%20%20%20%20end%20where%20they%20are%20out%20of%20the%20way.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20datetime%0A%20%20%20%20import%20inspect%0A%20%20%20%20import%20math%0A%20%20%20%20import%20random%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20textwrap%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20from%20epl_matchweek%20import%20backtest%2C%20challenge%2C%20data%2C%20goals%2C%20learned%2C%20luck%2C%20outcomes%2C%20predict%2C%20scoring%0A%20%20%20%20from%20epl_matchweek.elo%20import%20Elo%0A%20%20%20%20from%20epl_matchweek.learned%20import%20Learned%0A%20%20%20%20from%20epl_matchweek.strengths%20import%20Strengths%0A%0A%20%20%20%20%23%20The%20published%20copy%20of%20the%20course%20runs%20in%20the%20reader's%20browser%2C%20where%20Python%20starts%0A%20%20%20%20%23%20with%20no%20files.%20This%20fetches%20the%20results%20that%20were%20published%20with%20the%20page.%0A%20%20%20%20in_browser%20%3D%20sys.platform%20%3D%3D%20%22emscripten%22%0A%20%20%20%20if%20in_browser%3A%0A%20%20%20%20%20%20%20%20data.run_in_browser(str(mo.notebook_location()))%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20Elo%2C%0A%20%20%20%20%20%20%20%20Learned%2C%0A%20%20%20%20%20%20%20%20Strengths%2C%0A%20%20%20%20%20%20%20%20alt%2C%0A%20%20%20%20%20%20%20%20backtest%2C%0A%20%20%20%20%20%20%20%20challenge%2C%0A%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20datetime%2C%0A%20%20%20%20%20%20%20%20goals%2C%0A%20%20%20%20%20%20%20%20in_browser%2C%0A%20%20%20%20%20%20%20%20inspect%2C%0A%20%20%20%20%20%20%20%20learned%2C%0A%20%20%20%20%20%20%20%20luck%2C%0A%20%20%20%20%20%20%20%20math%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20outcomes%2C%0A%20%20%20%20%20%20%20%20predict%2C%0A%20%20%20%20%20%20%20%20random%2C%0A%20%20%20%20%20%20%20%20scoring%2C%0A%20%20%20%20%20%20%20%20textwrap%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20goals%2C%20in_browser%2C%20inspect%2C%20mo%2C%20textwrap)%3A%0A%20%20%20%20%23%20The%20published%20copy%20runs%20under%20a%20security%20policy%20that%20forbids%20building%20code%20from%20text%0A%20%20%20%20%23%20while%20the%20page%20runs%2C%20which%20is%20how%20charts%20normally%20work%20out%20their%20expressions.%20%60ast%60%0A%20%20%20%20%23%20makes%20them%20use%20an%20interpreter%20instead.%20%60actions%60%20drops%20each%20chart's%20export%20menu%2C%20whose%0A%20%20%20%20%23%20button%20has%20no%20name%20for%20screen%20readers.%0A%20%20%20%20if%20in_browser%3A%0A%20%20%20%20%20%20%20%20alt.renderers.set_embed_options(ast%3DTrue%2C%20actions%3DFalse)%0A%0A%20%20%20%20%23%20Colours%20and%20chart%20helpers%20shared%20by%20every%20part.%0A%20%20%20%20INK%20%3D%20%22%230b0b0b%22%0A%20%20%20%20GREY%20%3D%20%22%23c3c2b7%22%0A%20%20%20%20BLUE%20%3D%20%22%232a78d6%22%0A%20%20%20%20ORANGE%20%3D%20%22%23eb6834%22%0A%20%20%20%20SERIES%20%3D%20%5BBLUE%2C%20ORANGE%2C%20%22%231baf7a%22%2C%20%22%23eda100%22%5D%0A%20%20%20%20BLUE_RAMP%20%3D%20%5B%22%23cde2fb%22%2C%20%22%236da7ec%22%2C%20%22%232a78d6%22%2C%20%22%23184f95%22%2C%20%22%230d366b%22%5D%0A%20%20%20%20OUTCOME_NAMES%20%3D%20%7B%22H%22%3A%20%22Home%20win%22%2C%20%22D%22%3A%20%22Draw%22%2C%20%22A%22%3A%20%22Away%20win%22%7D%0A%20%20%20%20OUTCOME_SCALE%20%3D%20alt.Scale(domain%3Dlist(OUTCOME_NAMES.values())%2C%20range%3DSERIES%5B%3A3%5D)%0A%0A%20%20%20%20%40alt.theme.register(%22epl_matchweek%22%2C%20enable%3DTrue)%0A%20%20%20%20def%20_theme()%3A%0A%20%20%20%20%20%20%20%20return%20alt.theme.ThemeConfig(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22config%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22background%22%3A%20%22%23fcfcfb%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22font%22%3A%20'system-ui%2C%20-apple-system%2C%20%22Segoe%20UI%22%2C%20sans-serif'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22view%22%3A%20%7B%22stroke%22%3A%20None%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20%7B%22color%22%3A%20INK%2C%20%22fontSize%22%3A%2014%2C%20%22fontWeight%22%3A%20600%2C%20%22anchor%22%3A%20%22start%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22axis%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelColor%22%3A%20%22%23898781%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleColor%22%3A%20%22%2352514e%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gridColor%22%3A%20%22%23e1e0d9%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gridWidth%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22domainColor%22%3A%20GREY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tickColor%22%3A%20GREY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelFontSize%22%3A%2011%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleFontWeight%22%3A%20500%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22legend%22%3A%20%7B%22labelColor%22%3A%20%22%2352514e%22%2C%20%22titleColor%22%3A%20%22%2352514e%22%2C%20%22orient%22%3A%20%22top%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22line%22%3A%20%7B%22strokeWidth%22%3A%202%2C%20%22strokeCap%22%3A%20%22round%22%2C%20%22strokeJoin%22%3A%20%22round%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22point%22%3A%20%7B%22size%22%3A%2064%2C%20%22filled%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20fitted(chart%2C%20widest%3D680)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Shows%20a%20chart%20as%20wide%20as%20the%20page%2C%20up%20to%20%60widest%60%20pixels%2C%20so%20a%20phone%20never%20has%20to%20scroll%20it%20sideways.%22%22%22%0A%20%20%20%20%20%20%20%20return%20mo.as_html(chart.properties(width%3D%22container%22)).style(%7B%22width%22%3A%20%22100%25%22%2C%20%22max-width%22%3A%20f%22%7Bwidest%7Dpx%22%7D)%0A%0A%20%20%20%20def%20show_source(thing)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Displays%20the%20code%20of%20a%20function%2C%20method%20or%20class%2C%20read%20live%20from%20the%20package.%22%22%22%0A%20%20%20%20%20%20%20%20path%20%3D%20inspect.getmodule(thing).__name__.replace(%22.%22%2C%20%22%2F%22)%0A%20%20%20%20%20%20%20%20code%20%3D%20textwrap.dedent(inspect.getsource(thing))%0A%20%20%20%20%20%20%20%20return%20mo.md(f%22%60src%2F%7Bpath%7D.py%60%5Cn%5Cn%60%60%60python%5Cn%7Bcode%7D%60%60%60%22)%0A%0A%20%20%20%20def%20score_heatmap(home_average%2C%20away_average%2C%20title%2C%20top_score%3D5)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20grid%20of%20scoreline%20chances%20for%20a%20match%20with%20these%20average%20goals.%22%22%22%0A%20%20%20%20%20%20%20%20chances%20%3D%20goals.score_chances(home_average%2C%20away_average)%0A%20%20%20%20%20%20%20%20cells%20%3D%20alt.Data(%0A%20%20%20%20%20%20%20%20%20%20%20%20values%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22home%22%3A%20home%2C%20%22away%22%3A%20away%2C%20%22chance%22%3A%20chance%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20(home%2C%20away)%2C%20chance%20in%20chances.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20home%20%3C%3D%20top_score%20and%20away%20%3C%3D%20top_score%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20x%20%3D%20alt.X(%22away%3AO%22%2C%20title%3D%22Away%20goals%22%2C%20axis%3Dalt.Axis(labelAngle%3D0%2C%20orient%3D%22top%22))%0A%20%20%20%20%20%20%20%20y%20%3D%20alt.Y(%22home%3AO%22%2C%20title%3D%22Home%20goals%22)%0A%20%20%20%20%20%20%20%20squares%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(cells)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_rect(stroke%3D%22%23fcfcfb%22%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22chance%3AQ%22%2C%20scale%3Dalt.Scale(range%3DBLUE_RAMP)%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22home%3AO%22%2C%20%22away%3AO%22%2C%20alt.Tooltip(%22chance%3AQ%22%2C%20format%3D%22.1%25%22)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20labels%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(cells)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_text(fontSize%3D11)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text(%22chance%3AQ%22%2C%20format%3D%22.0%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.condition(alt.datum.chance%20%3E%200.07%2C%20alt.value(%22%23ffffff%22)%2C%20alt.value(INK))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20(squares%20%2B%20labels).properties(title%3Dtitle%2C%20width%3D264%2C%20height%3D264)%0A%0A%20%20%20%20def%20forecast_bars(rows%2C%20title)%3A%0A%20%20%20%20%20%20%20%20%22%22%22One%20bar%20per%20match%2C%20split%20into%20home%20win%2C%20draw%20and%20away%20win.%20%60rows%60%20are%20(label%2C%20forecast).%22%22%22%0A%20%20%20%20%20%20%20%20segments%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20label%2C%20forecast%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20start%20%3D%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20key%2C%20name%20in%20OUTCOME_NAMES.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20end%20%3D%20start%20%2B%20forecast%5Bkey%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20segments.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22match%22%3A%20label%2C%20%22outcome%22%3A%20name%2C%20%22chance%22%3A%20forecast%5Bkey%5D%2C%20%22start%22%3A%20start%2C%20%22end%22%3A%20end%2C%20%22middle%22%3A%20(start%20%2B%20end)%20%2F%202%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20start%20%3D%20end%0A%20%20%20%20%20%20%20%20data_%20%3D%20alt.Data(values%3Dsegments)%0A%20%20%20%20%20%20%20%20y%20%3D%20alt.Y(%22match%3AN%22%2C%20title%3DNone%2C%20sort%3D%5Blabel%20for%20label%2C%20_%20in%20rows%5D%2C%20axis%3Dalt.Axis(labelLimit%3D260))%0A%20%20%20%20%20%20%20%20bars%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(data_)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar(stroke%3D%22%23fcfcfb%22%2C%20strokeWidth%3D2%2C%20height%3D18)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22start%3AQ%22%2C%20title%3DNone%2C%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x2%3D%22end%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22outcome%3AN%22%2C%20title%3DNone%2C%20scale%3DOUTCOME_SCALE)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22match%3AN%22%2C%20%22outcome%3AN%22%2C%20alt.Tooltip(%22chance%3AQ%22%2C%20format%3D%22.1%25%22)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20labels%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(data_)%0A%20%20%20%20%20%20%20%20%20%20%20%20.transform_filter(alt.datum.chance%20%3E%200.08)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_text(color%3D%22%23ffffff%22%2C%20fontSize%3D11%2C%20fontWeight%3D600)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22middle%3AQ%22%2C%20y%3Dy%2C%20text%3Dalt.Text(%22chance%3AQ%22%2C%20format%3D%22.0%25%22))%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fitted((bars%20%2B%20labels).properties(title%3Dtitle%2C%20height%3Dmax(60%2C%2030%20*%20len(rows))))%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BLUE%2C%0A%20%20%20%20%20%20%20%20GREY%2C%0A%20%20%20%20%20%20%20%20INK%2C%0A%20%20%20%20%20%20%20%20ORANGE%2C%0A%20%20%20%20%20%20%20%20OUTCOME_NAMES%2C%0A%20%20%20%20%20%20%20%20OUTCOME_SCALE%2C%0A%20%20%20%20%20%20%20%20SERIES%2C%0A%20%20%20%20%20%20%20%20fitted%2C%0A%20%20%20%20%20%20%20%20forecast_bars%2C%0A%20%20%20%20%20%20%20%20score_heatmap%2C%0A%20%20%20%20%20%20%20%20show_source%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20Part%20of%20the%20%5Bappliedvibe.ai%5D(https%3A%2F%2Fblog.appliedvibe.ai%2F)%20archive%20of%20experiments.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A