/JAKUB DOSTÁL, TOMÁŠ FÜRST/
Obživou a každodenním chlebem obyvatel Praktistánu je tvorba predikcí — za peníze. To s sebou obnáší specifika, která mohou být pro obyvatele sousedního Teoretistánu poněkud šokující.
Když je predikce vytvořená analytikem v Praktistánu špatná, nedostane zaplaceno a přijde o práci. Jde o jednoduchý, trhem vynucený princip. Cílem klienta v Praktistánu je maximalizovat zisk, který měří jednoduše v českých korunách. Cestou ke zvýšení zisku může být kvalitní predikce – predikce ceny na burze, spotřebované energie ve velké továrně, teploty ovzduší apod. Klient nemá žádný důvod obchodovat se šarlatánem [1], jehož predikce nezvyšují zisk.
V Praktistánu je vždy po ruce měřítko úspěšnosti. U meteorologa to je rozdíl predikované a reálně naměřené teploty. U obchodníka na burze je metrikou reálný výdělek z obchodování. U správce elektrické sítě je to počet blackoutů za rok.
Teoretistán je úplně jiná země a její obyvatelé soutěží v jiné disciplíně. Předhánějí se v hloubce a kvalitě argumentů, čistotě svých myšlenek a složitosti svých modelů. Jako míra úspěchu jim slouží počet titulů před jménem a za jménem, počet publikací a citací.
Neviditelná ruka trhu hubí šarlatány v Praktistánu velmi rychle. V Teoretistánu je šarlatány obtížné odhalit, natož pak zahubit.
Jak probíhá predikce epidemie koronaviru v Praktistánu
Vláda v den D poptá tři experty o jejich predikce počtu nově nakažených následující den.
- Expert A: “Téměř jistě bude zítřejší počet nakažených větší než 130 a menší než 160.
- Expert B: “Téměř jistě bude zítřejší počet nakažených větší než 10 a menší než 400.”
- Expert C: “Počet nově nakažených v zítřejší den bude 170.”
Zítra je napočítáno 135 nově nakažených. Expert A dostane zaplaceno. Expert B nedostane nic a je upozorněn na to, že jeho predikce je příliš široká a není na jejím základě možné činit žádná rozhodnutí. Expert C je z úřadu vlády vyhnán vidlemi.
Jak probíhá predikce epidemie koronaviru v Teoretistánu
Vláda obdrží dopisy od tří expertů s jejich predikcemi počtu nově nakažených osob na následující den.
- Expert doc. RNDr. A Ph.D.: “Zítřejší počet nakažených bude 50, nebo 150, nebo 200.”
- Expert prof. RNDr. B, CSc.: “Zítřejší počet nově nakažených bude 200.”
- Expert prof. ThDr. C, Ph.D., MBA: “Počet nově nakažených v zítřejší den bude 100.”
Zítra je napočítáno 135 nově nakažených. Expert A dostane zaplaceno, protože číslo 135 je někde mezi 50 a 200 a protože se za něj Expert B přimluvil. Expert B dostane zaplaceno a k tomu Řád Bílého Iva, protože má ze tří expertů nejvíc citací. Expert C dostane návrh od Experta A na spoluautorství článku o predikcích koronaviru.
Technické poznámky k predikcím
Predikcím je radno důvěřovat v oborech, kde existuje okamžitá zpětná vazba, tedy kde je každá predikce ihned konfrontována s reálnými daty. Jako například předpověď počasí. Naopak v disciplínách, kde data přijdou za generace (predikce vývoje klimatu) nebo z principu nepřijdou nikdy (predikce „co by se stalo kdyby“) je třeba být maximálně obezřetný. Touto optikou je radno nahlížet na predikce typu „co by se stalo, kdyby vláda nezavedla zákaz cestování mezi okresy“. Data k přímému vyhodnocení této predikce nepřijdou nikdy.
Autorům predikcí je radno důvěřovat, pokud mají – řečeno s Nassimem Talebem – Skin in the Game [2]. Tedy pokud jsou sami finančně či jinak zainteresovaní na kvalitě své předpovědi. Obyvatelé Teoretistánu na tento modus vivendi nejsou zvyklí. Žijí ve světě, kde je chybná predikce stojí (přinejhorším) méně citací. V realitě Praktistánu však lidé za své chyby platí. Začnou-li lidé zvyklí na poklidný život Teoretistánu tvořit predikce, které náhle stojí peníze a životy, vše se může rychle zvrhnout ve velkou taškařici. Různá cvičení českých akademiků jsou toho smutným dokladem [3].
Každá predikce, která má sloužit jako podklad k rozhodování v demokratické společnosti, musí mít formu veřejného, dokumentovaného a především spustitelného (tudíž reprodukovatelného) kódu. Není možné mávat predikcemi modelů [4], které nejsou veřejně dostupné či není jasné, jak s nimi zacházet [5]. Každý predikční model musí nejprve projít validací na historických datech a je velmi žádoucí, aby tuto validaci prováděli oponenti [6], nikoliv autoři daných modelů.
Predikce musí kvantifikovat nejistotu. Předpověď budoucí hodnoty nějaké veličiny bez vyjádření nejistoty je zcela bezcenná. Rovná se konstatování, že zítra bude pršet – ledaže by ne. Na základě takových predikcí nelze udělat racionální rozhodnutí, zda si vzít deštník nebo ne.
Predikce musí být taková, aby z budoucích dat bylo možné vyhodnotit její úspěšnost. Slavný výrok Pythie „Dva národy budou válčit, ale jenom jeden zvítězí“ takové povahy kupříkladu není. Zdatným konkurentem Pythie je například kolega Dušek, jehož predikce nemohou selhat, neboť v zásadě vždy predikuje, že počet nakažených půjde nahoru, dolů, nebo zůstane přibližně stejný [7].
Společnost potřebuje inovace a nápady, které vznikají v Teoretistánu. Když však přijde na lámání chleba, je nutné jít s vlastní kůží na trh, a to je dobré se učit od obyvatel Praktistánu.
Na autory predikcí, které výše zmíněné body nesplňují, doporučují autoři tohoto textu užít výše zmíněných vidlí.
[1] “Šarlatán” je obvyklé označení pro člověka jehož predikce nepřináší žádnou hodnotu/zisk, nebo hodnotu/zisk snižují.
[2] TALEB, Nassim. Nasadit vlastní kůži: skryté asymetrie v každodenním životě. V Praze: Paseka, 2019. ISBN 978-80-7637-025-8.
[3] Ilustruje to hodnocení predikce pomocí exponenciály profesora Flegra, kritika predikčních modelů ÚZIS z pera členů České statistické společnosti, dále komentář k výzkumné zprávě BISOP nebo kritika nesoucí název Úsvit šamanů.
[4] Viz varování před katastrofou na základě neověřeného a nedokumentovaného modelu z března roku 2021 se nakonec ukázalo jako nemoudré.
[5] Autoři tohoto článku, společně s kolegou Tadeášem Fryčákem, spouštěli kód příslušící k modelu a vědeckému článku BISOPu několik týdnů. První predikce bylo možné vytvořit teprve z jiné verze než té oficiálně připojené k “vědecké publikaci (preprint)”. O reproducibilitě výsledků nelze hovořit kvůli obskurní přípravě vstupních dat a nedostatečné/chybějící dokumentaci. Model jsme nakonec spustili — co jsme do něj měli strčit není jasné a co z něj vypadlo také ne. Takto lze tvořit a bádat nad modely v Teoretistánu, ne v Praktistánu.
[6] Viz například pokus o triviální validaci modelu, který se snaží hodnotit vliv nefarmaceutických opatření proti koronaviru. Také reakce autorů na náš komentář.
[7] Slide 15 a 16 z prezentace ÚZIS Aktuální epidemiologická situace a pravděpodobný vývoj ze dne 11. 12. 2020.