Mýty o vraždě a mnohonásobné regresi

Original page: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm

Od Ted Goertzel

Rutgers univerzita, Camden NJ 08102

Publikováno v The Skeptical Inquirer, svazek 26, č. 1, leden/únor 2002, s. 19-23.

Věříte, že pokaždé, když je ve Spojených státech popraven vězeň, je odstrašeno osm budoucích vražd? Domníváte se, že 1% nárůst počtu občanů s licencí k nošení skrytých zbraní způsobí 3,3% snížení počtu vražd ve státě? Domníváte se, že 10 až 20 % poklesu kriminality v 90. letech bylo způsobeno nárůstem potratů v 70. letech? Nebo že by se počet vražd od roku 1974 zvýšil o 250 %, kdyby Spojené státy nepostavily tolik nových věznic?

Pokud vás kterákoli z těchto studií zmýlila, možná jste propadli zhoubné formě nezdravé vědy: používání matematických modelů bez prokázané prediktivní schopnosti k vyvozování politických závěrů. Tyto studie jsou povrchně působivé. Napsali je renomovaní sociální vědci z prestižních institucí a často se objevují v recenzovaných vědeckých časopisech. Jsou plné složitých statistických výpočtů a poskytují přesná numerická „fakta“, která lze použít jako argumenty diskutujících v politických argumentech. Ale tato “fakta” jsou vůlí pramínků. Než inkoust na jedné studii zaschne, objeví se další s úplně jinými „fakty“. Navzdory svému vědeckému vzhledu tyto modely nesplňují základní kritérium užitečného matematického modelu: schopnost dělat předpovědi, které jsou lepší než náhoda.

Ačkoli ekonomové jsou předními praktiky tohoto tajemného umění, sociologové, kriminologové a další sociální vědci mají také jeho verze. Je známá pod různými názvy, včetně „ekonometrického modelování“, „modelování strukturních rovnic“ a „analýzy cesty“. To vše jsou způsoby, jak používat korelace mezi proměnnými ke kauzálním závěrům. Problém s tím, jak ví každý, kdo absolvoval kurz statistiky, je ten, že korelace není kauzalita. Korelace mezi dvěma proměnnými jsou často „falešné“, protože jsou způsobeny nějakou třetí proměnnou. Ekonometričtí modeláři se snaží tento problém překonat tím, že do svých analýz zahrnou všechny relevantní proměnné pomocí statistické techniky zvané „vícenásobná regrese“. Pokud by člověk měl dokonalé míry všech kauzálních proměnných, fungovalo by to. Ale data nejsou nikdy dost dobrá. Opakované snahy o použití vícenásobné regrese k dosažení definitivních odpovědí na otázky veřejné politiky selhaly.

Mnoho sociálních vědců se ale zdráhá přiznat selhání. Věnují roky učení a výuce regresního modelování a nadále používají regresi k vytváření kauzálních argumentů, které nejsou opodstatněné jejich údaji. Tyto argumenty nazývám mýty o mnohonásobné regresi a jako příklady bych rád použil čtyři studie míry vražd.

Mýtus první: Více zbraní, méně zločinu.

John Lott, ekonom z Yale University, použil ekonometrický model k argumentu, že „povolení občanům nosit skryté zbraně odrazuje od násilných zločinů, aniž by zvyšovalo počet náhodných úmrtí“. Lottova analýza zahrnovala zákony „vydá“ zákony, které vyžadují, aby místní úřady vydaly povolení ke skrytí zbraní každému občanu, který dodržuje zákony, který o něj požádá. Lott odhadl, že každé jedno procento zvýšení vlastnictví zbraní v populaci způsobí 3,3% pokles počtu vražd. Lott a jeho spoluautor David Mustard zveřejnili první verzi své studie na internetu v roce 1997 a stáhly si ji desítky tisíc lidí. Bylo to předmětem politických fór, novinových sloupků a často docela sofistikovaných debat na World Wide Web. V knize s chytlavým názvem Více zbraní, méně zločinu se Lott posmíval svým kritikům a obviňoval je, že dávají ideologii přednost před vědou.

Lottova práce je příkladem statistické šikovnosti. Má více dat a komplexnější analýzu než kdokoli jiný, kdo toto téma studuje. Požaduje, aby se každý, kdo chce zpochybnit jeho argumenty, ponořil do velmi složité statistické debaty, založené na výpočtech tak obtížných, že je nelze provést s běžnými stolními počítači. Vyzývá každého, kdo s ním nesouhlasí, aby si stáhl svůj soubor dat a zopakoval své výpočty, ale většina sociálních vědců si nemyslí, že by stálo za to opakovat studie pomocí metod, které opakovaně selhaly. Většina výzkumníků zabývajících se kontrolou zbraní jednoduše smetla Lottova a Mustardova tvrzení a pokračovala ve své práci. Dva vysoce uznávaní výzkumníci v oblasti trestního soudnictví, Frank Zimring a Gordon Hawkins (1997) napsali článek vysvětlující, že:

stejně jako pánové Lott a Mustard dokážou s jedním modelem determinant zabití produkovat statistické rezidua naznačující, že zákony „vydají“ omezí vraždy, očekáváme, že odhodlaný ekonometr dokáže zpracovat stejná historická období s různými modely a opačné účinky. Ekonometrické modelování je dvousečný meč ve své schopnosti usnadnit statistická zjištění, aby zahřála srdce opravdových věřících jakéhokoli druhu.

Zimring a Hawkins měli pravdu. Během jednoho roku publikovali dva odhodlaní ekonometriové, Dan Black a Daniel Nagin (1998), studii, která ukazuje, že pokud trochu pozměnili statistický model nebo jej aplikovali na různé segmenty dat, Lottova a Mustardova zjištění zmizela. Black a Nagin zjistili, že když byla Florida ze vzorku odstraněna, „neměl žádný zjistitelný dopad zákonů o právu na přenos na míru vražd a znásilnění“. Došli k závěru, že „odvozování založené na Lottově a Mustardově modelu je nevhodné a jejich výsledky nelze zodpovědně použít k formulaci veřejné politiky“.
John Lott však jejich analýzu zpochybnil a nadále prosazoval svou vlastní. Lott shromáždil údaje pro každý z amerických krajů pro každý rok od roku 1977 do roku 1992. Problémem je, že americké okresy se velmi liší velikostí a sociálními charakteristikami. Několik velkých, obsahujících velká města, odpovídá za velmi velké procento vražd ve Spojených státech. Jak už to tak bývá, žádný z těchto velmi velkých krajů nemá „vydat“ zákony o kontrole zbraní. To znamená, že Lottův masivní soubor dat byl pro jeho úkol prostě nevhodný. Neměl žádnou změnu ve své klíčové kauzální proměnné – „vydá“ zákony – v místech, kde došlo k většině vražd.

Toto omezení ve své knize ani článcích nezmínil. Když jsem při vlastním zkoumání jeho údajů zjistil, že ve velkých městech neexistují zákony o „vydání“, zeptal jsem se ho na to. Pokrčil rameny a řekl, že ve své analýze „kontroloval“ velikost populace. Zavedení statistické kontroly do matematické analýzy však nevynahradilo skutečnost, že jednoduše neměl žádná data pro velká města, kde byl problém vražd nejakutnější.

Nějakou dobu mi trvalo najít tento problém v jeho datech, protože jsem nebyl obeznámen s problémem ovládání zbraní. Ale Zimring a Hawkins se na to okamžitě zaměřili, protože věděli, že zákony „vydají“ byly zavedeny ve státech, kde byla mocná Národní střelecká asociace, převážně na jihu, na západě a ve venkovských oblastech. Byly to státy, které již měly jen málo omezení na zbraně. Zjistili, že tato legislativní historie maří „naši schopnost porovnávat trendy ve státech, které „vydají“ s trendy v jiných státech. Protože státy, které změnily legislativu, se liší umístěním a ústavou od států, které tak neučinily, srovnání mezi legislativními kategoriemi bude vždy riziko záměny demografických a regionálních vlivů s dopadem různých právních režimů na chování.“ Zimring a Hawkins dále poznamenali, že:

Lott a Mustard jsou si tohoto problému samozřejmě vědomi. Jejich řešení, standardní ekonometrická technika, spočívá ve vytvoření statistického modelu, který bude kontrolovat všechny rozdíly mezi Idahem a New Yorkem, které ovlivňují míru vražd a kriminality, kromě zákonů „vydávajících“. Pokud dokážeme „specifikovat“ hlavní vlivy na vraždy, znásilnění, vloupání a krádeže aut v našem modelu, můžeme eliminovat vliv těchto faktorů na různé trendy. Lott a Mustard vytvářejí modely, které odhadují dopady demografických údajů, ekonomických údajů a trestního postihu na různé trestné činy. Tyto modely jsou vrcholem statistického domácího vaření v tom, že byly vytvořeny pro tento soubor dat těmito autory a testovány pouze na datech, která budou použita při hodnocení dopadů na právo na přenos.

Lott a Mustard porovnávali trendy v Idahu a Západní Virginii a Mississippi s trendy ve Washingtonu, DC a New Yorku. Ve skutečnosti se stalo to, že došlo k explozi vražd souvisejících s crackem ve velkých východních městech v 80. a na počátku 90. let. Celý Lottův argument se zvrhl na tvrzení, že převážně venkovské a západní státy „vydají“ byly ušetřeny epidemie vražd souvisejících s crackem díky svým zákonům „vydají“. To by se nikdy nebralo vážně, kdyby to nebylo zakryto bludištěm rovnic.

Mýtus druhý: Uvěznění více lidí snižuje kriminalitu

Případ Lott a Mustard byl výjimečný pouze množstvím pozornosti veřejnosti, které se mu dostalo. Je zcela běžné, dokonce typické, že konkurenční studie jsou publikovány pomocí ekonometrických metod k dosažení opačných závěrů o stejném problému. Často není na žádné z analýz nic prokazatelně špatného. Jednoduše používají mírně odlišné soubory dat nebo různé techniky k dosažení různých výsledků. Zdá se, že regresní modeláři mohou dosáhnout jakéhokoli výsledku, který chtějí, aniž by jakýmkoli způsobem porušili pravidla regresní analýzy. V jednom výjimečně upřímném prohlášení o frustraci z tohoto stavu věcí informovali dva vysoce respektovaní kriminologové, Thomas Marvell a Carlisle Moody (1997: 221), o přijetí studie, kterou provedli o vlivu uvěznění na míru vražd. Oznámili, že:

široce rozesílali [svá] zjištění spolu s použitými údaji kolegům, kteří se specializují na kvantitativní analýzu. Nejčastější odpovědí je, že odmítají věřit výsledkům bez ohledu na to, jak kvalitní je statistická analýza. Za tímto sporem je často neformálně diskutovaná, ale zřídka publikovaná představa, že sociální vědci mohou manipulací s použitými postupy získat jakýkoli požadovaný výsledek. Ve skutečnosti je široká škála odhadů týkajících se dopadu vězeňské populace považována za dobrý důkaz tvárnosti výzkumu. I mezi mnoha lidmi, kteří pravidelně publikují kvantitativní studie, z toho vyplývá, že bez ohledu na to, jak důkladná je analýza, výsledky nejsou důvěryhodné, pokud neodpovídají předchozím očekáváním. V takovém rámci nemůže výzkumná disciplína uspět.

Marvell a Moody ke své velké zásluhě upřímně uznali problémy s vícenásobnou regresí a předložili několik návrhů na zlepšení. Bohužel, někteří ekonometri se tak ponoří do svých modelů, že ztratí pojem o tom, jak jsou svévolní. Dospívají k přesvědčení, že jejich modely jsou skutečnější, platnější než chaotická, vzdorovitá, „nekontrolovaná“ realita, kterou chtějí vysvětlit.

Mýtus třetí: Popravování lidí snižuje kriminalitu

V roce 1975 The American Economic Review publikoval článek předního ekonoma Isaaca Ehrlicha z University of Michigan, který odhadoval, že každá poprava odradila od osmi vražd. Před Ehrlichem byl nejznámějším specialistou na účinnost trestu smrti Thorsten Sellen, který používal mnohem jednodušší metodu analýzy. Sellen připravil grafy srovnávající trendy v různých státech. Nalezl malý nebo žádný rozdíl mezi státy s nebo bez trestu smrti, takže dospěl k závěru, že na trestu smrti není žádný rozdíl. Ehrlich v aktu statistické jedničky tvrdil, že jeho analýza je platnější, protože kontroluje všechny faktory, které ovlivňují počty vražd.

Ještě předtím, než byla publikována, byla Ehrlichova práce citována generálním prokurátorem Spojených států ve zprávě amicus curiae podané Nejvyššímu soudu Spojených států na obranu trestu smrti. Naštěstí se soud rozhodl nespoléhat na Ehrlichovy důkazy, protože je nepotvrdili jiní badatelé. Bylo to moudré, protože během jednoho nebo dvou let publikovali jiní vědci stejně sofistikované ekonometrické analýzy ukazující, že trest smrti nemá žádný odstrašující účinek.

Kontroverze kolem Ehrlichovy práce byla tak důležitá, že Národní rada pro výzkum svolala panel odborníků s modrou stuhou, aby ji přezkoumali. Po velmi důkladném přezkoumání panel rozhodl, že problém není jen v Ehrlichově modelu, ale v myšlence použití ekonometrických metod k řešení sporů ohledně politiky trestní justice. Oni (Manski, 1978: 422) dospěli k závěru, že:

protože data, která budou pravděpodobně k dispozici pro takovou analýzu, mají svá omezení a protože kriminální chování může být tak složité, nemělo by se očekávat, že se objeví definitivní behaviorální studie, která by měla zažehnat veškeré spory o behaviorálních účincích politik odstrašování.

Většina odborníků nyní věří, že Sellen měl pravdu, že trest smrti nemá žádný prokazatelný vliv na míru vražd. Ale Ehrlich se nenechal přesvědčit. Nyní je osamělým skutečným věřícím v platnost svého modelu. V nedávném rozhovoru (Bonner a Fessendren, 2000) trval na tom, že „pokud se zohlední variace jako nezaměstnanost, příjmová nerovnost, pravděpodobnost zatčení a ochota použít trest smrti, trest smrti má významný odrazující účinek.“

Mýtus čtvrtý: Legalizované potraty způsobily pokles kriminality v 90. letech.

V roce 1999 vydali John Donohue a Steven Levitt studii s novým vysvětlením prudkého poklesu počtu vražd v 90. letech. Tvrdili, že legalizace potratů Nejvyšším soudem USA v roce 1973 způsobila pokles porodů nechtěných dětí, z nichž by neúměrně mnoho vyrostlo v kriminálníky. Problém s tímto argumentem je, že legalizace potratů byla jednorázovou historickou událostí a jednorázové události neposkytují dostatek dat pro validní regresní analýzu. Je pravda, že potraty byly v některých státech legalizovány dříve než v jiných a Donohue a Levitt této skutečnosti využívají. Ale všechny tyto státy procházely stejnými historickými procesy a ve stejném historickém období se dělo mnoho dalších věcí, které ovlivnily míru vražd. Platná regresní analýza by musela všechny tyto věci zachytit a otestovat je v široké škále variací. Stávající data to neumožňují, takže výsledky regresní analýzy se budou lišit v závislosti na tom, která data jsou pro analýzu vybrána.

V tomto případě se Donohue a Levitt rozhodli zaměřit se na změny v průběhu dvanácti let a ignorovat výkyvy v těchto letech. Tímto způsobem, jak zdůraznil James Fox (2000: 303), „propásli většinu posunů v kriminalitě během tohoto období – vzestupný trend během éry cracku na konci 80. let a sestupnou korekci v letech po cracku. něco jako studium účinků měsíčních fází na příliv a odliv, ale záznam dat pouze pro období odlivu.”

Když jsem psal tento článek, zahrnul jsem větu, která říká: “Brzy jiný regresní analytik pravděpodobně znovu analyzuje stejná data a dospěje k jiným závěrům.” O pár dní později mi moje žena předala novinový příběh o takové studii. Autorem nebyl nikdo jiný než John Lott z Yale spolu s Johnem Whitleym z University of Adelaide. Zjistili stejná čísla a došli k závěru, že „legalizace potratů zvýšila míru vražd přibližně o 0,5 až 7 procent“ (Lott a Whitely, 2001).

Proč tak výrazně odlišné výsledky? Každá skupina autorů jednoduše zvolila jiný způsob modelování nedostatečného množství dat. Ekonometrie nemůže udělat platný obecný zákon z historického faktu, že potraty byly legalizovány v 70. letech a kriminalita klesla v 90. letech. Pro validní statistický test bychom potřebovali alespoň pár desítek takových historických zkušeností.

Závěry.

Kyselinový test ve statistickém modelování je predikce. Předpověď nemusí být dokonalá. Pokud model dokáže předpovídat výrazně lépe než náhodné hádání, je to užitečné. Pokud by například model dokázal předpovídat ceny akcií ještě o něco lépe než náhodné hádání, jeho majitelé by velmi zbohatli. Do testování a vyhodnocování modelů cen akcií bylo tedy vynaloženo velké úsilí. Bohužel výzkumníci, kteří používají ekonometrické techniky k hodnocení sociálních politik, jen velmi zřídka podrobují své modely prediktivním testům. Jejich omluvou je, že trvá příliš dlouho, než budou známy výsledky. Nová data o chudobě, potratech nebo vraždách nezískáváte každých pár minut jako u cen akcií. Výzkumníci však mohou provádět prediktivní testování jinými způsoby. Mohou vyvinout model využívající data z jedné jurisdikce nebo časového období a poté jej použít k predikci dat z jiných časů nebo míst. Ale většina výzkumníků to prostě nedělá, nebo pokud ano, modely selžou a výsledky nejsou nikdy zveřejněny.

Časopisy, které publikují ekonometrické studie o otázkách veřejné politiky, často nevyžadují prediktivní testování, což ukazuje, že redaktoři a recenzenti mají od svých oborů malá očekávání. Výzkumníci tedy berou data za pevně stanovenou dobu a neustále je dolaďují a upravují, dokud nedokážou „vysvětlit“ trendy, které se již staly. Vždy existuje několik způsobů, jak to udělat, a u moderních počítačů není tak těžké zkoušet, dokud nenajdete něco, co vám vyhovuje. V tu chvíli se výzkumník zastaví, zapíše zjištění a odešle papír k publikaci. Později může jiný výzkumník upravit model tak, aby získal jiný výsledek. To plní stránky odborných časopisů a každý předstírá, že si nevšiml, že se dělá malý nebo žádný pokrok. Ale nejsme dnes o nic blíže platnému ekonometrickému modelu míry vražd, než jsme byli, když Isaac Ehrlich v roce 1975 publikoval první model.

Vědecká komunita nemá dobré postupy pro uznání selhání široce používané výzkumné metody. Metody, které jsou zakořeněné v postgraduálních programech na předních univerzitách a publikované v prestižních časopisech, mají tendenci být zvěčněny. Mnoho laiků předpokládá, že pokud byla studie publikována v recenzovaném časopise, je platná. Případy, které jsme zkoumali, ukazují, že tomu tak vždy není. Vzájemné hodnocení zajišťuje, že zavedené postupy byly dodržovány, ale nepomůže, když jsou tyto postupy samy o sobě chybné.

V roce 1991 David Freedman, významný sociolog z Kalifornské univerzity v Berkeley a autor učebnic kvantitativních výzkumných metod, otřásl základy regresního modelování, když upřímně prohlásil: „Nemyslím si, že regrese může nést velkou zátěž Ani regresní rovnice samy o sobě moc nepomohou při kontrole matoucích proměnných“ (Freedman, 1991: 292). Freedmanův článek vyvolal řadu silných reakcí. Richard Berk (1991: 315) poznamenal, že Freedmanův argument „bude pro většinu kvantitativních sociologů velmi obtížné přijmout. Jde do podstaty jejich empirického podnikání, a tím ohrožuje celou profesionální kariéru.“

Tváří v tvář kritikům, kteří chtějí nějaký důkaz, že dokážou předvídat trendy, se tvůrci regresních modelů často uchýlí ke statistice jedničky. Vytvářejí tak složité argumenty, že je dokážou pochopit, natož vyvrátit, pouze jiní vysoce vyškolení regresní analytici. Často tato technika funguje. Potenciální kritici se jednoduše vzdají ve frustraci. Philadelphia Inquirer je David Boldt (1999), po vyslechnutí John Lott mluvit o skrytých zbraních a zabití sazeb, a poradili s dalšími odborníky, naříkal, že „se snaží vyřešit akademické argumenty je skoro blázna pochůzka. Můžete se utopit ve sporech ohledně t-statistik, fiktivních proměnných a metod analýzy dat „Poisson“ vs. „nejmenších čtverců“.

Boldt měl pravdu, když tušil, že byl nalákán na bláznovskou misi. Ve skutečnosti neexistují žádná důležitá zjištění v sociologii nebo kriminologii, která by nemohla být sdělena novinářům a politikům, kteří postrádají diplomy z ekonometrie. Je čas přiznat, že císař nemá žádné šaty. Když je předložen ekonometrický model, spotřebitelé by měli trvat na důkazech, že dokáže předvídat trendy v jiných datech, než jsou data použitá k jeho vytvořeníModely, které v tomto testu neuspějí, jsou nepotřebnou vědou, bez ohledu na to, jak složitá je analýza.

REFERENCE

Berk, Richard.A. 1991. Toward a methodology for mere mortals,” Sociological Methodology 21: 315-324.
Boldt, David. 1999. “Study evidence on guns,” Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.
Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates,” New York Times, September 22. Downloaded from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.
Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in AmericaCambridge University Press, New York, pp. 288-317.
Freedman, David 1991. Statistical models and shoe leather. Sociological Methodology 21: 291-313.
Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control LawsUniversity of Chicago Press, second edition with additional analyses.
Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births,” Yale Law & Economics Research Paper No. 254. Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.
Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.
Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.

 

 

 

 

Leave a Reply

Your email address will not be published. Required fields are marked *