Mýty o Vraždu a Roztroušenou Regrese

Original: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm

Od Ted Goertzel

Rutgers University, Camden NJ 08102

Zveřejněna v The Skeptical Inquirer, Volume 26, No 1, January/February 2002, pp. 19-23.

Španělský překlad jako „El Modelo Econometrico Como Ciencia basura,“ v psicologia Política, č 24 (Valencie, Španělsko).

Pokud byste chtěli delší, techničtější verze tohoto dokumentu ve formátu Word,  klikněte sem

Myslíte si, že pokaždé, když vězeň je proveden ve Spojených státech, osm budoucí vraždy odrazuje? Myslíte si, že 1% zvýšení v počtu obyvatel s licencí pro přepravu skryté zbraně způsobí 3,3%  pokles  v ceně státu vraždy? Myslíte si, že 10 až 20% poklesu kriminality v roce 1990 byl způsoben zvýšením potratů v roce 1970? Nebo že míra vraždy by se zvýšil o 250% od roku 1974 v případě, že Spojené státy se nestaví tolik nových věznic?

Pokud jste byli uvedeni v omyl některou z těchto studií, pravděpodobně jste padli na zhoubné formy pavědy: použití matematických modelů bez prokázané prediktivní schopnost vyvodit závěry pro politiky. Tyto studie jsou povrchně působivý. Napsal renomovaných společenských vědců z prestižních institucí, které se často objevují v recenzovaných vědeckých časopisech. Naplněný složitých statistických výpočtů, dávají přesné číselné „fakty“, které mohou být použity jako body diskutující v politické argumenty. Ale tyto „fakta“ jsou bude o jen‘cáry. „Fakty“ před tím, než inkoust je suchý na jedné studie, další se objeví se zcela odlišnými Navzdory své vědecké vzhled, tyto modely nesplňují základní kritérium pro užitečnou matematickým modelem: schopnost dělat předpovědi, které jsou lepší než náhodou.

Ačkoliv ekonomové jsou hlavními praktici této tajemné umění, sociologové, kriminalisté a další sociální vědci verze to stejně. Je známo, pod různými jmény, včetně „ekonometrické modelování“, „strukturální rovnici modelování“ a „analýzu cesty.“ To vše jsou způsoby využití korelace mezi proměnnými, aby se kauzální závěry. Problém s tímto, jako někdo, kdo má kurz ve statistice ví, je, že korelace není příčina. Korelace mezi dvěma proměnnými jsou často „falešný“, protože je způsobena nějakou třetí proměnné. Ekonometrické modeláře se snaží překonat tento problém tím, že zahrnuje všechny relevantní proměnné ve svých analýzách pomocí statistické techniky zvané „multiple regrese.“ Pokud někdo měl dokonalé opatření všech příčinných proměnných, by to fungovat. Ale data nejsou nikdy dost dobrý. Opakovaná úsilí používat více regrese, aby se dosáhlo konečné odpovědi na otázky veřejné politiky selhaly.

Ale mnozí sociologové se zdráhají přiznat neúspěch. Mají věnovaných roky učení a vyučování regresní modelování, a budou i nadále používat regrese, aby se kauzální argumenty, které nejsou ospravedlněny svými daty. Říkám tyto argumenty mýty vícenásobné regrese, a chtěl bych použít čtyři studie z vraždy sazeb jako příklady.

Mýtus První: Více Guns, Méně Kriminality.

John Lott, ekonom na Yale University, který se používá ekonometrický model tvrdí, že „občanům umožňuje nosit ukryté zbraně odrazuje násilných trestných činů, a to bez zvýšení náhodné smrti.“ Analýza snění je zapojen „vydá“ zákony, které vyžadují místní úřady, aby vydaly skryté zbraně povolit na právní dodržující občan, který žádá o jeden. Lott Odhaduje se, že každý nárůst o jedno procento v držení zbraní v populaci způsobuje pokles o 3,3% v zabití sazeb. Lott a jeho spoluautor, David Hořčice zveřejnil první verzi svého studia na internetu v roce 1997 a desítky tisíc lidí, kteří stáhli. To bylo předmětem politických fór, sloupy novin a často poměrně složitých debat na World Wide Web. V knize s názvem chytlavé více zbraní, méně zločinu, Lott posmíval své kritiky a obvinil je uvedení ideologii před vědou.

Snění práce je příkladem statistického jedné upmanship. Má větší množství dat a složitější analýzu, než kdokoli jiný studuje téma. Žádá, aby každý, kdo chce napadnout jeho argumenty stanou ponoří do velmi složité statistické diskusi, na základě výpočtů tak těžké, že nemohou být provedeno pomocí běžných stolních počítačů. Napadá každého, kdo nesouhlasí s ním stáhnout svou datovou sadu a znovu své výpočty, ale většina sociologové si nemyslím, že to stojí za jejich zatímco zopakovat studie s použitím metod, které byly opakovaně neúspěšné. Většina kontrolní zbraň výzkumníci jednoduše oprášil Lott a hořčicí tvrzení a pokračoval ve své práci. Dvě vysoce respektované činných v trestním výzkumníci, Frank Zimring a Gordon Hawkins (1997) napsal článek, vysvětlující, že:

stejně jako pánové. Lott a Hořčice mohou s jedním modelem determinant zabití, produkují statistické zbytky naznačující, že‚ vydá‘ zákony snižují zabití, očekáváme, že rozhodný econometrician může produkovat léčbu stejných historických období s různými modely a opačné účinky. Ekonometrické modelování je dvousečný meč v její schopnosti usnadnit statistických zjištění teplého srdce pravých věřících jakéhokoli pruhem.Zimring a Hawkins pravdu. Během jednoho roku, dvou určuje ekonometry, Dan Black and Daniel Nagin (1998) zveřejnila studii, která ukazuje, že v případě, že ke změně statistický model trochu, nebo aplikovat ho na různé segmenty dat, Lott a nálezy hořčicí zmizela. Black and Nagin zjistil, že když Florida byla odstraněna ze vzorku tam bylo „žádná detekovatelná dopad zákonů zprava nošení na míru vraždy a znásilnění. “Došli k závěru, že „závěr vychází z modelu Lott a hořčice je nevhodné, a jejich výsledky nemohou být použity odpovědně formulovat veřejnou politiku.“

John Lott, nicméně sporný jejich analýzu a pokračoval podporovat jeho vlastní. Lott sbíral data pro každou z amerických krajů za každý rok od roku 1977 do roku 1992. Problém s tímto je, že Amerika je okresy liší ohromně ve velikosti a sociálních charakteristik. Několik z nich velké, obsahující velkých měst, představují velmi vysoký podíl vražd ve Spojených státech. Jak se to stane, ani jeden z těchto velkých krajů mají „vydá“ zákony na držení zbraní. To znamená, že masivní sada dat snění byl prostě nevhodný pro svůj úkol. Neměl žádnou změnu ve své klíčové kauzální proměnná – „vydá“ zákony – v místech, kde došlo většina vražd.

Nezmínil se toto omezení ve své knize, nebo články. Když jsem zjistil, nedostatek „vydá“ zákony ve velkých městech ve svém vlastním posouzení jeho údajů, zeptal jsem se ho na to. Ten pokrčil rameny a řekl, že měl „řízené“ k velikosti populace ve své analýze. Ale zavedení statistické kontroly v matematické analýze nedělal až na to, že on prostě neměl údaje o velkých městech, kde je problém zabití bylo nejvíce akutní.

Trvalo mi nějaký čas, aby si tento problém ve svých údajích, protože jsem nebyl obeznámen s problematikou řídícího pistole. Ale Zimring a Hawkins se zaměřil na to okamžitě, protože věděli, že „vydá“ zákony byly zavedeny ve státech, kde byl National Rifle Association silný, a to především na jihu, západě a ve venkovských oblastech. Jednalo se uvádí, že již měli několik omezení zbraní. Zjistili, že tento legislativní historie maří „naše schopnost srovnat trendy‚pojdou‘států s trendy v jiných státech. Vzhledem k tomu, že státy, které změnily právní předpisy se liší v umístění a ústavy ze států, které ne, bude srovnání mezi legislativními kategoriích vždy riskovat matoucí demografické a regionální vlivy s dopadem chování různých právních režimů „Zimring a Hawkins dále poznamenal, že.:

Lott a hořčice jsou samozřejmě vědoma tohoto problému. Jejich řešení standardní ekonometrické techniky, je vytvořit statistický model, který bude kontrolovat pro všechny rozdíly mezi Idaho a New Yorku, které ovlivňují vražd a trestných činů ceny, jiné než „pojdou“ zákonů. Jestliže jeden může „určit“ hlavní vlivy na zabití, znásilnění, vloupání a krádež v našem modelu, pak můžeme eliminovat vliv těchto faktorů na různých trendů. Lott a hořčice stavět modely, které odhadnout dopady demografických údajů, ekonomických údajů a trestní trestu na různé trestné činy. Tyto modely jsou nejvyšší ve statistickém domácí kuchyně v tom, že jsou vytvořeny pro tyto údaje stanovené těmito autory a testován pouze na údaje, které budou použity při vyhodnocování zprava nést důsledky.Lott a hořčice byly porovnáním trendů v Idahu a Západní Virginie a Mississippi s trendy ve Washingtonu, DC a New Yorku. Co se vlastně stalo, že došlo k explozi zabití trhlin souvisejících v hlavních východních městech v roce 1980 a brzy 1990. Celá argumentace snění přišel až na tvrzení, že z velké části venkova a western „vydá“ státy byly ušetřeny trhlin v souvislosti s epidemií zabití z důvodu jejich „pojdou“ zákonů. To by nikdy nebyla brána vážně, pokud to nebylo zakryto bludiště rovnic.

Mýtus Druhý: Uvěznění Více Lidí Cuts Zločinu

Případ Lott a hořčice byl výjimečný pouze ve výši pozornosti veřejnosti obdržela. To je docela běžné, a to i typické pro konkurenční studie, které mají být zveřejněny pomocí ekonometrických metod dosáhnout opačným závěrům o stejném problému. Často není nic některou z analýz prokazatelně špatně. Prostě používat mírně odlišné soubory údajů nebo různé techniky k dosažení různých výsledků. Zdá se, jako by se regresní modeláři mohou dosáhnout žádného výsledku chtějí, aniž by porušil pravidla regresní analýzy v žádném případě. V jednom mimořádně upřímné vyjádření frustrace s tímto stavem věcí, dvě vysoce respektované kriminalisté, Thomas Marvell a Carlisle Moody (1997: 221), informoval o přijetí studie oni dělali vlivu odnětí svobody na zabití sazeb. Oni hlásili, že:

široce obíhal [své] nálezy, spolu s údaji používanými, s kolegy, kteří se specializují na kvantitativní analýzu. Nejčastější odpovědí je, že odmítají věřit výsledky bez ohledu na to, jak dobrý je statistická analýza. Za tohoto tvrzení je představa, často neformálně projednány, ale zřídka publikována, že sociální vědci mohou získat jakékoliv požadovaného výsledku tím, že manipuluje postupy používané. Ve skutečnosti je široká škála odhadů týkajících se dopadu vězeňské populaci se bere jako dobré důkazy o tvárnosti výzkumu. Z toho vyplývá, dokonce i mezi mnoho lidí, kteří pravidelně zveřejňovat kvantitativní studie, je to, že bez ohledu na to, jak důkladná analýza, výsledky nejsou věrohodné, pokud jsou v souladu s předchozími očekáváními. Výzkum disciplína nemůže uspět v tomto rámci.K jejich velké zásluhy, Marvell a Moody otevřeně přiznal problémy s vícenásobnou regresí, a učinil několik návrhů na zlepšení. Bohužel, někteří ekonometry natolik ponořen do svých modelů, které ztrácejí přehled o tom, svévolné jsou. Přicházejí k přesvědčení, že jejich modely jsou reálnější, více platí, než je chaotický, vzpurné, „nekontrolované“ skutečnosti za cíl vysvětlit.

Mýtus Třetí: Provádění Lidé Cuts Zločinu

V roce 1975 American Economic Review publikoval článek předního ekonoma, Isaac Ehrlich z University of Michigan, který odhaduje, že každé provedení odradit osm vražd. Před Ehrlich, nejznámější odborník na efektivitu trestu smrti byl Thorsten Sellen, který se používá mnohem jednodušší metodu analýzy. Sellen připravit grafy porovnávající trendy v různých státech. Zjistil, že malý nebo žádný rozdíl mezi státy s nebo bez trestu smrti, a tak došel k závěru, že trest smrti se žádný rozdíl. Ehrlich, v aktu statistických jedné upmanship, tvrdil, že jeho analýza byla ještě platná, protože to řídilo pro všechny faktory, které mají vliv na zabití sazeb.

Ještě předtím, než to bylo vydáváno Ehrlich práce byla citována generální prokurátor Spojených států v amicus curiae podané u Nejvyššího soudu Spojených států v obraně trestu smrti. Naštěstí Soud rozhodl spoléhat na Ehrlichova důkazy, protože to nebylo potvrzeno jinými výzkumníky. To bylo moudré, protože během jednoho roku či dvou jiných vědců zveřejněné stejně sofistikované ekonometrické analýzy ukazují, že trest smrti neměl žádný odrazující účinek.

Spor Ehrlichova práce bylo tak důležité, že National Research Council svolala modrou stuhou panel odborníků na její revizi. Po velmi důkladném přezkoumání, panel rozhodl, že problém není jen s Ehrlichova modelu, ale s myšlenkou použití ekonometrických metod k vyřešení sporů o politice trestního soudnictví. Oni (Manski, 1978: 422) dospěl k závěru, že:

protože údaje, které by mohly být k dispozici pro takovou analýzu mají svá omezení, a proto, že kriminální chování může být tak složité, nelze očekávat vznik definitivní studie chování ležící na odpočinek všechny diskusi o behaviorálních účincích politiky odstrašování.Většina expertů nyní věří, že Sellen pravdu, že trest smrti nemá žádný prokazatelný účinek na vraždy sazeb. Ale Ehrlich nebyl přesvědčil. Nyní je osamělý pravý věřící v platnosti jeho modelu. V nedávném rozhovoru (Bonner a Fessendren, 2000) trval na tom, „pokud variace, jako je nezaměstnanost, nerovnosti příjmů, pravděpodobnost dopadení a ochota používat trest smrti jsou účtovány, trest smrti vykazuje výrazný odstrašující účinek.“

Mýtus Čtvrtý: Zákonný Potrat Způsobil Klesání Zločinu v Roce 1990.

V roce 1999, John Donohue a Steven Levitt vydala studii s novým vysvětlením prudkého poklesu vraždy sazeb v roce 1990. Tvrdili, že legalizace potratů u Nejvyššího soudu USA v roce 1973 způsobil pokles narození nechtěných dětí, nepřiměřené množství z nich by vyrostli jako zločinci. Problém s tímto argumentem je, že legalizace potratů byla jednorázová historická událost a jeden-čas události neposkytují dostatek dat pro platný regresní analýzy. Je pravda, že potrat byl legalizován dříve v některých zemích než ostatní, a Donohue a Levitt využít této skutečnosti. Ale všechny tyto státy byly procházejí stejnými historických procesů, a mnoho dalších věcí se děje ve stejném historickém období, které provedené vraždy sazeb. Platný regresní analýza by měla zachytit všechny tyto věci, a testovat je v širokém rozsahu změn. Stávající údaje neumožňují, aby, tak výsledky regresní analýzy se bude lišit v závislosti na tom, jsou údaje vybrány pro analýzu.

V tomto případě, Donohue a Levitt se rozhodli zaměřit se na změny v průběhu dvanáctiletého časovém rozpětí je ignoroval výkyvy v těchto letech. Tím jako James Fox (2000: 303) poukázal na to, „že vynechal většinu posunů v trestné činnosti během tohoto období – vzestupný trend během pozdních 1980 trhliny éru a korekci směrem dolů v post-trhliny let. To je něco jako studium účinků měsíčních fází na oceánských přílivů, ale pouze záznam dat po dobu odlivu.“

Když jsem psal tento článek, jsem zahrnul větu o tom, „brzy další regresní analytik bude pravděpodobně znovu zanalyzovat stejná data a dospěly k protichůdným závěrům.“ O několik dní později, moje žena mi podal novinový článek o právě takové studie. Autor nebyl nikdo jiný než John Lott z Yale, spolu s Johnem Whitley z University of Adelaide. Oni praskaly stejná čísla a dospěl k závěru, že „legalizace potratů zvýšil ceny vraždy zhruba o 0,5 až 7 procent“ (Lott a bíle, 2001).

Proč takové značně rozdílné výsledky? Každá sada autorů jednoduše vybrali jiný způsob, jak modelovat nepřiměřené množství dat. Ekonometrie nemůže platný obecný zákon z historického faktu, že interupce byla legalizována v roce 1970 a zločin šel dolů v roce 1990. Potřebovali bychom alespoň několik desítek takových historické zkušenosti pro platný statistického testu.

Závěry.

Zkouška kyseliny ve statistických modelů je predikce. Predikce nemusí být perfektní. Je-li model může předpovídat výrazně lepší než náhodný odhad, je to užitečné. Například v případě, že model by mohl předpovídat ceny akcií ještě o něco lepší než náhodný odhad, že by její vlastníci velmi bohatý. Takže hodně úsilí odešla do testování a vyhodnocení modelů cen akcií. Bohužel, vědci, kteří používají ekonometrických technik pro vyhodnocení sociální politiky velmi zřídka podrobit své modely do prediktivních testů. Jejich výmluva je, že to trvá příliš dlouho, výsledky, které mají být známy. Nemusíte získat nové údaje o chudobě, potratu nebo zabití každých pár minut, jak je tomu u cen akcií. Ale výzkumníci mohou dělat prediktivního testování jinými způsoby. Mohou vytvořit model na základě dat z jedné jurisdikce nebo časové období, potom jej použít k predikci dat z jiných časů a míst. Ale většina výzkumníků prostě nedělejte to, nebo je-li to dělají modely selžou a výsledky nejsou nikdy zveřejněny.

Mezi časopisy, které publikují ekonometrické studie problematiky veřejné politiky často nevyžadují prediktivního testování, které ukazuje, že redaktoři a recenzenti mají nízké očekávání svých oborech. Takže vědci brát údaje za určitou dobu a držet jemné ladění a nastavení jejich model, dokud oni mohou „vysvětlit“ trendy, které se již staly. Tam jsou vždy celá řada způsobů, jak toho dosáhnout, a s moderními počítači to není příliš těžké udržet se snaží, dokud nenajdete něco, co se hodí. Na tom místě, výzkumník zastaví, píše na zjištění a odešle dokument off k publikaci. Později, další výzkumník může upravit model získat jiný výsledek. To vyplní stránky odborných časopisů a každý předstírá, že si nevšiml, že malý nebo žádný pokrok je dělán. Ale nejsme blíž k mít platný ekonometrický model vraždy sazeb dnes, než jsme byli, když Isaac Ehrlich publikoval první model v roce 1975. 

Vědecká komunita nemá dobré postupy pro uznání selhání široce používané výzkumné metody. Metody, které jsou zavedený v postgraduálních programech na předních univerzitách a publikovány v prestižních časopisech mají tendenci být zachráněna. Mnoho laiků předpokládat, že v případě, že studie byla publikována v časopise přezkoumána, je platný. Případy Zkoumali jsme ukázat, že to není vždy případ. vzájemného hodnocení ujišťuje, že zavedené postupy byly dodrženy, ale je to příliš nepomůže, když tyto postupy samy o sobě jsou vadné.

V roce 1991, David Freedman, významný sociolog z University of California v Berkeley a autor učebnic kvantitativních výzkumných metod, otřásl základy regresní modelování, když otevřeně prohlásil „Nemyslím si, že regrese může nést velkou část zátěže v příčinná argumentem. Ani regresní rovnice, samy o sobě dát hodně pomoci při kontrole na matoucích proměnných“(Freedman, 1991: 292). Freedman je článek vyvolal řadu silných účinků. Richard Berk (1991: 315) podotknout, že argumentace Freedman je „bude velmi obtížné pro většinu kvantitativní sociologové akceptovat. Jde to k srdci jejich empirické podniku a přitom klade celý profesní kariéru v ohrožení.“

Potýkají s kritiky, kteří chtějí nějaký důkaz, že mohou předpovídat trendy, regresní modeláři často opřít o statistické jedné upmanship. Dělají argumenty natolik složitý, že jen další vysoce kvalifikovaní regresní analytici může pochopit, natož vyvrátit, je. Často tento postup funguje. Potenciální kritici prostě vzdát ve frustraci. The  Philadelphia Inquirer je  David Boldt (1999), po vyslechnutí John Lott mluvit o skrytých zbraních a zabití sazeb, a poradili s dalšími odborníky, naříkal, že „se snaží vyřešit akademické argumenty je skoro blázna pochůzka. Lze topit ve sporech t-statistiky, dummy proměnné a “Poissonova vs. metody analýzy dat metodou nejmenších čtverců”.“

Boldt správně podezření, že ho někdo vylákal do mise blázna. K dispozici jsou ve skutečnosti žádné významné nálezy v sociologii či kriminologie, které nemohou být sděleny novinářům i politikům, kteří nemají absolventské hodnosti v ekonometrie. Je na čase si přiznat, že císař nemá žádné šaty. Když si stěžoval na ekonometrického modelu, spotřebitelé by měli trvat na důkazu, že lze předvídat trendy v datech  jiných než údaje použité k jejímu vytvořeníModely, které nebudou v této zkoušce jsou junk science, bez ohledu na to, jak složité analýzy.

REFERENCE

Berk, Richard.A. 1991. Toward a methodology for mere mortals,” Sociological Methodology 21: 315-324.
Boldt, David. 1999. “Study evidence on guns,” Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.
Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates,” New York Times, September 22. Downloaded from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.
Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in AmericaCambridge University Press, New York, pp. 288-317.
Freedman, David 1991. Statistical models and shoe leather. Sociological Methodology 21: 291-313.
Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control LawsUniversity of Chicago Press, second edition with additional analyses.
Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births,” Yale Law & Economics Research Paper No. 254. Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.
Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.
Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.