#PAGE_PARAMS# #ADS_HEAD_SCRIPTS# #MICRODATA#

Analýza dat v neurologii
XXXI. Bayesovská vs klasická statistika v medicínských aplikacích


Autoři: L. Dušek;  T. Pavlík;  J. Jarkovský ;  J. Koptíková
Působiště autorů: MU, Brno ;  Institut biostatistiky a analýz
Vyšlo v časopise: Cesk Slov Neurol N 2012; 75/108(1): 103-107
Kategorie: Okénko statistika

Několik následujících dílů seriálu budeme věnovat metodice statistických testů a pokročilejším metodám verifikace nulových hypotéz. Navážeme tím na úvodní výklad v dílech XI–XIII a zúročíme také řadu pojmů, které byly vysvětleny v dílech následných.

Pozornost budeme věnovat metodám hodnocení statistických hypotéz, korekcím testů při vícečetném porovnávání skupin pacientů a též metodám plánování a optimalizace statistických testů. Ačkoli jde o pokročilejší problematiku, i ta nachází významné uplatnění v analýze medicínských dat. Některé ze zmíněných přístupů jsou dokonce prio­ritně využívány a rozvíjeny v neurovědách jako nedílná součást metodické koncepce tzv. výpočetních neurověd (computational neuroscience). Jak ve své monografii excelentně zdůvodňuje T. P. Trappenberg (2010), právě výzkum mozku a obecně funkcí nervového systému má velmi blízko k samotným základům statistiky. Nervový systém zpracovává neurčité informace (vjemy) z okolního světa s cílem vytvořit jeho co nejvíce určitý obraz, sloužící pro následné rozhodování o jeho vlastnostech. Principy statistického usuzování jsou stejné: z neurčitých informací tvoříme závěry zobecněné na cílovou populaci. V následujících dílech chceme alespoň částečně doložit, že současný základní výzkum na poli neuro­věd přispívá i k rozvoji možností statistické metodologie.

V tomto díle otevíráme téma, které bývá v učebnicích aplikované statistiky poněkud upozaďováno, ačkoli jeho význam v moderní analýze medicínských dat narůstá. Pokusíme se čtenářům přiblížit principy tzv. bayesovské statistiky, její nástroje a přínos. Bayesovská statistika (pojmenována po T. Bayesovi, 1701–1761) dnes představuje samostatnou větev moderní statistiky pracující s tzv. podmíněnými pravděpodobnostmi. S rostoucí výkonností počítačové techniky vstupují tyto výpočty velmi viditelně i do medicínského výzkumu.

Při vysvětlování principů bayesovské statistiky se musíme krátce vrátit k pojmu pravděpodobnost. Pravděpodobnost lze zjednodušeně definovat jako reálné číslo v intervalu 0–1, které je mírou očekávatelnosti výskytu (nastání) nějakého náhodného jevu. Náhodným jevem myslíme výsledek náhodného experimentu (pozorování), jehož nastání při opakování experimentu (samozřejmě za stejných podmínek) závisí na náhodě. Učebnicovým příkladem je házení kostkou. Při tomto náhodném experimentu můžeme sledovat více možných náhodných jevů, např. padnutí konkrétního čísla, hod s výsledkem menším než 3, apod. Jev nemožný (nemůže nastat) má pravděpodobnost 0 a naopak jev jistý má pravděpodobnost 1 (např. že při hodu normální hrací kostkou padne číslo v intervalu 1 až 6).

Nehodnotíme-li v experimentu nastání náhodného jevu A vzhledem k žádným dalším jevům, pak lze pravděpodobnost jevu A, P(A), označit jako tzv. nepodmíněnou pravděpodobnost. Pokud je však výskyt sledovaného jevu A v nějaké míře ovlivněn výskytem jiného jevu B, pak můžeme při P(B) > 0 hodnotit nastání jevu A za podmínky, že nastal jev B. V tomto případě hovoříme o tzv. podmíněné pravděpodobnosti jevu A za podmínky, že nastal jev B, kterou označujeme P(A|B). V praxi tato situace nastává velmi často. Například určitý výsledek diagnostického testu pozorujeme pouze tehdy, je-li testovaný nemocen, určitý typ komplikací nastává pouze tehdy, je-li pacient léčen danou metodou apod.

Samozřejmě záleží na experimentální situaci a na znalosti hodnotitele, zda ke sledovanému jevu přistoupí s využitím nepodmíněné nebo podmíněné pravděpodobnosti. Nejde přitom o nějaký formální matematický koncept, který by se nedotýkal praxe. Je jisté, že pokud při sledování jevu A pomineme, že jeho výskyt ovlivňuje jev B, můžeme dospět ke zcela jiným závěrům.

Abychom koncept podmíněné pravděpodobnosti vysvětlili blíže, připomeňme si definici klasické pravděpodobnosti. Vyjdeme z náhodného experimentu, který splňuje následující parametry: všech možných výsledků experimentu je konečný počet a jednotlivé výsledky se vzájemně vylučují. Pravděpodobnost jevu A pak definujeme takto:

jp_37198_f_4
jp_37198_f_4

kde n je celkový počet všech možných výsledků náhodného pokusu a m je počet výsledků příznivých pro nastání sledovaného jevu A. Zjednodušeně si lze tuto definici představit takto: uvažujeme celkem n opakování náhodného experimentu za stabilních podmínek. Pokud se jev A vyskytne celkem mkrát, pak podíl m/n označujeme za relativní četnost jevu A. Při mnohonásobném opakování experimentu se relativní četnost ustálí na určité hodnotě, kterou označujeme za pravděpodobnost jevu A. Tento přístup bývá v literatuře citován jako klasický nebo frekventistický. Při velkém počtu opakování náhodného experimentu se relativní četnost jevu blíží jeho pravděpodobnosti.

V předchozím odstavci neříkáme v zásadě nic nového, jde o klasický výklad pravděpodobnosti, který dnes vstoupil i do osnov středoškolského učiva. Avšak problém s klasickým pojetím pravděpodobnosti nastává v případech, kdy:

  • náhodný experiment nejsme schopni opakovat za stejných podmínek,
  • sledovaný jev není ze své podstaty opakovatelný,
  • hromadný výskyt jedinců (objektů) s daným jevem nelze pozorovat nebo je nesmyslný.

Pro všechny tyto situace lze snadno najít poměrně časté medicínské příklady. Např. aplikace diagnostických testů se v různých populacích nutně setkává s různou prevalencí nemoci. Pokud podmínky opakovaného testování nejsou statisticky stabilní, dospějeme ve výsledku k jiným hodnotám. Samotný odhad prevalence určité choroby v populaci daného regionu nebo státu není smysluplně opakovatelný, pokud pracujeme s celou cílovou populací. Jiným příkladem může být značně problematická extra­polace výsledků registračních klinických studií směrem k výsledkům léčby v reálné klinické praxi, kdy se potkáváme s jiným zastoupením charakteristik pacientů apod.

Lze tedy konstatovat, že klasické pojetí pravděpodobnosti je limitováno poměrně silnými předpoklady, které nemusí být v praxi vždy naplněny. V situaci zvýšené neurčitosti je užitečné, pokud můžeme výskyt jevu A podmínit jiným jevem nebo několika jinými jevy. Tato nová informace nám pomůže např. lépe pochopit chování jevu A v různých populacích, za různých podmínek apod. Pravděpodobnost nastání jevu A podmíněnou výskytem jevu B vyjadřujeme vztahem:

jp_37198_f_5
jp_37198_f_5

který platí pouze za situace, kdy P(B) > 0. Tato podmínka je logická, výskyt jevu A můžeme smysluplně podmiňovat pouze jevem, který je za dané situace možný, jehož pravděpodobnost výskytu je tedy nenulová.

Z výše uvedeného vztahu můžeme vyjádřit pravděpodobnost současného nastání jevů A a B jako:

P (A∩B) = P (B) × P (A|B).

Pokud jsou oba sledované jevy vzájemně nezávislé, pak musí platit, že výskyt jevu A nezávisí na výskytu jevu B a na­opak, výskyt jevu B nezávisí na výskytu jevu A. Tedy platí P(A|B) = P(A) a naopak P(B|A) = P(B). Jinými slovy, jsou-li dva jevy nezávislé, pak pravděpodobnost jejich současného výskytu je rovna součinu jednotlivých pravděpodobností: P (A∩B) = P (B) × P (A). Pokud platí, že P (A∩B) = 0, pak jde o vzájemně se vylučující jevy.

Čtenářům se omlouváme za vyšší počet matematických vztahů, než je v našem seriálu obvyklé. V následující části již budeme směřovat k příkladům využití vykládané látky. V klinické nebo experimentální praxi se totiž často setkáváme se situací, kdy známe pravděpodobnosti P(B|A)P(A) a potřebujeme vypočítat podmíněnou pravděpodobnost P(A|B). Uveďme některé příklady takových situací:

  • Příklad 1. Jev A: neurologická porucha; jev B: výskyt těžké deprese. Z publikovaných studií známe pravděpodobnost výskytu těžké deprese u pacientů trpících určitou neurologickou poruchou, tedy P(B|A). Zároveň z prevalenčních studií známe pravděpodobnost výskytu dané neurologické poruchy v cílové populaci, tedy P(A). Naším cílem je odhadnout pravděpodobnost, s jakou se u pacienta trpícího těžkými depresemi v cílové populaci vyskytuje sledovaná neurologická porucha, tedy P(A|B).
  • Příklad 2. Jev A: testovaný člověk je nemocný; jev B: diagnostický test dal pozitivní výsledek. Z laboratorních validačních pokusů víme, že diagnostický test vykáže pozitivní výsledek při přítomnosti choroby u pacienta s pravděpodobností P(B|A). Z populačních dat známe pravděpodobnost výskytu dané choroby v cílové populaci, tedy P(A). Je třeba odhadnout, jaká je v dané populaci pravděpodobnost, že testovaný člověk je skutečně nemocný, když u něj vyjde pozitivní test, tedy P(A|B).
  • Příklad 3. Jev A: osoba páchá závažnou kriminalitu; jev B: osoba je závislá na tvrdých drogách. Ze sociologických průzkumů známe pravděpodobnost výskytu závažných kriminálních delikventů ve sledovaném městě, tedy P(A). Z kriminalistických studií známe pravděpodobnost závislosti na tvrdých drogách u závažných delikventů, tedy P(B|A). Směřujeme k odhadu pravděpodobnosti vážných trestných činů u osob, které jsou v daném městě registrovány pro závislost na tvrdých drogách, tedy P(A|B).
  • Příklad 4. Jev A: zhoubný nádor plic; jev B: bývalý nebo současný kuřák. Pro sledovanou populaci známe pravděpodobnost výskytu zhoubných nádorů plic, P(A). Z literatury známe pravděpodobnost dřívějšího nebo současného kuřáctví u pacientů s nádory plic, P(B|A). Je třeba odhadnout pravděpodobnost výskytu nádorů plic u dřívějších nebo současných kuřáků ve sledované populaci, tedy P(A|B).
  • Příklad 5. Jev A: léčba určitým lékem; jev B: kardiologická diagnóza, která se může stát problémem, pokud se zhorší v době léčby daným lékem. Ze studií odvodíme pravděpodobnost, že sledovaná skupina pacientů dostane předepsaný lék A, tedy P(A). Z registračních studií odvodíme pravděpodobnost výskytu choroby B v populaci indikované pro léčbu lékem A, tedy P(B|A). Potřebujeme odvodit, s jakou pravděpodobností bude v dané populaci léčen lékem A pacient, který trpí zmíněným kardiologickým problémem B, tedy P(A|B).

Je zřejmé, že podmíněná pravděpodobnost umožňuje hodnocení jevů v mnoha klinicky nebo výzkumně relevantních situacích. I samotné prokazování diagnózy nemoci pomocí diagnostických testů nezbytně vede k práci s podmíněnou pravděpodobností. Připomeňme v této souvislosti z dřívějších dílů seriálu (č. XXV, XXVI) alespoň dvě nejužívanější charakteristiky diagnostických testů:

  • senzitivita je podmíněná pravděpodobnost, že test bude pozitivní u nemocného člověka,
  • specificita je podmíněná pravděpodobnost, že test bude negativní u zdravého člověka.

Všechny výše uvedené příklady spojují následující prvky, které opodstatňují použití podmíněné pravděpodobnosti:

  • sledované jevy B nejsou vzájemně nezávislé; cílový jev A je ve svém výskytu podmíněn výskytem jevu B.
  • jde o extrapolaci výsledků pozorování v modelových podmínkách (studie, průzkumy, publikovaná data) do populace s jinou pravděpodobností výskytu sledovaného jevu A.
  • při extrapolaci dat do cílové populace pracujeme s nejistými vstupními informacemi a data nasbíraná v minulosti jsou pouze částečným řešením.

Řešení těchto problémů přináší tzv. Bayesova věta, která ukazuje, jak podmíněná pravděpodobnost jevu A za podmínky nastání jevu B souvisí s podmíněnou pravděpodobností jevu B za podmínky nastání jevu A. Ve smyslu výše uvedených příkladů tedy od Bayesovy věty očekáváme řešení vztahu podmíněné pravděpodobnosti P(A|B) s využitím podmíněné pravděpodobnosti P(B|A):

jp_37198_f_6
jp_37198_f_6

přičemž musí platit, že P(B) > 0.

Konkrétní výpočet požadované pravděpodobnosti nastání jevu A při nastání jevu B, P(A|B), provádíme pomocí tzv. Bayesova vzorce (Bayesovy formule, Bayesova pravidla), který pracuje s podmíněnými pravděpodobnostmi dle následujícího vztahu:

jp_37198_f_2
jp_37198_f_2

Bayesův vzorec vychází z Bayesovy věty a jednoduše rozepisuje pravděpodobnost nastání jevu B, tedy P(B) ve jmenovateli, jako podmíněnou pravděpodobnost B při nastání jevu + podmíněnou pravděpodobnost jevu B při nenastání jevu A (označeno jako not A nebo ¯A). Přitom musí platit, že P(A) + P(not A) = 1.

Pravděpodobnost nastání jevu při výskytu podmiňujícího jevu B je cílovým odhadem při aplikaci Bayesova vzorce. Z tohoto pohledu ve vztahu rozlišujeme:

  • Apriorní pravděpodobnost jevu (prior probability of the event): P(A). Tato pravděpodobnost se týká výskytu jevu A v populaci bez ohledu na výskyt dalších jevů a musíme ji alespoň přibližně určit před vlastním výpočtem. Hodnota P(A) bývá apriori známa z minulých analýz dat, z literatury nebo jde o expertní odhad.
  • Aposteriorní pravděpodobnost jevu A (posterior probability of the event): P(A|B). Jde o pravděpodobnost, k jejímuž odhadu ve výpočtu směřujeme. V podstatě na základě znalosti pravděpodobnosti jevu B a jeho vlivu na výskyt jevu změníme apriorní odhad P(A) na přesnější aposteriorní odhad P(A|B).

Pro objasnění uveďme jednoduchý příklad aplikace Bayesova vzorce při zkoumání vztahu kouření a rizika zhoubného nádoru plic. Naším úkolem bude odhadnout pravděpodobnost výskytu rakoviny u kuřáků, a to na vzorku osob, které přicházejí s problémy do specializované ambulance určité nemocnice:

  • Jev A zde znamená záchyt zhoubného nádoru plic; jev B je záchyt osoby, která kouří.
  • Apriorní pravděpodobnost jevu A stanovíme z retrospektivních dat o činnosti dané ambulance. Předpokládejme například, že z dostupných záznamů vyplývá P(A) = 0,1. U 10 % pacientů přicházejících na vyšetření je tedy diagnostikováno maligní onemocnění plic.
  • Stanovit přímo P(A|B) z dostupných dat nejde, nicméně jsme schopni odhadnout P(B), tedy pravděpodobnost výskytu kuřáků ve sledované populaci. Předpokládejme relativně vysoký podíl, tedy např. P(B) = 0,5.
  • Ze záznamů ambulance také můžeme odhadnout pravděpodobnost P(B|A), a to prostou kontrolou výskytu kuřáků mezi již diagnostikovanými onkologickými pacienty. Nastavme např. P(B|A) = 0,8.
  • Aplikací Bayesova vzorce vypočítáme: P(A|B) = (0,8 × 0,1) / 0,5 = 0,16.

Závěr uvedeného příkladu je velmi důležitý. Pokud zjistíme, že pacient je kuřák, musíme revidovat naši apriorní znalost pravděpodobnosti nádoru plic z hodnoty 0,1 na 0,16. Jde o významný nárůst, který zároveň potvrzuje kuřáctví jako závažný rizikový faktor. Z výpočtu dále vyplývají další možnosti řešení problému. Celý výpočet můžeme lehce zopakovat pro různé cílové populace s různou hodnotou apriorní pravděpodobnosti P(A). Rovněž měnící se hodnota P(B) nebo P(B|A) se snadno promítne do hodnoty aposte­riorní pravděpodobnosti P(A|B). Bayesovské odhady takto poskytují užitečnou adaptabilitu směrem k měnícím se podmínkám v cílové populaci.

Více příkladů výpočtů Bayesova vzorce uvádíme v příkladu 1. Správnost našich odhadů závisí především na správnosti stanovení apriorní pravděpodobnosti a také na přesnosti stanovení opačné podmíněné pravděpodobnosti, tedy v námi použitém značení P(B|A). Pokud tyto vstupy nemají oporu v reprezentativních datech a jsou např. jen nepřesným odhadem, celý výpočet nemůže poskytnout relevantní výstupy. Závislost výsledku na aprior­­ní pravděpodobnosti jevu A je častou kritikou bayesovských odhadů.

Příklad 1. Výpočet a aplikace Bayesova vzorce.
Příklad 1. Výpočet a aplikace Bayesova vzorce.

Tím se dostáváme k srovnání tzv. klasické (frekventistické) a bayesovské statistiky. Je zřejmé, že se jedná o rozdílné koncepty provádění odhadů. Oba přístupy jsou také logicky často srovnávány, někdy i přehnaně kriticky, až vzniká dojem jakési soutěže. Přibližme si hlavní rozdíly na jednoduchém příkladu. Zkoumáme vliv nového léčebného postupu na nemocniční mortalitu nebezpečné choroby, přičemž je známo, že nemocniční mortalita zde běžně dosahuje 50 %. Představme si, že daný postup aplikujeme u pěti pacientů a že všichni přežijí. Výsledek tohoto pilotního experimentu jistě vede k optimistickému závěru, že nový postup je účinný. Logické otázky ovšem jsou, jak moc je účinný, zda tento závěr vůbec můžeme zobecnit a zda nejde jen o náhodu. Klasická statistika by při testování nové léčby směřovala k uspořádání mnohem větší studie, která by ověřovala platnost předem stanovených hypotéz, např. že nemocniční mortalita při použití nové léčby je signifikantně nižší než známá hodnota 50 %. Nicméně i bez této další fáze zkoumání můžeme výše popsaný výstup na 5 pacientech formálně zpracovat. Použijme k tomu pro srovnání jak klasickou statistiku, tak Bayesův teorém:

  • Pojetí frekventistické: Máme výběrový soubor dat o velikosti n = 5 a pravděpodobnost úmrtí každého člověka 0,5 (tj. 50% mortalita). Předpokládáme, že osudy pacientů jsou na sobě navzájem nezávislé a že každý pacient má stejnou pravděpodobnost úmrtí nebo přežití. Jaká je tedy pravděpodobnost, že náhodně přežije najednou všech 5 pacientů? Můžeme použít model binomického rozdělení s parametrem π = 0,50 při n = 5 (jako jev zde bereme přežití pacienta – viz díl VIII našeho seriálu; lze použít i jednoduchou funkci v MS Excel: BINOMDIST). Výsledek je, že při 50% nemocniční mortalitě je náhodná pravděpodobnost přežití všech 5 pacientů rovna 0,03125. Jelikož je výsledek jednotlivých pacientů na sobě nezávislý, stejný výsledek získáme násobením pravděpodobnosti přežití jedinců mezi sebou (jde o nezávislé jevy): 0,5 × 0,5 × 0,5 × 0,5 × 0,5 = (0,5)5 = 0,03125. Zcela náhodná pravděpodobnost, že v nemocnici nezemře nikdo z 5 pacientů, je tedy malá a je nižší než běžně akceptovaná hranice pro statisticky významné výsledky α = 0,05. Všichni pacienti z n = 5 se tedy neuzdravili jen náhodou, konkrétně s pravděpodobností 1 – 0,03125 = 0,96875. Můžeme uzavřít, že zvolený léčebný postup má pravděpodobně terapeutickou účinnost.
  • bayesovském pojetí nás nejvíce zajímá pravděpodobnost, že i při dosaženém optimistickém výsledku léčby může být aplikovaná léčba neúčinná. Označme jako jev A neúčinnost zkoumané léčby. Jelikož ale o účinnosti léčby na počátku nic nevíme, je běžné nastavit P(A) = 0,5. Apriorní pravděpodobnost tak odráží především naši neznalost. Nemáme dost informací, abychom se apriorně přiklonili k účinnosti či neúčinnosti léku. Jevem B je zde přežití všech pěti pacientů při léčbě v nemocnici. V předchozím odstavci jsme již spočítali pravděpodobnost, že tento jev nastane náhodou, tedy při ne­účinnosti léku, což znamená P(B|A) = 0,03125. Při 100% účinnosti léku je naopak pravděpodobnost jevu B rovna 1, což znamená P(B|notA) = 1. Obě varianty, tedy P(A)P(not A), přitom předpokládáme v poměru 1 : 1, neboť jsme P(A) nastavili jako rovnu 0,5. Pomocí Bayesova vzorce vypočítáme pravděpodobnost P(A|B), tedy pravděpodobnost, že lék je neúčinný, i když přežijí všichni pacienti ze skupiny n = 5 pacientů:

jp_37198_f_3
jp_37198_f_3

a tedy

P(not A|B) = 0,9697.

Bayesovským postupem tedy dospíváme ke stejnému závěru jako klasická statistika. Je málo pravděpodobné, aby lék byl neúčinný při přežití všech pěti pacientů v experimentu.

Je patrné, že u jednoduchých příkladů si oba přístupy ve výsledku nijak neodporují. Nicméně pokud je bayesovská statistika představována jako metodický protipól statistiky klasické, je to pravda. Prezentované spory jsou však často spíše filozofické a týkají se samotné podstaty přístupu ke zkoumání okolního světa. Někdy sklouzávají až k úsměvným vzájemným obviňováním zastánců obou přístupů. „Bayesianisté“ („Bayesianism“ – myšlenkový a filozofický směr postavený na principech bayesovské statistiky) obviňují klasickou statistiku z toho, že je uzavřená ve svých modelových přístupech, a není tak schopná se adaptovat na proměnlivost skutečného světa. Zaznívá i obvinění, že v klasickém přístupu jde více o samotnou hodnotu statistické významnosti (hodnota p) než o skutečné poznání sledovaných jevů. Naopak frekventisté vyčítají bay­esovskému přístupu nahodilost určování apriorních pravděpodobností a také výpočetní náročnost složitějších problémů, kdy se velmi často musí používat počítačová simulace. Jako vždy je pravda někde uprostřed a výhodnost zvoleného přístupu záleží na situaci a na vstupních informacích. Jsou situace, kdy se klasická statistika může opřít o vysoce relevantní data a není důvod ji nevyužít. A naopak existuje nemalý počet problémů, které bychom bez Bayesova teorému nemohli vůbec zkoumat, mezi nimi například i procesy související s percepcí informací v lidském mozku. Nicméně ale, pokud se někteří z nás při bayesovské kritice nadhodnocování významu hodnoty p u statistických testů nad sebou zamyslí, pak jistě padla na úrodnou půdu.

Dalšími aplikacemi bayesovské statistiky se budeme zabývat v příštím díle našeho seriálu.

doc. RNDr. Ladislav Dušek, Dr.

Institut biostatistiky a analýz

MU, Brno

e-mail: dusek@cba.muni.cz 


Zdroje

Trappenberg TP. Fundamentals of Computational Neuroscience. 2nd ed. Oxford: Oxford University Press 2010.

Štítky
Detská neurológia Neurochirurgia Neurológia
Článek Úvodník

Článok vyšiel v časopise

Česká a slovenská neurologie a neurochirurgie

Číslo 1

2012 Číslo 1
Najčítanejšie tento týždeň
Najčítanejšie v tomto čísle
Kurzy

Zvýšte si kvalifikáciu online z pohodlia domova

Získaná hemofilie - Povědomí o nemoci a její diagnostika
nový kurz

Eozinofilní granulomatóza s polyangiitidou
Autori: doc. MUDr. Martina Doubková, Ph.D.

Všetky kurzy
Prihlásenie
Zabudnuté heslo

Zadajte e-mailovú adresu, s ktorou ste vytvárali účet. Budú Vám na ňu zasielané informácie k nastaveniu nového hesla.

Prihlásenie

Nemáte účet?  Registrujte sa

#ADS_BOTTOM_SCRIPTS#