Řetězce Markovovy

řetězce Markovovy – spec. druh stochastického procesu, v němž při známém současném stavu nezávisí budoucí stavy na minulosti procesu. Základy teorie položil rus. matematik A. A. Markov v r. 1907. O ř.M. se také hovoří jako o stochastických procesech s jednoduchou vazbou, neboť pro podmíněné pravděpodobnosti platí [math]P \{ X(t_n) = j_n / X(t_1) = j_1, \ldots, X(t_{n-1}) = j_{n-1} \} = P \{ X(t_n) = j_n / X(t_{n-1}) = j_{n-1} \}[/math], tj. znalost stavů procesu v minulosti je irelevantní pro pravděpodobnostní určení procesu. Ř.M. je určen absolutními pravděpodobnostmi stavů ve výchozím okamžiku a maticemi podmíněných pravděpodobností přechodů mezi jednotlivými stavy v různých časových okamžicích, v nichž proces sledujeme. Jsou-li matice podmíněných pravděpodobností přechodů nezávislé na čase, pak se příslušný ř.M. nazývá homogenní, v opačném případě hovoříme o nehomogenním ř.M. Dále se budeme zabývat homogenními ř.M., jejichž aplikace jsou častější. Označíme-li matici podmíněných pravděpodobností přechodu [math]\mathrm{P} = (p_{ij})[/math], kde [math]p_{ij}[/math] znamená podmíněnou pravděpodobnost přechodu ze stavu [math]i[/math] do stavu [math]j[/math] mezi sousedními časovými okamžiky, symbolem [math]\mathrm{p}(t) = ( p_1(t), p_2(t), \ldots, p_N(t) )[/math] vektor absolutních pravděpodobností stavů procesu v okamžiku [math]t[/math], pak platí [math]\mathrm{p}(t) = \mathrm{p}(t-1)\cdot \mathrm{P}[/math], resp. [math]\mathrm{p}(t) = \mathrm{p}(0) \cdot \mathrm{P}^t[/math]. Ř.M. se dělí na 2 hlavní kategorie: regulární a absorpční řetězce. Pro regulární řetězce vždy existuje [math]\operatorname{lim} \mathrm{p}(t) = \mathrm{a}[/math], kde [math]\mathrm{a}[/math] je limitní (stacionární) vektor. U absorpčních řetězců se množina stavů procesu stává z absorpčních stavů (pravděpodobnosti setrvání v těchto stavech jsou jednotkové) a transientních stavů (tyto budou po dostatečně velkém počtu přechodů opuštěny). Pro uvedené typy ř.M. lze analyticky vypočítat řadu charakteristik – např. matici středních dob prvních přechodů, průměrné doby strávené v transientních stavech, pravděpodobnosti přechodu do různých absorpčních stavů apod. V ekon. problematice se používají ř.M. s hodnocením, kde se jednotlivým přechodům připisují hodnotové charakteristiky. Lze-li volit v jednotlivých okamžicích mezi několika variantami, které se liší v pravděpodobnostních a hodnotových stránkách, je možno formulovat úlohu optimálního řízení, již lze řešit dynamickým programováním. V s-gii se používají ř.M. zejm. pro popis procesů sociální mobility. K odhadům parametrů ř.M. se používá buď metoda odhadů z mikrodat, kdy známe relativní četnosti přechodů pro určitý soubor jednotek, či metoda odhadů z makrodat, kdy disponujeme informacemi o relativním zastoupení jednotlivých stavů v několika časových obdobích bez znalosti jednotlivých „drah“ mezi stavy. V druhém případě lze formulovat úlohu nalezení matice podmíněných pravděpodobností přechodu jako optimalizační úlohu, jež je řešitelná metodami nelineárního či lineárního programování.

Markov chains chaînes de Markov Markow-Ketten catene di Markov

Literatura: Howard, R. A.: Dynamic Probabilistic Systems. New York, Wiley 1971; Walter, J.: Stochastické modely v ekonomii. Praha 1970.

Josef Lauber