Markova ķēde

Markova procesa diagramma- no katra stāvokļa izejošās bultiņas ar skaitļiem norāda varbūtību. No stāvokļa izejošo varbūtību summai jābūt 1 (visa varbūtība)

Markova ķēde, arī Markova process ir gadījuma rakstura process, kas raksturo virkni iespējamiem notikumiem. Katra virknes nākamā locekļa iespējamās varbūtības ir atkarīgas tikai no pašreizējā stāvokļa un ir neatkarīgas no iepriekšējo stāvokļu vēstures.

Markova ķēdes pielieto, lai veidotu statistiskus modeļus pasaules procesiem. Tie ir pamats Monte Karlo metodēm, lai iegūtu vērtības no varbūtību sadalījuma funkcijām, kas ir atradis pielietojumu Beiesa statistikā, bioloģijā, ķīmijā, ekonomikā, finansē, informācijas teorijā, fizikā, signālu apstrādē un valodas apstrādē.

Markova ķēžu veidi

Markova ķēde iedala pēc to iespējamo stāvokļu veida (galīgs skaits vai bezgalīgs skaits iznākumu) un laika solis starp stāvokļu maiņu (diskrēts vai nepārtraukts). Tabulā var redzēt piemērus dažādiem Markova processiem:

	Saskaitāms stāvokļu skaits	Nepārtraukts stāvokļu skaits
Diskrēts laiks	Galda spēle cirks, teksta ģenerēšana	Šautriņas metiens
Nepārtraukts laiks	Ķīmiskais līdzsvars, radioaktīvā sabrukšana, veikalā esošu cilvēku skaits	Brauna kustība

Piemērs daļēji novērotam Markova gadījuma lielumam- Alise sazinās ar Bobu katru dienu, Bobs pastāsta, ko todien darīja, taču šī darbība ir atkarīga no tās dienas laikapstākļiem. Boba darbība līdz ar to liecina par tās dienas laikapstākļiem

Markova ķēžu modeļus izmanto mainīgās sistēmās. Markova ķēdes var vispārināt atkarībā no tā vai tiek novērtots katrs stāvoklis vai nē un vai sistēma iekļauj vai neiekļauj izvēles elementu. Tabulā var redzēt piemērus šādiem Markova processiem:

	Sistēmas stāvoklis ir novērojams	Sistēmas stāvoklis ir daļēji novērojams
Sistēma ir autonoma	Markova ķēde	Laikapstākļu minēšanas modelis
Sistēmā ir izvēles elements	Kvantu krustiņi un nullītes	Finanšu tirgus modelis

Markova ķēžu matemātika

Markova īpašība

Markova īpašība apgalvo, ka nākamais procesa stāvoklis ir atkarīgs tikai no esošā stāvokļa. Matemātiski tas pierakstās kā $P(X_{m+1}=i_{m+1}|X_{m}=i_{m})$, ka priekš jebkura $m$ nākamais gadījuma notikums ir atkarīgs tikai no šī grīža gadījuma notikuma.

Markova ķēdes matrica

Markova ķēdes varbūtību sadalījumu var pierakstīt ar matricas palīdzību. Katru matricas ierakstu var aprēķināt pēc formulas $p_{ij}=P(X_{m+1}=j|X_{m}=i)$, kur $p_{ij}$ ir matricjas i-tā rinda, j-tā kolonna.

Piemēram, pirmā attēla Markova ķēdi var pierakstīt šādi: ${\begin{pmatrix}0&0.2&0.8\\0.5&0&0.5\\0.1&0.9&0\end{pmatrix}}$.