Cadenas de Markov - Facultad de Ingeniería

Cadenas de Markov - Facultad de Ingeniería

@ 71.07 Investigación Operativa
> Cadenas de Markov
Horacio Rojo y Miguel Miranda
c
⃝2009
Facultad de Ingenierı́a,
Universidad de Buenos Aires
Digitalizado por Virginia Guala
$September 12, 2009
Cadenas de Markov ∣ 1
Indice
1 PROCESOS ESTOCÁSTICOS
1.1 Definición de Proceso Estocástico . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Clasificación de los Procesos Estocásticos . . . . . . . . . . . . . . . . . . . . . .
3
3
3
2 CADENAS DE MARKOV HOMOGÉNEAS
DE PARÁMETRO DISCRETO
2.1 Estudio de las probabilidades en las cadenas de markov homogéneas . . . . . . .
2.2 Clasificación de las cadenas de Markov Homogéneas en ergódicas y no ergódicas
2.3 Estudio del Comportamiento de las Cadenas Ergódicas en el Régimen Permanente
2.4 Estudio del comportamiento de las cadenas no ergódicas . . . . . . . . . . . . .
10
10
21
27
34
3 CADENAS DE MARKOV HOMOGÉNEAS
DE PARÁMETRO CONTINUO
43
3.1 Estudio de las probabilidades en las cadenas de Markov homogéneas . . . . . . . 43
3.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49
4 APLICACIÓN DE CADENAS DE MARKOV
A SISTEMAS DE ATENCIÓN
4.1 Definición del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Modelización mediante una cadena de Markov tipo nacimiento y muerte . . . . .
4.3 Modelo general de canales en paralelo de igual velocidad . . . . . . . . . . . . .
4.4 Modelo de dos canales en paralelo de distinta velocidad y cola infinita . . . . . .
4.5 Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola
posición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . . .
5 APLICACIONES
5.1 Aplicación comercial (“Brand switching”) . . . . . . . . . . . . .
5.2 Planeamiento de Personal . . . . . . . . . . . . . . . . . . . . .
5.3 Gestión de inventarios . . . . . . . . . . . . . . . . . . . . . . .
5.4 Planeamiento de producción . . . . . . . . . . . . . . . . . . . .
5.5 Analisis de fallas . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6 Analisis de cuentas . . . . . . . . . . . . . . . . . . . . . . . . .
5.7 Estudio de confiabilidad en un sistema de lı́neas de transmisión
BIBLIOGRAFÍA
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
54
54
56
58
69
72
73
78
78
82
86
89
93
95
97
102
Cadenas de Markov ∣ 2
PRÓLOGO
Las cadenas de Markov comprenden un capı́tulo particularmente importante de
ciertos fenómenos aleatorios que afectan a sistemas de naturaleza dinámica y
que se denominan procesos estocásticos. Deben su nombre a Andrei Andreivich
Markov, matemático ruso que postuló el principio de que existen ciertos procesos cuyo estado futuro sólo depende de su estado presente y es independiente
de sus estados pasados. Dichos procesos, denominados proceso de Markov, ası́
como un subconjunto de ellos llamados cadenas de Markov, constituyen una
herramienta matemática muy general y poderosa para el análisis y tratamiento
de un sinnúmero de problemas de caracterı́stica aleatoria en campos de muy
diversa ı́ndole, como ser la fı́sica, la Ingenierı́a y La Economı́a por citar sólo
unos pocos.
En el capı́tulo 1 se describen los procesos estocásticos y dentro de los mismos
se encuadran a los procesos y cadenas de Markov. En el capı́tulo 2 se analizan en detalle a las cadenas de Markov de parámetro discreto, definiéndose las
probabilidades de transición y de estado y las ecuaciones generales que rigen el
comportamiento de esas cadenas, las que luego se aplican al estudio de las principales cadenas ergódicas y no ergódicas. En el capı́tulo 3 se sigue un esquema
similar aplicado a las cadenas de Markov de parámetro continuo, que son luego
utilizadas en el capı́tulo 4 para la modelización de los sistemas de atención. Por
último en el capı́tulo 5 se indican otras aplicaciones de las cadenas de Markov.
Queremos dejar constancia de nuestro profundo agradecimiento a los ingenieros
Eduardo Diéguez y Fernando Salvador por la exhaustiva tarea de revisión efectuada y por los invalorables consejos y sugerencias que nos han formulado en
la elaboración del texto.
Los Autores
Cadenas de Markov ∣ 3
1
1.1
PROCESOS ESTOCÁSTICOS
Definición de Proceso Estocástico
Un proceso estocástico es un modelo matemático que describe el comportamiento
de un sistema dinámico, sometido a un fenómeno de naturaleza aleatoria.
La presencia de un fenómeno aleatorio hace que el sistema evolucione según
un parámetro, que normalmente es el tiempo t cambiando probabilı́sticamente
de estado. En otras palabras: al realizar una serie de observaciones del proceso, en diferentes ocasiones y bajo idénticas condiciones, los resultados de las
observaciones serán, en general, diferentes. Por esa razón para describir el
comportamiento del sistema es necesario definir una variable aleatoria: X(t)
que represente una caracterı́stica mesurable de los distintos estados que puede
tomar el sistema según sea el resultado del fenómeno aleatorio, y su correspondiente probabilidad de estado asociada: 𝑝𝑥 (𝑡).
Luego el proceso estocástico queda definido por el conjunto:
𝑋(𝑡), 𝑝𝑥 (𝑡), 𝑡
Ejemplo 1.a
En un sistema de generación de energı́a eléctrica,
el pronóstico de la potencia eléctrica horaria
requerida para un dı́a es un proceso estocástico,
en el cual son:
t= 0, 1, 2 ...... 24: horas del dı́a.
X(t)= pronóstico de la potencia eléctrica requerida.
px(t)= probabilidad de estado asociada.
1.2
Clasificación de los Procesos Estocásticos
Para su estudio los procesos estocásticos pueden clasificarse de diversas maneras, como se indica a continuación.
1.2.1) Clasificación de los procesos estocásticos según la memoria de la historia
de estados
Cadenas de Markov ∣ 4
Esta clasificación tiene relación con la memoria que guarda el proceso de
la historia de los estados anteriores. Para efectuar este análisis se define la
probabilidad condicional o de transición entre estados mediante la siguiente expresión:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =
𝑥𝑡−Δ𝑡2 , 𝑋(𝑡 − Δ𝑡3 ) = 𝑥𝑡−Δ𝑡3 , . . . . . .}
(1.2)
Siendo:
𝑥𝑡+Δ𝑡 : un estado particular en el instante 𝑡 + Δ𝑡
𝑥𝑡 : un estado particular en el instante t
𝑥𝑡−Δ𝑡1 : un estado particular en el instante 𝑡 − Δ𝑡1
𝑥𝑡−Δ𝑡2 : un estado particular en el instante 𝑡 − Δ𝑡2
𝑥𝑡−Δ𝑡3 : un estado particular en el instante 𝑡 − Δ𝑡3
En función de lo anterior se definen los siguientes procesos:
a) Procesos aleatorios puros.
Son procesos en los que se cumple que:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =
𝑥𝑡−Δ𝑡2 , . . .} = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 }
(1.3)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular independientemente de cuáles hayan sido los estados anteriores 𝑥𝑡 , 𝑥𝑡−Δ𝑡1 ,
Cadenas de Markov ∣ 5
𝑥𝑡−Δ𝑡2 ,. . ., “es un proceso sin memoria de la historia de estados anteriores”.
Ejemplos de dicho proceso se encuentran en todos los ensayos independientes al azar.
b) Proceso sin memoria tipo Markov.
Son procesos en los que se cumple que:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 , 𝑋(𝑡 − Δ𝑡1 ) = 𝑥𝑡−Δ𝑡1 , 𝑋(𝑡 − Δ𝑡2 ) =
𝑥𝑡−Δ𝑡2 , . . .} = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑥𝑡+Δ𝑡 /𝑋(𝑡) = 𝑥𝑡 }
(1.4)
Es decir que la probabilidad de que el sistema se encuentre en un
estado cualquiera 𝑥𝑡+Δ𝑡 en el instante 𝑡 + Δ𝑡 se puede calcular si se
conoce cuál ha sido el estado inmediatamente anterior 𝑥𝑡 , independientemente de cuáles hayan sido los restantes estados anteriores: 𝑥𝑡−Δ𝑡1 ,
𝑥𝑡−Δ𝑡2 , . . .: es un “proceso sin memoria de toda la historia de estados
anteriores, excepto del inmediatamente anterior 𝑥𝑡 ”, resumiéndose en
éste toda la información necesaria para calcular la probabilidad del
estado 𝑥𝑡+Δ𝑡 . También se lo suele caracterizar como un proceso en
el cual “dado el presente (𝑥𝑡 ), el futuro (𝑥𝑡+Δ𝑡 ) es independiente del
pasado (𝑥𝑡−Δ𝑡1 , 𝑥𝑡−Δ𝑡2 , . . .)”.
Ejemplo de dicho proceso se encuentran en el funcionamiento de una
red de transmisión de energı́a eléctrica en la cual el estado del sistema
está dado por el número de lı́neas fuera de servicio en un instante
dado. Otro ejemplo lo constituye un canal de telecomunicaciones, en
el cual el estado del sistema es la salida digital del canal. En ambos
casos los estados futuros dependen del estado actual y no de cómo ha
evolucionado para llegar a dicho estado.
c) Procesos con memoria.
Son todos los restantes procesos estocásticos cuyas probabilidades condicionales de transición no cumplen con (1.3) ni (1.4).
Cadenas de Markov ∣ 6
Ejemplo 1.b
El siguiente es un proceso con tres variantes que permiten ejemplificar
cada uno de los tres tipos de procesos mencionados. Dado un bolillero
con tres bolillas: 1, 2 y 3, se definen las siguientes experiencias de
pruebas repetidas:
a) Se extraen bolillas “con reposición” y los resultados aleatorios 1, 2
o 3 definen los estados X(t) del siguiente proceso:
⎧
⎫
⎨ si, si la bolilla es 1 ó 2 ⎬
𝑥(𝑡) =
𝑡 = 1, 2, 3, . . .
⎩
⎭
no, si la bolilla es 3
1/3
89:;
?>=<
éste es un “proceso aleatorio puro” de ensayos indeno^
pendientes, pues la probabilidad de presentación de
2/3
1/3
los estados “si” y “no” en t valen 2/3 y 1/3 respec
0123
7654
siS
tivamente, independientemente de cual haya sido el
2/3
estado anterior.
Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivas
entre estados, en el cual los nodos representan los estados del proceso, los arcos las transiciones sucesivas posibles entre estados y los
atributos de los arcos las probabilidades condicionales de transición
entre dos estados sucesivos.
b) Se estraen bolillas “con o sin reposición” según sea 1 o 2, y 3 respectivamente, definiéndose los estados X(t) del siguiente proceso:
{
}
si,
si la bolilla es 1 o 2, (y se reponen todas)
𝑥(𝑡) =
𝑡 = 1, 2, 3, . . .
no, si la bolilla es 3, (y no se reponen)
éste es un “proceso tipo Markov” pues conocido un estado X(t) en t se pueden calcular las
probabilidades de los estados X(t+1) en t+1,
tal como se indica en el grafo de transiciones.
89:;
?>=<
no^
0
7654
0123
siS
2/3
1
1/3
Cadenas de Markov ∣ 7
c) se extraen bolillas “con o sin reposición” según sean 1, y 2 o 3 respectivamente, definiéndose los estados X(t) del siguiente proceso:
{
}
si,
si la bolilla es 1, (y se reponen todas)
𝑥(𝑡) =
𝑡 = 1, 2, 3, . . .
no, si la bolilla es 2 o 3, (y no se reponen)
éste es un “proceso con memoria” pues la probabilidad del estado X(t+l)= si, requiere el
conocimiento de los estados X(t) y X(t-1), tal
como se indica en el grafo de transiciones; y lo
propio para el estado X(t+l)= no.
1/2 (si X(t-1)=si)
0 (si X(t-1)=no)
1/2 (si X(t-1)=si)
1 (si X(t-1)=no)
89:;
?>=<
no^
0123
7654
siS
2/3
1/3
1.2.2) Clasificación de los procesos de Markov según la naturaleza discreta o continua de las variables.
Referida especı́ficamente a los procesos de, Markov, esta clasificación guarda
relación con la naturaleza discreta o continua del espacio de estados de la
variable X(t) y del parámetro tiempo t.
(a) Naturaleza del espacio de estados.
Cuando X(t) representa una magnitud continua (tensión o corriente
eléctrica, fuerza, energı́a, potencia, presión, etc), el espacio de estados
de X(t) deberá ser un intervalo de números reales, y se hablará entonces de un “proceso de Markov con estados continuos” o brevemente
“proceso de Markov”. En cambio cuando X(t) representa una magnitud discreta (cantidad de artı́culos en stock en un almacén, número
de lı́neas en servicio en un sistema de transmisión de energı́a eléctrica,
cantidad de clientes en un sistema de atención y espera, etc.) el espacio de estados de X(t) será una secuencia finita o numéricamente
infinita de enteros, y se hablará entonces de un “proceso de Markov
con estados discretos”, o “cadena de Markov”.
Cadenas de Markov ∣ 8
(b) Naturaleza del parámetro tiempo.
Dada la naturaleza dinámica del sistema cuyo comportamiento describe, la definición de la variable aleatoria X(t) requiere la especificación del parámetro t, es decir del conjunto de instantes en que se
puede observar los estados del sistema. Ası́ si las observaciones se realizan en cualquier instante del continuo (𝑡 ≥ 0), se habla de un proceso
o cadena de Markov de parámetro continuo, mientras que en otras
ocasiones las observaciones se efectúan en determinados instantes de
tiempo (p. ej. de hora en hora, 𝑡 = 0, 1, 2, . . .) y en este caso se habla
de un proceso o cadena de Markov de parámetro discreto.
Lo anterior se resume en el siguiente cuadro:
Naturaleza
del
parámetro
tiempo t
Naturaleza del espacio de estados X(t)
Discreto
Continuo
Discreto
Cadenas de Markov de Procesos de Markov de
(𝑡 = 0, 1, . . .)
parámetro discreto
parámetro discreto
Continuo
Cadenas de Markov de Procesos de Markov de
(𝑡 ≥ 0)
parámetro continuo
parámetro continuo
1.2.3) Clasificación de las Cadenas de Markov según su homogeneidad en el
Cadenas de Markov ∣ 9
tiempo
Con referencia especı́ficamente a las cadenas de Markov, de parámetro
discreto o continuo, los distintos estados de la variable X(t) se suelen representar genéricamente con letras: i, j, k, etc. En particular los valores
de dichos estados dependen de la naturaleza del sistema que se modela,
pero habitualmente se utilizan números enteros: 0, 1, 2, . . . , 𝑚. Luego para
las cadenas de Markov la probabilidad condicional da transición (1.4) se
expresa de la siguiente manera:
𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖} = 𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡)
(1.5)
Una cadena de Markov es homogénea cuando la probabilidad condicional
de transición (1.5) del estado i al estado j en cualquier instante t sólo depende de la diferencia Δ𝑡, es decir:
𝑃𝑖𝑗 (𝑡, 𝑡 + Δ𝑡) = 𝑃𝑖𝑗 (Δ𝑡); ∀𝑡 ≥ 0
(1.6)
y es no homogénea en caso contrario. En base a las tres clasificaciones
efectuadas se puede realizar el siguiente cuadro:
⎧
Procesos aleatorios puros


⎧
⎨
(estados cont.)
Procesos
⎨ Procesos de Markov
}{
{
Procesos
de
Markov
Cadenas
de
p.
discr.
homogéneas
Estocásticos 

⎩
⎩
de Markov
de p.cont.
no homogén.
Los capı́tulos siguientes se limitaran al análisis de las cadenas de Markov
homogéneas, tanto de parámetro discreto como continuo, y sus respectivos
problemas de aplicación.
Cadenas de Markov ∣ 10
2
CADENAS DE MARKOV HOMOGÉNEAS
DE PARÁMETRO DISCRETO
En la primera parte del capı́tulo se estudian las probabilidades condicionales de
transición -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en
(1.1) - en las cadenas de Markov homogéneas, y se desarrollan las ecuaciones que
rigen su comportamiento, las que luego se aplican al estudio del comportamiento
de dichas cadenas en los regı́menes transitorio y permanente.
2.1
Estudio de las probabilidades en las cadenas de markov homogéneas
2.1.1) Probabilidad condicional de transición
a) Definición general
Tal como se ha expresado en (1.6), la probabilidad condicional de
transición del estado i al estado j en un intervalo Δ𝑡: 𝑝𝑖𝑗 (Δ𝑡) en una
cadena de Markov homogénea de parámetro discreto es la probabilidad
condicional de que el sistema se encuentre en estado j en el instante
𝑡 + Δ𝑡, habiéndose encontrado en el estado i en el instante t, con t y
Δ𝑡 enteros. Matemáticamente es:
⎧

⎨ 𝑡 = 0, 1, 2, . . .
Δ𝑡 = 𝑛 = 0, 1, 2, . . .
𝑝𝑖𝑗 (Δ𝑡) = 𝑃 {𝑋(𝑡+Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con:
(2.1)
𝑖
= 0, 1, 2, . . . , 𝑚

⎩
𝑗
= 0, 1, 2, . . . , 𝑚
El intervalo Δ𝑡= n = entero se denomina número de pasos o transiciones o avances de la cadena sobre el parámetro t. El conjunto de
probabilidades de transición 𝑝𝑖𝑗 (Δ𝑡) ,∀i,j definen la matriz de probabilidades de transición 𝑃 (Δ𝑡):
𝑖/
0
1
𝑃 (Δ𝑡) = ..
.
..
.
𝑚
𝑗
0
𝑝00 (Δ𝑡)
𝑝10 (Δ𝑡)
..
.
..
.
𝑝𝑚0 (Δ𝑡)
1
𝑝01 (Δ𝑡)
𝑝11 (Δ𝑡)
..
.
..
.
𝑝𝑚1 (Δ𝑡)
......
......
......
......
𝑚
𝑝0𝑚 (Δ𝑡)
𝑝1𝑚 (Δ𝑡)
..
.
..
.
𝑝𝑚𝑚 (Δ𝑡)
(2.2)
Cadenas de Markov ∣ 11
matriz en la que se cumplen las siguientes condiciones:
⎧
0 ≤ 𝑝𝑖𝑗 (Δ𝑡) ≤ 1 ;
∀𝑖, 𝑗
(2.3)







𝑚
⎨ ∑
𝑝𝑖𝑗 (Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . , 𝑚
(2.4)


𝑗=0





⎩
con Δ𝑡 = 𝑛 = 1, 2, 3, . . .
b) Probabilidad de transición de 1 paso
Es un caso particular de la (2.1) y representa la probabilidad condicional de transición del estado i al estado j, en un intervalo Δ𝑡= 1.
{
𝑝𝑖𝑗 (1) = 𝑃 {𝑋(𝑡 + 1) = 𝑗/𝑋(𝑡) = 𝑖}; con:
𝑡 = 0, 1, 2, . . .
𝑖 = 0, 1, 2, . . . , 𝑚
𝑗 = 0, 1, 2, . . . , 𝑚
(2.5)
Análogamente el conjunto de probabilidades de transición de 1 paso
𝑝𝑖𝑗 ,∀i,j definen la matriz de probabilidades de transición de 1 paso P:
𝑖/
0
1
𝑃 (Δ𝑡) = ..
.
..
.
𝑚
𝑗
0
𝑝00
𝑝10
..
.
..
.
𝑝𝑚0
1
𝑝01
𝑝11
..
.
..
.
𝑝𝑚1
......
......
......
......
𝑚
𝑝0𝑚
𝑝1𝑚
..
.
..
.
𝑝𝑚𝑚
(2.6)
Ejemplo 2.a
Si en la cadena de Markov descripta en la experiencia b) del ejemplo
l.b se denominan:
estado 0 = no
estado 1 = si
el grafo y la matriz de transición de 1 paso son respectivamente:
Cadenas de Markov ∣ 12
𝑖/
𝑗
𝑃 = 0
1
0
0
1/3
1
1
2/3
1
0123
7654
0^
0
7654
0123
1S
1/3
2/3
Ejemplo 2.b
Si bien la experiencia a) del ejemplo l.b corresponde a 1 proceso de
ensayos independientes, se lo puede tratar dentro de la teorı́a de las
cadenas de Markov, siendo sus estados, el grafo y la matriz de transición de 1 paso las siguientes:
estado 0 = no
estado 1 = si
2/3
7654
0123
0^
1/3
7654
0123
1S
1/3
𝑃 =
1/3
1/3
2/3
2/3
2/3
c) Probabilidad de transición de 2 pasos
En forma análoga se define:
{
𝑝𝑖𝑗 (2) = 𝑃 {𝑋(𝑡 + 2) = 𝑗/𝑋(𝑡) = 𝑖}; con:
𝑡 = 0, 1, 2, . . .
𝑖 = 0, 1, 2, . . . , 𝑚
𝑗 = 0, 1, 2, . . . , 𝑚
(2.7)
Esta probabilidad, en una cadena de Markov, se puede calcular en
función de las probabilidades de 1 paso, mediante la ecuación de
Chapman-Kolmogorov, cuya expresión, para este caso es:
𝑝𝑖𝑗 (2) =
𝑚
∑
𝑘=0
{
𝑝𝑖𝑘 .𝑝𝑘𝑗 ; ∀
𝑖 = 0, 1, . . . , 𝑚
𝑗 = 0, 1, . . . , 𝑚
(2.8)
la cual establece que para todo par de estados i y j separados por un
avance Δ𝑡= 2 pasos, la probabilidad de transición se puede expresar
Cadenas de Markov ∣ 13
en función de las probabilidades de transición de 1 paso del estado i a
un conjunto exhaustivo de estados k (todos los estados posibles) y de
las probabilidades de transición de 1 paso de cada uno de los estados
k al estado j.
Para su demostración se definen los conjuntos A, 𝐵𝑘 y C cuyos elementos son ternas ordenadas de eventos: la primera componente es el
estado del sistema en t, la segunda en t+1 y la tercera en t+2
⎧
𝐴 : conjunto de ternas cuya primera componente es el estado i en t




⎨ 𝐵𝑘 : cada conjunto de ternas cuya segunda componente es uno de los
estados k en t+1


𝐶 : conjunto de ternas cuya tercera componente es el estado j en t+2


⎩
además se cumple que: 𝑃 (𝐶 ∩ 𝐴) = 𝑃 (𝐶/𝐴).𝑃 (𝐴)
𝑚
∑
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) =
𝑚
∑
𝑃 (𝐶 ∩ 𝐵𝑘 ∩ 𝐴)
𝑘=0
𝑃 (𝐴)
=
𝑃 (𝐶/𝐵𝑘 ∩ 𝐴).𝑃 (𝐵𝑘 ∩ 𝐴)
𝑘=0
𝑃 (𝐴)
y por ser una cadena de Markov se cumple la (1.4), luego es:
𝑃 (𝐶/𝐵𝑘 ∩ 𝐴) = 𝑃 (𝐶/𝐵𝑘 )
con lo cual queda demostrada la (2.8) pues:
Cadenas de Markov ∣ 14
𝑚
∑
𝐿𝑖𝑗 (2) = 𝑃 (𝐶/𝐴) =
𝑃
(𝐴)
𝑃 (𝐶 ∩ 𝐵𝑘 ).𝑃 (𝐵𝑘 /𝐴).
𝑘=0
=
𝑃
(𝐴)
𝑚
∑
𝑝𝑘𝑗 .𝑝𝑖𝑘
𝑘=0
Como antes, el conjunto de probabilidades de transición de 2 pasos:
𝑝𝑖𝑗 (2), ∀ i,j definen la matriz de probabilidades de transición de 2 pasos:
𝑝00 (2)
𝑝10 (2)
..
𝑃 (2) =
.
..
.
𝑝𝑚0 (2)
𝑝01 (2) . . . . . .
𝑝11 (2) . . . . . .
..
.
..
.
𝑝𝑚1 (2) . . . . . .
𝑝0𝑚 (2)
𝑝1𝑚 (2)
..
.
..
.
𝑝𝑚𝑚 (2)
(2.9)
y aplicando la ecuación de Chapman (2.8) a cada uno de los elementos de la matriz (2.9) queda la expresión matricial de la ecuación de
Chapman-Kolmogorov:
𝑝00 (2) . . .
..
.
𝑃 (2) =
..
.
𝑝𝑚0 (2) . . .
P(2)=P.P=𝑃 2
𝑝0𝑚 (2)
𝑝00 𝑝01 . . .
..
.
..
= ..
.
.
..
..
..
.
.
.
𝑝𝑚𝑚 (2)
𝑝𝑚0 𝑝𝑚1 . . .
𝑝0𝑚
𝑝00 . . .
..
x 𝑝10
.
..
..
.
.
𝑝𝑚𝑚
𝑝𝑚0 . . .
𝑝0𝑚
𝑝1𝑚
..
.
𝑝𝑚𝑚
(2.10)
Ejemplo 2.c
La matriz de transición de 2 pasos de la cadena del Ejemplo n∘ 2.a,
aplicando la ecuación (2.10) es:
Cadenas de Markov ∣ 15
0
1
0
1
𝑃 (2) =
0, 33 0, 67
=
0, 33 0, 67
0, 33 0, 67
0,67
=⇒
0, 22 0, 78
0123
7654
0^
0,33
0123
7654
1S
0,22
0,78
La ecuación de Chapman-Kolmogorov (2.10) es una condición necesaria, pero no suficiente para que una cadena sea Markoviana.
d) Expresión qeneral de la ecuación de Chapman-Kolmogorov
En forma genérica la probabilidad de transición de n pasos es:
⎧

⎨ 𝑡 = 0, 1, 2, . . .
𝑛 = 1, 2, . . .
𝑝𝑖𝑗 (𝑛) = 𝑃 {𝑋(𝑡 + 𝑛) = 𝑗/𝑋(𝑡) = 𝑖}; con:
(2.11)

⎩ 𝑖 = 0, 1, 2, . . . , 𝑚
𝑗 = 0, 1, 2, . . . , 𝑚
Repitiendo el proceso descripto en el punto anterior para deducir la
ecuación (2.8) se llega a las expresiones algebraicas generales de la
ecuación de Chapman-Kolmogorov:
⎧ 𝑚
⎫
∑



𝑝𝑖𝑘 .𝑝𝑘𝑗 (𝑛 − 1) : forma a) 






{


⎨ 𝑘=0
⎬
𝑛 = 1, 2, . . .
; con: 𝑖 = 0, 1, 2, . . . , 𝑚 (2.12)
𝑝𝑖𝑗 (𝑛) =


𝑗 = 0, 1, 2, . . . , 𝑚


𝑚


∑





𝑝𝑖𝑘 (𝑛 − 1).𝑝𝑘𝑗 : forma b) 
⎩
⎭
𝑘=0
Como antes, el conjunto de probabilidades de transición de n pasos
𝑝𝑖𝑗 (𝑛), ∀ij definen la matriz de probabilidades de transición de n casos:
Cadenas de Markov ∣ 16
𝑝00 (𝑛)
𝑝10 (𝑛)
𝑃 (𝑛) =
..
.
𝑝𝑚0 (𝑛)
𝑝01 (𝑛) . . . . . .
𝑝11 (𝑛) . . . . . .
𝑝0𝑚 (𝑛)
𝑝1𝑚 (𝑛)
𝑝𝑚1 (𝑛) . . . . . .
𝑝𝑚𝑚 (𝑛)
(2.13)
y la expresión matricial general de la ecuación de Chapman-Kolmogorov,
tomando por ejemplo la forma a), queda:
𝑃 (𝑛) =
𝑝00 (𝑛) . . .
..
.
..
.
𝑝𝑚0 (𝑛) . . .
𝑝0𝑚 (𝑛)
𝑝00 𝑝01 . . .
..
.
..
.
= ..
.
..
..
..
.
.
.
𝑝𝑚𝑚 (𝑛)
𝑝𝑚0 𝑝𝑚1 . . .
𝑝0𝑚
𝑝00 (𝑛 − 1) . . .
..
.
x 𝑝10 (𝑛 − 1)
..
..
.
.
𝑝𝑚𝑚
𝑝𝑚0 (𝑛 − 1) . . .
𝑝0𝑚 (𝑛 − 1)
𝑝1𝑚 (𝑛 − 1)
..
.
𝑝𝑚𝑚 (𝑛 − 1)
P(n)=P.P(n-1)
extendiendo la ecuación anterior en forma recursiva se obtiene:
P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .
𝑃 (𝑛) = 𝑃 𝑛
(2.14)
que es la expresión genérica matricial de la ecuación de ChapmanKolmogorov.
Ejemplo 2.d
Las matrices de transición de 3, 4 y 5 pasos de la cadena del ejemplo
Cadenas de Markov ∣ 17
2.a son, aplicando la ecuación (2.14):
0
3
1
2
𝑃 (2) = 𝑃 = 𝑃.𝑃 =
0, 33 0, 67
x
=
0, 33 0, 67
0
4
0, 22 0, 78
1
3
𝑃 (4) = 𝑃 = 𝑃.𝑃 =
x
0
1
4
𝑃 (5) = 𝑃 = 𝑃.𝑃 =
0, 259 0, 741
=
0, 259 0, 741
0, 247 0, 753
0, 259 0, 741
0, 247 0, 753
x
0, 33 0, 67
0, 259 0, 741
0, 222 0, 778
0, 33 0, 67
5
0, 222 0, 778
=
0, 247 0, 753
0, 251 0, 749
2.1.2) Probabilidad incondicional de estado
(a) Definición general
Tal como se ha expresado en (1.1), la probabilidad incondicional de
estado p(t) en una cadena de Markov homogénea de paramétro discreto, es la probabilidad de que el sistema se encuentre en el estado i
en el instante t:
{
𝑡 = 0, 1, 2, . . .
𝑝𝑖 (𝑡) = 𝑝𝑥=𝑖 (𝑡) ; con:
(2.15)
𝑖 = 0, 1, 2, . . . , 𝑚
y el conjunto de probabilidades incondicionales de estado 𝑝𝑖 (𝑡) ∀i, definen el vector de probabilidades de estado p(t):
𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) 𝑝2 (𝑡) . . . 𝑝𝑚 (𝑡)
vector en el cual se cumplen las siguientes condiciones:
(2.16)
Cadenas de Markov ∣ 18
⎧
𝑝𝑖 (𝑡) ≤ 1 ; ∀𝑖

⎨ 0𝑚 ≤
∑
𝑝𝑖 (𝑡)
= 1 ; con 𝑖 = 0, 1, 2, . . .

⎩
(2.17)
(2.18)
𝑖=0
(b) Probabilidad de estado inicial
Es un caso particular de la (2.15) para t=0 :
𝑝𝑗 (0) = 𝑃𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚
(2.19)
y el conjunto de probabilidades de estado iniciales 𝑝𝑖 (0) ,∀i definen
el vector de probabilidades de estado inicial:
𝑝(0) = 𝑝0 (0) 𝑝1 (0) 𝑝2 (0) . . . 𝑝𝑚 (0)
(2.20)
(c) Probabilidad de estado luego de 1 paso
En forma análoga se define:
𝑝𝑖 (1) = 𝑃𝑥=𝑗 (𝑡 = 1) ; con 𝑗 = 0, 1, . . . , 𝑚
(2.21)
Esta probabilidad se puede expresar en función de las probabilidades
de estado iniciales aplicando el Teorema de la Probabilidad Total,
quedando expresada la llamada ecuación de estado:
𝑝𝑗 (1) =
𝑚
∑
𝑝𝑖 (0).𝑝𝑘𝑗 ; con 𝑗 = 0, 1, . . . , 𝑚
(2.22)
𝑖=0
Como antes, el conjunto de probabilidades de estado luego de 1 paso 𝑝𝑗 (1), ∀j, definen el vector de
probabilidades de estado luego de 1 paso:
𝑝(1) = 𝑝0 (1) 𝑝1 (1) 𝑝2 (1) . . . 𝑝𝑚 (1)
(2.23)
Cadenas de Markov ∣ 19
y aplicando la ecuación de estado (2.22) a cada uno de los elementos
del vector (2.23) queda la expresión matricial de la ecuación de estado:
𝑝(1) = 𝑝0 (1) 𝑝1 (1) . . . 𝑝𝑚 (1) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0)
p(1)= p(0) . P
𝑝00 . . . 𝑝0𝑚
𝑝
𝑝1𝑚
x ..10
..
.
.
𝑝𝑚0 . . . 𝑝𝑚𝑚
(2.24)
(d) Expresión general de la Ecuación de Estado
En forma genérica la probabilidad de estado luego de n pasos es:
{
𝑛 = 0, 1, 2, . . .
𝑝𝑗 (𝑛) = 𝑝𝑥=𝑗 (𝑡 = 𝑛) ; con:
(2.25)
𝑗 = 0, 1, 2, . . . , 𝑚
Con las mismas consideraciones hechas para deducir la ecuación (2.22)
se llega a las expresiones algebraicas generales de la ecuación de estado:
⎫
⎧ 𝑚
∑



𝑝𝑖 (0).𝑝𝑖𝑗 (𝑛) : forma a) 








{
⎬
⎨ 𝑘=0
1, 2, . . .
; con: 𝑛𝑗 =
(2.26)
𝑝𝑗 (𝑛) =
=
0, 1, 2, . . . , 𝑚




𝑚


∑






𝑝
(𝑛
−
1).𝑝
:
forma
b)
𝑖
𝑖𝑗
⎭
⎩
𝑘=0
Como antes, el conjunto de probabilidades de estado luego de n pasos
𝑝𝑗 (𝑛) definen el vector de probabilidades de estado:
𝑝(𝑛) = 𝑝0 (𝑛) 𝑝1 (𝑛) 𝑝2 (𝑛) . . . 𝑝𝑚 (𝑛)
(2.27)
y la expresión matricial general de la ecuación de estado (2.26), tomando
por ejemplo la forma a), queda:
Cadenas de Markov ∣ 20
𝑝(𝑛) = 𝑝0 (0) 𝑝1 (0) . . . 𝑝𝑚 (0)
𝑝00 (𝑛) . . . 𝑝0𝑚 (𝑛)
𝑝 (𝑛)
𝑝1𝑚 (𝑛)
x 10..
..
.
.
𝑝𝑚0 (𝑛) . . . 𝑝𝑚𝑚 (𝑛)
p(n)= p(0) . P(n)
(2.29)
Las ecuaciones (2.28) y (2.29) constituyen las expresiones genéricas
matriciales de la ecuación de estado, las cuales se resumen en la siguiente expresión:
𝑝(𝑛) =
⎧
⎨ 𝑝(0).𝑃 (𝑛)
⎩
(2.30)
𝑝(𝑛 − 1).𝑃
Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad de
cada uno de los estados de la cadena, luego de un número n cualquiera
de pasos, conocidas la probabilidad de estado para un instante dado y
la matriz de probabilidades de transición de 1 paso P.
Ejemplo 2.e
En la cadena del ejemplo 2.a, si se parte de un estado inicial con las
siguientes probabilidades:
⎧
⎨ 𝑝0 (0) = 0, 5
𝑝(0) = 0, 5 0, 5
⎩
𝑝1 (0) = 0, 5
las probabilidades de 1, 2, 3 y 4 pasos serán respectivamente:
𝑝(1) = 𝑝(0).𝑃 = 0, 5 0, 5 x
0
1
= 0, 167 0, 833
0, 333 0, 667
𝑝(2) = 𝑝(0).𝑃 2 = 0, 5 0, 5 x
0, 333 0, 667
= 0, 278 0, 722
0, 222 0, 778
Cadenas de Markov ∣ 21
2.2
𝑝(3) = 𝑝(0).𝑃 3 = 0, 5 0, 5 x
0, 222 0, 778
= 0, 241 0, 759
0, 259 0, 741
𝑝(4) = 𝑝(0).𝑃 4 = 0, 5 0, 5 x
0, 259 0, 741
= 0, 253 0, 747
0, 247 0, 753
Clasificación de las cadenas de Markov Homogéneas en ergódicas
y no ergódicas
A continuación se efectúa una clasificación de las cadenas de Markov homogéneas
según la posibilidad o no que tengan de ser reducibles o separables en cadenas
más chicas para el estudio de su comportamiento en los llamados regı́menes
transitorio y permanente. Esta clasificación dará lugar a la definición de las
cadenas ergódicas o irreductibles y las cadenas no ergódicas o separables. Previamente se requiere dar la definición de estados accesibles y comunicantes y
luego clasificar los estados en clases.
2.2.1) Definición de estados accesibles y comunicantes
Un estado j es accesible desde un estado i si se cumple que para algún paso
𝑛 ≥ 1 es 𝑝𝑖𝑗 (𝑛) > 0, lo cual significa que es posible pasar desde el estado i
al estado j luego de un número n de transecciones, y se escribe: 𝑖 → 𝑗.
La accesibilidad es una propiedad transitiva, es decir:
si 𝑖 → 𝑗
y 𝑗→𝑘
⇒
𝑖→𝑘
Ejemplo 2.f
En la cadena de la figura el estado 6 es accesible desde el 5 en un paso y
desde el 4 en dos pasos, a través del 5. El estado 1 no es accesible desde el 2.
Cadenas de Markov ∣ 22
Accesibilidad en una transición
0123
7654
0
70123
/ 654
1
70123
7654
0123
/ 654
/3
2 ==
@
==
==
==
==
7654
0123
7654
0123
7 =^ =
4S
==
==
==
== 7654
0123
7654
0123
o
6K
5
𝑗
𝑖/
0
1
2
3
4
5
6
7
0 1 2 3 4 5 6 7
𝑥
𝑥
𝑥 𝑥 𝑥
𝑥 𝑥
𝑥 𝑥 𝑥
𝑥
𝑥 𝑥
𝑥 𝑥 𝑥
Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, y
se escribe: 𝑖 ↔ 𝑗
La comunicación es también una propiedad transitiva, es decir:
si 𝑖 → 𝑗
y 𝑗→𝑘
⇒
𝑖→𝑘
En el ejemplo 2.f los estados 5 y 7 son comunicantes.
2.2.2) Clasificación de estados en clases comunicantes y estados sin retorno
Una clase comunicante es un conjunto de estados que se comunican todos
entre si. Como caso particular la clase puede consistir en un sólo estado.
En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:
⎧
⎨ 𝐶1 = {2}
𝐶 = {3, 4}
⎩ 2
𝐶3 = {5, 6, 7}
Las clases comunicantes se pueden clasificar en recurrentes y transitorias.
(a) Clases recurrentes- Estados absorbentes
Una clase es recurrente cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase después de ∞ transiciónes es
positiva; esto significa que una vez que la cadena ha alcanzado dicha
Cadenas de Markov ∣ 23
clase, siempre regresará a ella.
En el ejemplo 2.f la clase 𝐶3 es recurrente.
Un caso especial de clases recurrentes lo constituyen los llamados estados absorbentes, que son aquellos estados que una vez que la cadena
los ha alcanzado, no puede abandonarlos; es decir, siendo accesibles
desde otros estados no absorbentes de la cadena, no se cumple la inversa. De lo anterior se deduce que un estado absorbente i tiene una
probabilidad 𝑝𝑖𝑖 = 1.
(b) Clases transitorias
Una clase es transitoria cuando la probabilidad de que la cadena se
encuentre en un estado de dicha clase después de ∞ transiciones es
nula; esto significa que una vez que la cadena ha alcanzado dicha
clase, existe una probabilidad de que no retorne nunca a ella.
En el ejemplo 2.f las clases 𝐶1 y 𝐶2 son transitorias.
Estados sin retorno son aquellos estados que no se comunican con
ningún otro estado, ni siquiera consigo mismo; esto significa que una
vez que la cadena ha alcanzado dicho estado la probabilidad de que
retorne a él es nula.
En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo lo
anterior, los estados pueden clasificarse de la siguiente manera:
⎧
⎨ Estados sin retorno {
transitorias
{
⎩ Clases comunicantes
recurrentes
estados absorbentes
2.2.3) Clasificación de las cadenas de Markov homogéneas en ergódicas y no
ergódicas
Una cadena de Markov homogénea es ergódica o irreductible cuando todos
sus estados se comunican, es decir constituyen una única clase comunicante
recurrente.
Las cadenas ergódicas pueden ser clasificadas en regulares y periódicas.
Cadenas de Markov ∣ 24
(a) Cadenas regulares
Una cadena ergódica es regular o aperiódica cuando todos los estados
pueden comunicarse simultáneamente en una cantidad r de pasos; en
estas condiciones la potencia r de la matriz P : 𝑃 𝑟 es una matriz con
todos sus elementos no nulos. Un criterio para comprobar que una cadena es regular consiste en calcular las sucesivas potencias de P hasta
encontrar un número r de pasos tal que la matriz 𝑃 𝑟 tiene todos sus
elementos no nulos.
Ejemplo 2.g
Dada la siguiente cadena:
0,5
0,5
0,2
" 7654
0123
7654
0123
01X 1b
1
11
1 0,2 1 11 0,6
1 7654
0123
2
0, 5 0, 5
𝑃 = 0, 2 0, 2 0, 6
1
se cumple que para r = 3
0, 545 0, 245 0, 210
𝑃 = 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
todos sus elementos son no nulos, por lo tanto es una cadena ergódica
regular. Como ejemplo: desde el estado 3 se puede acceder al mismo
estado recién en 3 pasos.
(b) Cadenas periódicas
Una cadena ergódica es periódica cuando no se puede encontrar una
potencia r de P para la cual todos los elementos de 𝑃 𝑟 sean no nulos;
en estas condiciones las sucesivas potencias de la matriz 𝑃 𝑟 denotan
un patrón periódico que permite asegurar siempre la presencia de al
menos un cero en 𝑃 𝑟 .
Ejemplo 2.h
Dada la cadena siguiente:
Cadenas de Markov ∣ 25
7654
0123
0g
'
7654
0123
:1
1
1/2
z
7654
0123
2
1
0 1 0
𝑃 = 1/2 0 1/2
0 1 0
1/2
es ergódica periódica pues sus sucesivas potencias son:
1/2 0 1/2
𝑃 = 0 1 0 ;
1/2 0 1/2
2
0 1 0
𝑃 = 1/2 0 1/2 ;
0 1 0
3
1/2 0 1/2
𝑃 = 0 1 0
1/2 0 1/2
4
como puede observarse se cumple el patrón de repetición periódico:
{
𝑃 = 𝑃 3 = 𝑃 5 = . . . = 𝑃 𝑚 ; con m : impar
𝑃 2 = 𝑃 4 = 𝑃 6 = . . . = 𝑃 𝑛 ; con n : par
con la presencia siempre de ceros en las matrices.
Una cadena de Markov homogénea es no ergódica o reducible o separable cuando no todos sus estados se comunican, en esas condiciones la
cadena es separable en un conjunto de clases comunicantes y estados
sin retorno.
Ejemplo 2.i
Dada la siguiente cadena:
0,5
7654
0123
0f
0,5
0,2
0,3
7654
0123
2f
0,7
0,6
&
7654
0123
1S
0,8
&
7654
0123
3S
0, 5
0, 8
𝑃 =
0
0
0, 5
0, 2
0
0
0
0
0, 7
0, 6
0
0
0, 3
0, 4
0,4
es separable en dos clases comunicantes recurrentes 𝐶1 = {0, 1} y
𝐶2 = {2, 3}
La cadena del ejemplo 2.f es separable en:
Cadenas de Markov ∣ 26
⎧
⎨ 1 clase comunicante recurrente : 𝐶3 = {5, 6, 7}
2 clase comunicante transitoria : 𝐶1 = {2} y 𝐶2 = {3, 4}
⎩
2 estados sin retorno
:0 𝑦 1
Dentro de las cadenas no ergódicas merecen especial atención dos
tipos particulares de cadenas denominadas respectivamente cadenas
absorbentes y cadenas cı́clicas.
(a) Cadenas absorbentes
Una cadena absorbente es una cadena no ergódica separable en
∙ 1 o varios estados absorbentes y
∙ 1 o varios estados no absorbentes, constituı́dos por clases comunicantes transitorias o estados sin retorno, desde los cuales se puede
acceder a por lo menos un estado absorbente
Ejemplo 2.j
Dada la siguiente cadena:
0,3
7654
0123
0g
'
7654
0123
1
0,5 1
0,5
7654
0123
2
𝑖/
0,7
𝑃 =
𝑗
0
1
2
0
1
2
0, 7 0, 3
0, 5
0, 5
1
es una cadena absorbente separable en una clase comunicante transitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple que
𝑝22 = 1
(b) Cadenas cı́clicas
Una cadena cı́clica es una cadena no ergódica en la cual el proceso
pasa de un estado a otro cı́clicamente según un cierto patrón de comportamiento. El ciclo es un camino cerrado entre estados de una clase
recurrente.
Para que una cadena sea cı́clica debe cumplirse que:
∙ tenga por lo menos un ciclo, y
Cadenas de Markov ∣ 27
∙ sea posible entrar en el ciclo
Ejemplo 2.k
Dada la siguiente cadena:
0,5
7654
0123
0
1
111
0,2 1 0,3
1 111
'
7654
0123
7654
0123
1g
2
1
𝑖/
𝑃 =
0
1
2
𝑗
0
1
2
0, 5 0, 2 0, 3
1
1
es una cadena cı́clica separable en una clase comunicante transitorı́a
𝐶1 ={ 0 } una clase comunicante recurrente 𝐶2 ={ 1, 2 } , que forma
un ciclo.
Muchas caracterı́sticas de comportamiento de las cadenas no ergódicas
después que se han producido un número elevado de transiciciones (en
lo que luego se definirá como régimen permanente), se estudian mediente el análisis de sus clases comunicantes recurrentes como si fueran
cadenas ergódicas independientes.
En resumen las cadenas de Markov homogéneas se pueden clasificar en:
{
⎧
regulares


Cadenas ergódicas: una clase comunicante recurrente


periódicas
⎨




⎩
Cadenas no ergódicas: separables en
clases comunicantes más estados sin retorno
{
absorbentes
cı́clicas
A partir de esta clasificación en los puntos siguientes se estudia el
comportamiento de las cadenas ergódicas y no ergódicas mencionadas.
2.3
Estudio del Comportamiento de las Cadenas Ergódicas en el
Régimen Permanente
Se define como régimen permanente o estado estacionario de una cadena de
Markov homogénea a la situación que el sistema alcanza luego de un periodo
relativamente largo de tiempo. En dicho régimen la cadena ya ha entrado en
una condición de equilibrio estocástico, lo cual significa que sus probabilidades
Cadenas de Markov ∣ 28
de estado devienen estables en el tiempo.
En cambio régimen transitorio es la situación en que el sistema se encuentra
luego de un perı́odo relativamente corto de tiempo. En dicho régimen la cadena
no ha encontrado todavı́a una condición particular de equilibrio estocástico, es
decir sus probabilidades de estado no son estables en el tiempo.
Dentro de las cadenas ergódicas regulares y periódicas interesa estudiar especı́ficamente sus comportamientos en el régimen permanente, y sus conclusiones, según se ha dicho más arriba, son extensibles a las clases recurrentes de
las cadenas no ergódicas.
2.3.1) Estudio del comportamiento de las cadenas regulares en el régimen permanente
Tal como se ha definido en 2.2.3, una cadena regular es una cadena ergódica
en la cual todos sus estados pueden comunicarse simultáneamente en una
cantidad r de pasos.
Para describir el comportamiento de una cadena regular en el régimen permanente o a lago plazo es preciso conocer las probabilidades de transición
y de estado cuando el número n de transiciones tiende a ∞. Se puede demostrar que si la cadena es regular, el lı́mite de la matriz de probabilidades
de transición P(n) cuando n tiende a ∞ es una matriz regular (todos sus
elementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:
𝑝0 . . .
..
.
𝑛
lim 𝑃 (𝑛) = lim 𝑃 = 𝑝0 . . .
𝑛→∞
..
.
𝑝0 . . .
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
..
.
𝑝𝑚
..
.
𝑝𝑚
(2.31)
y el lı́mite del vector de probabilidades de estado queda, tomando la 1ra.
igualdad de la (2.30):
Cadenas de Markov ∣ 29
𝑝0 . . .
..
.
lim 𝑝(𝑛) = 𝑝(0). lim 𝑃 (𝑛) = 𝑝0 (0) . . . 𝑝𝑖 (0) . . . 𝑝𝑚 (0) x 𝑝0 . . .
𝑛→∞
𝑛→∞
..
.
𝑝0 . . .
y por cumplirse que:
𝑚
∑
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
..
.
𝑝𝑚
..
.
𝑝𝑚
𝑝𝑖 (0) = 1, queda:
𝑖=0
lim 𝑝(𝑛) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
(2.32)
𝑛→∞
las (2.31) y (2.32) expresan que en una cadena de Markov regular, luego
de un número suficientemente grande de transiciones (𝑛 → ∞), sus probabilidades de transición 𝑝𝑖𝑗 (𝑛) y de estado 𝑃𝑗 (𝑛) se estabilizan en valores
lı́mites iguales para cada estado j, e independientes del estado inicial i. Este
estado se conoce como régimen permanente o estacionario, y sus probabilidades de estado 𝑝𝑗 representan los porcentajes de tiempo que la cadena
permanece en cada estado j luego de un perı́odo largo de tiempo.
Esta distribución de estados lı́mites se puede determinar mediante tres
caminos alternativos.
(a) mediante el lı́mite de la ecuación (2.31):lim 𝑃 (𝑛) = lim 𝑃 𝑛 ; 𝑛 → ∞
(b) mediante una ecuación que se deriva de la 2da. igualdad de la ecuación
de estado (2.30). Para 𝑛 → ∞, según lo expresado más arriba se
cumple que:
lim 𝑝(𝑛) = lim 𝑝(𝑛 − 1) = 𝑝
𝑛→∞
𝑛→∞
reemplazando en la 2da. igualdad de la (2.30) quedan:
𝑝
siendo:
𝑚
∑
𝑗=0
=
𝑝𝑗 = 1
𝑝 . 𝑃
(2.33)
(2.34)
Cadenas de Markov ∣ 30
luego con las ecuaciones (2.33) y (2.34), conocida la matriz de transición P de la cadena regular, se puede calcular el vector de probabilidades p del régimen permanente.
(c) mediante la llamada “ecuación de balance de flujos probabilı́sticos”,
que se deriva de la ecuación (2.33). En efecto, si se desarrolla ésta
última es:
𝑃 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚 = 𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚
𝑝00 . . .
..
.
x 𝑝𝑖0 . . .
..
.
𝑝𝑚0 . . .
𝑝0𝑗 . . .
..
.
𝑝𝑖𝑗 . . .
..
.
𝑝𝑚𝑗 . . .
𝑝0𝑚
..
.
𝑝𝑖𝑚
..
.
𝑝𝑚𝑚
en la cual el elemento genérico 𝑝𝑗 es:
𝑚
𝑚
∑
∑
𝑝𝑗 =
𝑝𝑖 .𝑝𝑖𝑗 =
𝑝𝑖 .𝑝𝑖𝑗 + 𝑝𝑗 .𝑝𝑗𝑗
𝑖=0
∀𝑖∕=𝑗
agrupando queda:
𝑚
∑
𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 (1 − 𝑝𝑗𝑗 )
∀𝑖∕=𝑗
y aplicando la ecuación (2.4) a las transiciones del estado j a un conjunto exhaustivo de estados k es:
∑
𝑝𝑗𝑘 = 1 ∴ 1 − 𝑝𝑗𝑗 =
∀𝑘
∑
∀𝑘∕=𝑗
reemplazando queda:
∑
∑
𝑝𝑖 .𝑝𝑖𝑗 = 𝑝𝑗 .
𝑝𝑗𝑘
∀𝑖∕=𝑗
𝑝𝑗𝑘
∀𝑘∕=𝑗
; 𝑗 = 0, . . . , 𝑛
(2.35)
Cadenas de Markov ∣ 31
que es la ecuación de balance de flujos ⎧


probabilı́sticos, la cual expresa que 



“para un nodo genérico j la suma de 
⎨
los flujos probabilı́sticos que concur- 𝑖


ren al nodo es igual a la suma de 



los flujos probabilı́sticos que salen del 
⎩
nodo”.
==
@
==
JJ ===
u:
JJ =
uuu
JJ ==
u
JJ uuu
$
WPQRS
/ VUT
/
𝑗 JJ
u: @
== JJ
u
== JJ
uu uu == JJ$
uu ==
==
⎫







⎬
𝑘







⎭
Ejemplo 2.l
Dada la siguiente cadena:
0,5
0,2
" 7654
0123
7654
0123
01X 1b
1
11
1 0,2 1 11 0,6
1 7654
0123
2
0,5
0, 5 0, 5 0
𝑃 = 0, 2 0, 2 0, 6
1
0
0
la cual es ergódica regular pues 𝑃 3 :
0, 35 0, 35 0, 30
𝑃 = 0, 74 0, 14 0, 12
0, 50 0, 50 0
2
∴
0, 545 0, 245 0, 210
𝑃 = 0, 518 0, 398 0, 084
0, 350 0, 350 0, 300
3
tiene todos sus elementos no nulos, se puede determinar el vector de
probabilidades p del régimen permanente mediante el cálculo de las
sucesivas potencias de 𝑃 𝑛 :
0, 5315 0, 3215 0, 1470
𝑃 = 0, 4226 0, 3386 0, 2388
0, 5450 0, 2450 0, 2100
4
𝑃
16
0, 4985 0, 3158 0, 1858
; 𝑃 = 0, 4979 0, 3090 0, 1931
0, 5077 0, 3096 0, 1827
8
0, 5 0, 3125 0, 1875
= 0, 5 0, 3125 0, 1875 = 𝑝17 = 𝑝18 = lim 𝑃 𝑛
𝑛→∞
0, 5 0, 3125 0, 1875
Cadenas de Markov ∣ 32
se observa que a medida que aumenta n, los elementos 𝑝𝑖𝑗 (𝑛) tienden
a un lı́mite fijo, independiente del valor de i.
Luego por (2.32) es:
𝑝 = lim 𝑝(𝑛) = 𝑝0 𝑝1 𝑝2 = 0, 5 0, 3125 0, 1875
(2.32)
𝑛→∞
Análogo resultado puede obtenerse mediante la aplicación de las ecuaciones (2.33) y (2.34), que en este ejemplo son:
⎧
0, 5 0, 5 0


⎨
𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 0, 2 0, 2 0, 6
1
0
0


⎩
𝑝0 + 𝑝1 + 𝑝2 = 1
ordenando queda:
⎧


⎨
0, 5 𝑝0 − 0, 2
−0, 5 𝑝0 + 0, 8
− 0, 6


⎩
𝑝0 +
𝑝1 − 𝑝2
𝑝1
𝑝1 + 𝑝2
𝑝1 + 𝑝2
=
=
=
=
0
0
0
1
sistema de cuatro ecuaciones con tres incógnitas. Eliminando una
cualquiera de las tres primeras ecuaciones, por ejemplo la 3ra. ecuación
( la cuarta no se puede eliminar porque las tres primeras satisfacen la
solución trivial), queda:
⎧
⎨ 0, 5 𝑝0 − 0, 2 𝑝1 − 𝑝2 = 0
−0, 5 𝑝0 + 0, 8 𝑝1
= 0
⎩
𝑝0 +
𝑝1 + 𝑝2 = 1
ecuación del tipo: p . A = B, siendo:
0, 5 0, 5 0
0, 2 0, 2 0, 6
1
0
0
;
𝐵= 0 0 1
Cadenas de Markov ∣ 33
resolviendo la ecuación se llega al resultado anterior:
𝑝 = 𝐵.𝐴−1 = 0, 5 0, 3125 0, 1875
Al mismo sistema de ecuaciones podrı́a haberse arribado partiendo
de la ecuación de balance de flujos probabilı́sticos (2.35) y la ecuación
(2.34):
⎧

⎨ para el nodo 0: 0, 2 𝑝1 + 𝑝2 = 0, 5 𝑝0 ⇒ 0, 5 𝑝0 − 0, 2 𝑝1 − 𝑝2 = 0

⎩
para el nodo 1: 0, 5 𝑝0 = (0, 2 + 0, 6) 𝑝1 ⇒ −0, 5 𝑝0 + 0, 8 𝑝1
= 0
para el nodo 2: 0, 6 𝑝1 =
𝑝2
⇒
− 0, 6 𝑝1 + 𝑝2 = 0
y de la (2.34):
𝑝0 +
𝑝1 + 𝑝2 = 1
2.3.2) Estudio del comportamiento de las cadenas periódicas en el régimen permanente
Tal como se ha definido en 2.2.3 , una cadena periódica es una cadena
ergódica en la cual no se puede encontrar una potencia r de la matriz P
para la cual todos los elementos de 𝑃 2 sean no nulos. A diferencia de
las cadenas regulares, en las cadenas periódicas no pueden lograrse valores
lı́mites de la matriz 𝑃 (𝑛) = 𝑃 2 cuando n tiende a ∞. No obstante la
cadena se estabiliza en valores lı́mites de probabilidades de estado a largo
plazo, los cuales, como en el caso anterior representan los porcentajes de
tiempo que el proceso permanece en cada estado, y que se pueden calcular
a partir de las expresiones (2.33) y (2.34) o de las (2.35) y (2.34) indistintamente.
Ejemplo 2.m
Dada la cadena periódica del ejemplo 2.h
7654
0123
0g
'
7654
0123
:1
1
1/2
z
7654
0123
2
1
1/2
0 1 0
𝑃 = 1/2 0 1/2
0 1 0
según se ha visto en dicho ejemplo el lı́mite de 𝑃 𝑛 cuando n tiende a ∞
Cadenas de Markov ∣ 34
no existe, no obstante aplicando las ecuaciones (2.33)
⎧
0
1


⎨
𝑝0 𝑝1 𝑝2 = 𝑝0 𝑝1 𝑝2 x 1/2 0
0
1


⎩
𝑝0 + 𝑝1 + 𝑝 2 = 1
y (2.34) son:
0
1/2
0
eliminando una de las tres primeras ecuaciones, y resolviendo el sistema
resultante quedan:
𝑝0 = 𝑝2 = 1/4
; 𝑝1 = 1/2
2.4
Estudio del comportamiento de las cadenas no ergódicas
Según se ha dicho anteriormente, dentro de las cadenas no ergódicas merecen
especial atención las cadenas absorbentes y las cadenas cı́clicas. Además, de las
mismas interesa fundamentalmente estudiar su comportamiento en el régimen
transitorio, pues en el permanente queda caracterizado por el estudio del comportamiento de sus clases recurrentes como cadenas ergódicas independientes.
2.4.1) Estudio del comportamiento de las cadenas absorbentes.
Como se ha definido en 2.2.3, una cadena absorbente es una cadena no
ergódica separable en:
⋅ uno o varios estados absorbentes (estados con probabilidad nula de ser
abandonados, por lo tanto cuando son alcanzados por el proceso, éste
se detiene definitivamente o se detiene para luego comenzar desde otro
estado), y
⋅ uno o varios estados no absorbentes constituidos por clases comunicantes transitorias o estados sin retorno, desde cada una de las cuales
se puede acceder a por lo menos un estado absorbente.
Ejemplos de cadenas absorbentes se pueden encontrar en múltiples
procesos de la realidad. Uno de los más ilustrativos lo constituyen los
procesos de inspección como el del siguiente problema.
Ejemplo 2.n
Se tiene que inspeccionar una muestra de tres piezas hasta encontrar una
Cadenas de Markov ∣ 35
pieza que sea mala, con probabilidad p, o las tres piezas buenas.
Se tienen los siquientes estados:
Estados
0 1 2 3 4 5 6
Buenas 0 0 1 1 2 2 3
Situación
Malas 0 1 0 1 0 1 0
con los siguientes grafo y matriz de transición:
1
𝑝 7654
0123
/1
1
𝑝
0123
7654
7654
0123
70123
/ 654
8}2
0
3
}
}}
1−𝑝 }}
}}
}}
}
}} 1−𝑝
}}
}
}
1
1
}}
}
𝑝
}
~
0123
7654
7654
0123
7654
0123
/5
86
4
1−𝑝
1
0
1
2
𝑃 =
3
4
5
6
0 1
2
3
4
5
6
𝑝 (1 − 𝑝)
1
𝑝 (1 − 𝑝)
1
𝑝 (1 − 𝑝)
1
1
Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y
6 y das tres estados sin retorno: 0, 2 y 4.
En las cadenas absorbentes es de interés conocer:
(a) el número esperado de veces que el proceso pasa por cada estado no
absorbente antes de ser absorbido
(b) el número esperado de transiciones que el proceso tarda en ser absorbido
(c) la probabilidad de absorción por cada estado absorbente
Para realizar estos análisis se opera con la matriz de transición P, pero
reagrupada en cuatro submatrices, constituyendo lo que se conoce cono
“forma canónica o estándar”. Para un proceso de a estados absorbentes y
n estados no absorbentes, dicha forma es:
Cadenas de Markov ∣ 36
𝐼
0
a estados
𝐴
𝑁
n estados
𝑃 =
𝑎
𝑛
𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑒𝑠𝑡𝑎𝑑𝑜𝑠
en donde son:
* I(axa): matriz identidad; cada elemento representa la probabilidad de
permanecer en un estado absorbente en un paso
* 0(axn): matriz nula; cada elemento representa la probabilidad de pasar
de un estado absorbente a uno no absorbente en un paso
* A(nxa): matriz de estados absorbentes; cada elemento representa la
probabilidad de ser absorbido (pasar de un estado no absorbente a uno
absorbente) en un paso
* N(nxn): matriz de estados no absorbentes; cada elemento representa
la probabilidad de no ser absorbido (pasar de un estado no absorbente
a otro no absorbente) en un paso
En la cadena del ejemplo 2.n serı́a:
1
3
5
𝑃 =
6
0
2
4
1 3 5
1
1
1
6
0
2
4
1
(1 − 𝑝)
1
(1 − 𝑝)
𝑝
𝑝
𝑝 (1 − 𝑝)
Para los análisis que siguen se utilizarán las matrices A y N.
(a) Número esperado de veces que el proceso pasa por cada estado no absorbente antes de ser absorbido
De acuerdo a lo visto anteriormente cada elemento de N representa
Cadenas de Markov ∣ 37
la probabilidad de pasar de un estado no absorbente i a otro estado
no absorbente j en un paso. Luego cada elemento de la matriz 𝑁 2
representa la probabilidad de pasar de un estado no absorbente i a
otro estado no absorbente j en dos pasos, y en forme genérica cada
elemento de la matriz 𝑁 𝑛 representa la probabilidad de pasar de un
estado no absorbente i a otro estado no absorbente j en n pasos.
Por lo tanto el número esperado de veces que la cadena puede pasar
por un estado no absorbente j, habiendo comenzado en un estado no
absorbente genérico i, está dado por:
𝑛𝑗/𝑖 =
1𝑥𝐼
|{z}
al comienzo
+ |{z}
1𝑥𝑁 +
en un paso
2
|1𝑥𝑁
{z }
en dos pasos
𝑛
+ . . . + |1𝑥𝑁
{z } + . . . =
(2.36)
𝑛→∞
Ejemplo 2.ñ
Dada la siguiente cadena absorbente:
1
7654
0123
@3
1/4
3/4
1/2
,
7654
0123
0
1
2
0
𝑃 = 1
2
3
1
2 3
1/2 1/2
1
1/4
3/4
1
su forma estándar es:
1
𝑃 = 3
0
2
1
1
3
=
en n pasos
siendo lim 𝑁 𝑛 = 0 =⇒ 𝑛𝑗/𝑖 = (𝐼 − 𝑁 )−1
7654
0123
@1
1/2
7654
0123
0l
𝐼
𝐼−𝑁
0
2
1
1/2
1/2
3/4 1/4
Cadenas de Markov ∣ 38
donde son:
0
𝑁= 0
2
2
1/2
;
1/4
𝐴= 0
2
1
1/2
3
3/4
luego resulta:
𝐼 −𝑁 =
1
−1/2
−1/4
1
−1
(𝐼 − 𝑁 )
= 0
2
0
2
8/7 4/7
2/7 8/7
por lo tanto si la cadena comienza en el estado no absorbente 0, pasará
en promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por
el estado 2: 4/7 veces, antes de ser absorbida por los estados 1 ó 3; si
en cambio la cadena comienza en el estado no absorbente 2, pasará en
promedio por ese estado: 8/7 veces, incluyendo el comienzo, y por el
estado 0: 2/7 veces, antes de ser absorbida por los estados 1 ó 3.
(b) Número esperado de transiciones que el proceso tarda en ser absorbido
En función de lo anterior, cuando la cadena comienza en un estado no
absorbente i, el número esperado de pasos que tarda en ser absorbida
es la suma de los elementos de la fila i , de la matriz (𝐼 − 𝑁 )−1 , por lo
tanto queda expresado como:
𝑁𝑖 =
∑
∀𝑗
𝑛𝑗/𝑖 = (𝐼 − 𝑁 )−1
1
1
𝑥 ..
.
1
Ejemplo 2.o
Para la cadena del ejemplo 2.ñ es:
(2.37)
Cadenas de Markov ∣ 39
0
2
8/7 4/7
2/7 8/7
𝑁𝑖 = 0
2
𝑥 1 = 0 12/7
1
2 10/7
Es decir que si la cadena comienza en el estado no absorbente 0 tardará 12/7 transiciones en promedio antes de ser absorbida, si en cambio
comienza en el estado 2, tardará 10/7 transiciones.
b.1) Extensión para cadenas no absorbentes
Para determinar el número de pasos promedio para alcanzar un
estado cualquiera j determinado, se procede de manera análoga al
punto anterior, suponiendo que el estado j es absorbente.
Ejemplo 2.p
0,4
0,2
z
7654
0123
0h
0,3
0,6
0,3
0123
7654
41
M
,
7654
0123
2
0,5
𝑃 =
0,3
0,4
0
1
2
0
1
2
0, 4 0, 3 0, 3
0, 2 0, 5 0, 3
0, 6 0, 4 0
Para averiguar el número de transiciones que se realizan hasta alcanzar por primera vez el estado 2, se debe considerarlo absorbente;
es decir, la nueva matriz de transición será en su formato estándar:
𝑃 =
2
0
1
2
0
1
1
0
0
0, 3 0, 4 0, 3
0, 3 0, 2 0, 5
luego:
𝐼 −𝑁 =
1 0
0, 4 0, 3
0, 6 −0, 3
−
=
1 0
0, 2 0, 5
−0, 2 0, 5
Cadenas de Markov ∣ 40
(𝐼 − 𝑁 )−1 =
2, 08 1, 25
0, 82 2, 50
(𝐼 − 𝑁 )−1 𝑥 1̄ =
3, 33
3, 32
es decir, partiendo del estado 0, el número promedio de pasos que
transcurren entes de alcanzar el estado 2 es 3.33, y partiendo del
estado 1, el número promedio de pasos que transcurren antes de
alcanzar el estado 2 es 3.32.
(c) Probabilidad de absorción por cada estado absorbente
Para cada estado no absorbente i interesa conocer la probabilidad de
ser absorbido por cada estado absorbente j. Este valor es igual a la
probabilidad de ir desde i a j en un paso, más la probabilidad da hacerlo en dos pasos, más la probabilidad de hacerlo en tres pasos, etc.
Luego:
𝑃 (𝑖 → 𝑗) = 𝑃 (𝑖 → 𝑗 en un paso) +𝑃 (𝑖 → 𝑗 en 2 pas.) +𝑃 (𝑖 → 𝑗 en 3 pas.) + . . .
=𝐴
+𝑁 𝑥 𝐴
+𝑁 𝑥𝑁 𝑥 𝐴
+...
2
3
= (𝐼 + 𝑁 + 𝑁 + 𝑁 + . . .) 𝑥 𝐴
𝑃 (𝑖 → 𝑗) = (𝐼 − 𝑁 )−1 x 𝐴
(2.38)
Ejemplo 2.q
Para el ejemplo 2.ñ es:
−1
𝑃 (𝑖 → 𝑗) = (𝐼−𝑁 )
x𝐴 = 0
2
= 0
2
0
2
8/7 4/7
2/7 8/7
1
3
4/7 3/7
1/7 6/7
𝑥 0
2
1
3
1/2 0
0 3/4
=
Cadenas de Markov ∣ 41
es decir, comenzando en el estado 0 la probabilidad de terminar en
el estado 1 es 4/7 y en el estado 3 es 3/7, y comenzando en el estado
2 la probabilidad de terminar en el estado 1 es 1/7 y en estado 3 es 6/7.
2.4.2) Estudio del comportamiento de las cadenas cı́clicas
Como se ha definido en 2.2.3, una cadena cı́clica es una cadena en la cual
el proceso pasa de un estado a otro cı́clicamente según un cierto patrón de
comportamiento, cumpliéndose las condiciones:
* tiene por lo menos un ciclo (camino cerrado entre estados de una clase
comunicante recurrente),
* es posible entrar en el ciclo.
En el régimen transitorio (corto plazo) se puede determinar el número
de intentos promedio que se realizan para alcanzar el ciclo. Este cálculo
se puede hacer suponiendo que el ciclo es un estado absorbente.
Ejemplo 2.r
En la cadena cı́clica del ejemplo 2.k, haciendo:
𝑃 =
1y2
0
1y2
0
1
0
0, 5 0, 5
∴ 𝐼 − 𝑁 = 1 − 0, 5 = 0, 5 ∴ (1 − 𝑁 )−1 = 2
∴ (𝐼 − 𝑁 )−1 x 1̄ = 2 x 1 = 2 ∴ 𝑁0 = 2
En el régimen permanente (largo plazo) el sistema es cı́clico, y el tiempo
que el proceso pasa en cada estado del ciclo se calcula con el procedimiento
visto para las cadenas ergódicas, ecuaciones (2.33) y (2.34). Para el ejemplo 2.r serı́a:
0, 5 0, 2 0, 3
𝑝(0) 𝑝(1) 𝑝(2) x 0
0
1 = 𝑝(0) 𝑝(1) 𝑝(2) ∴
0
1
0
Cadenas de Markov ∣ 42
⎧
{
= 𝑝(0)
⎨ 𝑝(0) x 0, 5
𝑝(0)
= 0
0, 2 x 𝑝(0) + 𝑝(2) = 𝑝(1) ∴
𝑝(1) = 𝑝(2) = 0, 5
⎩
𝑝(0) + 𝑝(1) + 𝑝(2) = 1
El ciclaje es común en operaciones de máquinas, en ciertas funciones
matemáticas y en algunos sistemas fı́sico-económicos.
Cadenas de Markov ∣ 43
3
CADENAS DE MARKOV HOMOGÉNEAS
DE PARÁMETRO CONTINUO
Se sigue a continuación un desarrollo análogo al de las cadenas de parámetro
discreto definiéndose primero las probabilidades condicionales de transición e
incondicionales de estado, y estudiándose luego el comportamiento de las cadenas regulares en el régimen permanente.
3.1
Estudio de las probabilidades en las cadenas de Markov homogéneas
3.1.1) Probabilidad condicional de transición
(a) Definición general
La probabilidad condicional de transición es:
⎧

⎨𝑡 ≥ 0
Δ𝑡 ≥ 0
𝑝𝑖𝑗 (Δ𝑡) = 𝑃 {𝑋(𝑡 + Δ𝑡) = 𝑗/𝑋(𝑡) = 𝑖}; con:
(3.1)
𝑖
= 0, 1, 2, . . . , 𝑚

⎩
𝑗
= 0, 1, 2, . . . , 𝑚
y la matriz de probabilidades de transición es:
𝑗
𝑖/
0
1
𝑃 (Δ𝑡) = ..
.
..
.
𝑚
0
𝑝00 (Δ𝑡)
𝑝10 (Δ𝑡)
..
.
..
.
𝑝𝑚0 (Δ𝑡)
1
𝑝01 (Δ𝑡)
𝑝11 (Δ𝑡)
..
.
..
.
𝑝𝑚1 (Δ𝑡)
......
......
......
......
𝑚
𝑝0𝑚 (Δ𝑡)
𝑝1𝑚 (Δ𝑡)
..
.
..
.
𝑝𝑚𝑚 (Δ𝑡)
cumpliéndose:
⎧
0 ≤ 𝑝𝑖𝑗 (Δ𝑡) ≤ 1 ;
∀𝑖, 𝑗







𝑚
⎨ ∑
𝑝𝑖𝑗 (Δ𝑡) = 1 ; 𝑖 = 0, 1, . . . , 𝑚


𝑗=0





⎩
con Δ𝑡 ≥ 0 . . .
(3.3)
(3.4)
(3.2)
Cadenas de Markov ∣ 44
Además en el caso de parámetro t continuo, las probabilidades de transición deben ser continuas en t = 0, es decir que deben cumplirse las
siguientes condiciones: Ejemplo 3.a
{
lim 𝑃𝑖𝑗 (Δ𝑡) =
𝑡→0
0 ; 𝑠𝑖 𝑖 ∕= 𝑗
1 ; 𝑠𝑖 𝑖 = 𝑗
(3.5)
(3.6)
El siguiente es un ejemplo de matriz de probabilidades condicionales
de transición correspondiente a una cadena de Markov homogénea de
parámetro continuo con dos estados: 0 y 1.
⎧
𝑝00 (Δ𝑡) 𝑝01 (Δ𝑡)
0, 7 + 0, 3𝑒−Δ𝑡 0, 3 − 0, 3𝑒−Δ𝑡


=
⎨ 𝑃 (Δ𝑡) =
𝑝10 (Δ𝑡) 𝑝11 (Δ𝑡)
0, 7 − 0, 7𝑒−Δ𝑡 0, 3 + 0, 7𝑒−Δ𝑡


⎩
con Δ𝑡 ≥ 0
luego para cada valor de Δ𝑡 se tiene una matriz distinta, por ejemplo:
para Δ𝑡 = 0
1 0
𝑃 (0) =
0 1
1
0, 88 0, 12
𝑃 (5) =
0, 28 0, 72
para Δ𝑡 → ∞
7654
0123
0f
0,12
0,28
0,7
0, 7 0, 3
𝑃 (∞) =
0, 7 0, 3
0
0
0,88
para Δ𝑡 = 0, 5
7654
0123
0f
7654
0123
0f
0,3
0,7
&
7654
0123
1S
1
&
7654
0123
1S
0,72
&
7654
0123
1S
0,3
(b) Tasas o intensidades de transición
Al estudiar el comportamiento de una Cadena de Markov homogénea
de parámetro continuo, es necesario trabajar con probabilidades de
transición entre instantes de tiempo muy próximos. Esta situación
Cadenas de Markov ∣ 45
conduce, por la ecuación (3.5) a probabilidades de transición que tienden a cero, es decir que cuando Δ𝑡 → 0 ⇒ 𝑝𝑖𝑗 (Δ𝑡) → 0.
Para solucionar el inconveniente de tener que trabajar con probabilidades 𝑝𝑖𝑗 (Δ𝑡) diferenciales, se introduce el concepto de la derivada de
la probabilidad de transición entre dos estados i y j distintos en Δ𝑡 = 0.
Esta nueva magnitud, llamada tasa o intensidad de transición, expresa
la variación de la probabilidad de transición entre estados diferentes de
la cadena en un intervalo Δ𝑡 pequeño, referida a un Δ𝑡 unitario (por
el concepto de derivada), y queda definida matemáticamente como:
[
]
𝑑
𝑑𝑖𝑗 =
𝑝𝑖𝑗 (Δ𝑡)
𝑑𝑡
Δ𝑡=0
(3.7)
Formalmente, esta tasa de transición en una cadena de parámetro
continuo es la magnitud equivalente a la probabilidad de transición de
un paso en las cadenas de parámetro discreto.
Para i = j el valor resultante se denomina tasa o intensidad de permanencia en el estado i , y matemáticamente es:
]
𝑑
𝑝𝑖𝑗 (Δ𝑡)
𝑑𝑖𝑗 =
𝑑𝑡
Δ𝑡=0
[
(3.8)
Nuevamente el conjunto de tasas de
transición y permanencia definen la matriz
de tasas de transición D:
𝑑00 𝑑01 . . . . . . 𝑑0𝑚
𝑑10 𝑑11 . . . . . . 𝑑1𝑚
.
..
..
𝐷 = ..
.
.
..
..
..
.
.
.
𝑑𝑚0 𝑑𝑚1 . . . . . . 𝑑𝑚𝑚
(3.9)
Entre las tasas de transición y permanencia se puede establecer una
relación análoga a la (3.4):
Cadenas de Markov ∣ 46
de (3.4)
𝑚
∑
𝑝𝑖𝑗 (Δ𝑡) = 1
𝑗=0
𝑑
derivando:
Δ𝑡
luego: 𝑑𝑖𝑖 = −
[
𝑚
∑
]
𝑝𝑖𝑗 (Δ𝑡)
𝑗=0
∑
Δ𝑡=0
𝑚
𝑚
∑
∑
𝑑
=
[𝑝𝑖𝑗 (Δ𝑡)]Δ𝑡=0 =
𝑑𝑖𝑗 = 0
Δ𝑡
𝑗=0
𝑗=0
𝑑𝑖𝑗
(3.10)
∀𝑗∕=𝑖
La ecuación (3.10) expresa que los elementos de la diagonal principal de la matriz D se calculan como la suma de los elementos de su
fila cambiada de signo.
Ejemplo 3.b
La matriz de tasas D correspondiente al ejemplo 3.a es:
𝐷=
−0, 3 0, 3
0, 7 −0, 7
en la cual se observa el cumplimiento de la ecuación (3.10).
(c) Ecuación de Chapman-Kolmogorov
La ecuación de Chapman-Kolmogorov (2.12) y (2.14) es también aplicable al caso continuo, adoptando la siguiente forma en sus expresiones
algebraicas:
⎧

𝑚
⎨𝑡 ≥ 0
∑
Δ𝑡 ≥ 0
𝑝𝑖𝑗 (𝑡) =
𝑝𝑖𝑘 (𝑡 − Δ𝑡).𝑝𝑘𝑗 (Δ𝑡); con:
(3.11)
𝑖
= 0, 1, 2, . . . , 𝑚

⎩
𝑘=0
𝑗
o matricial:
= 0, 1, 2, . . . , 𝑚
Cadenas de Markov ∣ 47
𝑃 (𝑡) = 𝑃 (𝑡 − Δ𝑡) . 𝑃 (Δ𝑡)
(3.12)
Ejemplo 3.c
Tomando la matriz de probabilidades de transición del ejemplo 3.a:
0, 7 + 0, 3𝑒𝑡 0, 3 − 0, 3𝑒𝑡
𝑃 (𝑡) =
0, 7 − 0, 7𝑒𝑡 0, 3 + 0, 7𝑒𝑡
se verificará la ecuación de Chapman (3.11) y (3.12) tomando como
ejemplo 𝑖 = 0, 𝑗 = 1, 𝑡 = 3, Δ𝑡 = 0, 5. Luego son:
⋅ por cálculo directo:
𝑝01 (3) = 0, 3 − 0, 3𝑒−3 = 0, 285
⋅ por aplicación de la ecuación de Chapman:
𝑝01 (3) = 𝑝00 (2, 5) . 𝑝01 (0, 5) + 𝑝01 (2, 5) . 𝑝11 (0, 5) =
= 0, 725 . 0, 118 + 0, 275 . 0, 275 = 0, 285
luego verifica.
3.1.2) Probabilidad incondicional de estado
(a) Definición
La probabilidad incondicional de estado es:
{
𝑡 ≥ 0
𝑝𝑖 (𝑡) = 𝑃𝑥=𝑖 (𝑡); con:
𝑖 = 0, 1, 2, . . . , 𝑚
(3.13)
y el vector de probabilidades incondicionales de estado es:
𝑝(𝑡) = 𝑝0 (𝑡) 𝑝1 (𝑡) . . . . . . 𝑝𝑚 (𝑡)
(3.14)
Cadenas de Markov ∣ 48
cumpliendose:
⎧
0 ≤ 𝑝𝑖 (𝑡) ≤ 1 ,
∀𝑖



⎨
𝑚
∑


𝑝𝑖 (𝑡) = 1 , con 𝑡 ≥ 0

⎩
(3.15)
(3.16)
𝑖=0
(b) Probabilidad de estado inicial
Es un caso particular de la (3.13) para 𝑡 = 0:
𝑝𝑖 (0) = 𝑝𝑥=𝑖 (𝑡 = 0) ; con 𝑖 = 0, 1, . . . , 𝑚
(3.17)
y el vector de probabilidades:
𝑝(0) = 𝑝0 (0) 𝑝1 (0) . . . . . . 𝑝𝑚 (0)
(3.18)
(c) Ecuación de estado
La ecuación de estado (2.26) y (2.30) es también aplicable al caso continuo, adoptando las siguientes formas en sus expresiones algebraicas:
⎧ 𝑚
⎫
∑



𝑝𝑖 (0).𝑝𝑖𝑗 (𝑡)
: forma a) 




{


⎨ 𝑘=0
⎬
𝑡
≥ 0
; con: Δ𝑡 ≥ 0
𝑝𝑗 (𝑡) =
(3.19)


𝑗
=
0,
1,
2,
.
.
.
,
𝑚


𝑚


∑



𝑝𝑖 (𝑡 − Δ𝑡).𝑝𝑖𝑗 (Δ𝑡) : forma b) 
⎩
⎭
𝑖=0
o matricial:
{
𝑝(𝑡) =
=
𝑝(0)
. 𝑃 (𝑡)
= 𝑝(𝑡 − Δ𝑡) . 𝑃 (Δ𝑡)
(3.20)
expresión genérica matricial de la ecuación de estado para el caso continuo. Las ecuaciones (3.12) y (3.20) permiten calcular la probabilidad de cada uno de los estados de la cadena, en cualquier instante de
tiempo t.
Cadenas de Markov ∣ 49
3.2
Estudio del comportamiento de las cadenas regulares en el reg.
permanente
En forma análoga al caso discreto, el régimen permanente o estado estacionario
de una cadena de Markov homogénea de parámetro continuo se obtiene tendiendo el parámetro 𝑡 → ∞, y si la cadena es regular se cumple también que el
lı́mite de la matriz de probabilidades de transición P(t) con 𝑡 → ∞ es regular
con todas las filas iguales e independientes del tiempo:
𝑝0 . . .
..
.
lim 𝑃 (𝑡) = 𝑝0 . . .
𝑡→∞
..
.
𝑝0 . . .
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
..
.
𝑝𝑚
..
.
𝑝𝑚
(3.21)
y el vector de probabilidades de estado queda, de la 1ra. igualdad de la ecuación
(3.20):
𝑝0 . . .
..
.
lim 𝑝(𝑡) = 𝑝(0). lim 𝑃 (𝑡) = 𝑝0 (0) . . . 𝑝𝑖 (0) . . . 𝑝𝑚 (0) x 𝑝0 . . .
𝑡→∞
𝑡→∞
..
.
𝑝0 . . .
y por cumplirse que
𝑚
∑
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
..
.
𝑝𝑗 . . .
𝑝𝑚
..
.
𝑝𝑚
..
.
𝑝𝑚
𝑝𝑖 (0) = 1, queda:
𝑖=0
lim 𝑝(𝑡) = 𝑝 = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
𝑡→∞
(3.22)
Igual que en el caso discreto, las (3.21) y (3.22) expresan que en una cadena de
Markov regular, luego de un tiempo t suficientemente grande sus probabilidades
de transición 𝑝𝑖𝑗 (𝑡) y de estado 𝑝𝑗 (𝑡) se estabilizan en valores lı́mites similares
e independientes del estado inicial y del tiempo t, definiéndose a este estado
Cadenas de Markov ∣ 50
como régimen permanente o estado estacionario. Esta distribución se puede
determinar mediante tres caminos alternativos:
a) mediante el lı́mite de la ecuación (3.21)
b) mediante una ecuación que se deriva de la 2da. igualdad de la ecuación de
estado (3.20) para 𝑡 → ∞
lim 𝑝(𝑡) = lim 𝑝(𝑡 − Δ𝑡) = 𝑝, luego es:
𝑡→∞
𝑡→∞
𝑝
siendo de (3.16)
𝑚
∑
= 𝑝 . 𝑃 (Δ𝑡)
𝑝𝑗 = 1
𝑗=0
(3.23)
(3.24)
Se puede observar que de (3.23) el vector p de probabilidades en el régimen
permanente es constante e independiente del intervalo Δ𝑡 que se toma dentro de dicho régimen. Luego de (3.23) y (3.24) conocida la matriz 𝑃 (Δ𝑡)
se puede calcular el vector p.
c) un camino más práctico de cálculo es hacerlo en función de la matriz D.
Desarrollando la (3.23):
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚
𝑝00 (Δ𝑡) . . .
..
.
x 𝑝𝑖0 (Δ𝑡) . . .
..
.
𝑝𝑚0 (Δ𝑡) . . .
𝑝0𝑗 (Δ𝑡) . . .
..
.
𝑝𝑖𝑗 (Δ𝑡) . . .
..
.
𝑝𝑚𝑗 (Δ𝑡) . . .
derivando con respecto a Δ𝑡 en Δ𝑡 = 0 es:
𝑝0𝑚 (Δ𝑡)
..
.
𝑝𝑖𝑚 (Δ𝑡) = 𝑝0 . . . 𝑝𝑗 . . . 𝑝𝑚
..
.
𝑝𝑚𝑚 (Δ𝑡)
Cadenas de Markov ∣ 51
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚
|
{z
𝑝
}
x
𝑥
𝑑00 . . .
..
.
𝑑𝑖0 . . .
..
.
𝑑𝑚0 . . .
|
𝑑0𝑗 . . .
..
.
𝑑𝑖𝑗 . . .
..
.
𝑑𝑚𝑗 . . .
𝑑0𝑚
..
.
𝑑𝑖𝑚
..
.
𝑑𝑚𝑚
{z
𝐷
}
=
0 0 ... 0
(3.25)
=
|
{z
0
}
siendo de (3.24):
𝑝0 . . . 𝑝𝑖 . . . 𝑝𝑚
x
1
1
..
.
1
= 1
𝑑𝑖𝑖 = −
y de (3.10)
(3.26)
∑
𝑑𝑖𝑗
(3.27)
∀𝑗∕=𝑖
las (3.25) a (3.27) también pueden expresarse de la forma
⎧ 𝑚
∑



𝑝𝑖 . 𝑑𝑖𝑗 = 0 ; ∀𝑗



⎨ 𝑖=0
m+1
ecuaciones 
𝑚

∑



𝑝𝑖
= 1

⎩
(3.28)
(3.29)
𝑖=0
siendo:
𝑑𝑖𝑖
=−
∑
𝑑𝑖𝑗 ; ∀𝑖
(3.27)
∀𝑗∕=𝑖
Además por (3.27) la suma de los elementos de cualquier fila de la matriz D es cero, luego una columna cualquiera es combinación lineal de las
m columnas restantes, o lo que es equivalente: una cualquiera de las m+1
ecuaciones es combinación lineal de las m ecuaciones restantes, pudiéndose
eliminar. Si se desecha por ejemplo la última ecuación, su lugar formal en
la expresión matricial (3.25) puede ser ocupado por la (3.26), eliminando
la última columna de D, e incorporando en su lugar el vector de unos, y
reemplazando el último cero del vector de términos independientes por un
Cadenas de Markov ∣ 52
uno, quedando de esta manera integradas las ecuaciones (3.25) y (3.26) en
una sola ecuación:
𝑝0 𝑝1 . . . 𝑝𝑚−1 𝑝𝑚
|
{z
𝑝
𝑑𝑖𝑖 = −
∑
}
x
x
𝑑00
𝑑10
...
𝑑𝑖0
𝑑𝑚0
𝑑01
𝑑11
...
...
𝑑𝑚1
...
...
...
𝑑𝑖𝑗
...
|
𝑑0,𝑚−1
𝑑1,𝑚−1
...
...
𝑑𝑚,𝑚−1
{z
𝐴
1
1
...
𝑑𝑖𝑚
1
}
=
0 0 ... 0 1
(3.30)
=
𝑑𝑖𝑗
|
{z
1
}
(3.27)
∀𝑗∕=𝑖
luego el vector p de probabilidades del régimen estacionario queda expresado:
p = B . 𝐴−1
(3.31)
y dada la estructura particular de B, p está integrada por la última fila de
la matriz 𝐴−1 .
Este sistema de ecuaciones puede ser también interpretado como un sistema de balance de flujos probabilisticos para una cadena de parámetro
continuo. En efecto, si en la (3.27) se efectúa el cambio de variables j por
i y k por j queda:
∑
𝑑𝑗𝑗 =
𝑑𝑗𝑘
∀𝑘∕=𝑗
reemplazando en la (3.28) queda:
0=
∑
𝑝𝑖 . 𝑑𝑖𝑗 + 𝑝𝑗 . 𝑑𝑗𝑗 =
∀𝑖∕=𝑗
∑
∀𝑖∕=𝑗
𝑝𝑖 . 𝑑𝑖𝑗 − 𝑝𝑗 .
∑
𝑑𝑗𝑘
∀𝑘∕=𝑗
y ordenando:
∑
∀𝑖∕=𝑗
𝑝𝑖 . 𝑑𝑖𝑗 = 𝑝𝑗 .
∑
∀𝑘∕=𝑗
𝑑𝑗𝑘
(3.32)
Cadenas de Markov ∣ 53
que es la extensión de la ecuación (2.35) de balance de flujos probabilisticos
para el caso de cadenas de parámetro continuo.
Cadenas de Markov ∣ 54
4
APLICACIÓN DE CADENAS DE MARKOV
A SISTEMAS DE ATENCIÓN
4.1
Definición del problema
Dado un sistema de atención o prestación de un servicio cualquiera a clientes
de cualquier naturaleza, se quiere estudiar las caracterı́sticas del proceso de
atención y de eventual espera en cola de los clientes (problema de análisis)
o determinar la configuración de los canales de atención para satisfacer un
objetivo definido (problema de diseño o sı́ntesis).
Las principales caracterı́sticas de estos procesos son las siguientes:
* arribos de unidades a intervalos de tiempo regulares o irregulares a un
sistema integrado por un centro de atención o servicio (canales) y un centro
de espera (cola)
* el centro de servicio puede estar constituido por una o varias estaciones o
canales y cada unidad debe pasar por una (o eventualmente varias) estación
con el fin de recibir un servicio de duración aleatoria.
* la duración del servicio y el régimen de arribos definen que las unidades
puedan tener que esperar que una estación se encuentre disponible, formando colas o lı́neas de espera.
Como ejemplo de estos procesos pueden mencionarse los siguientes:
Naturaleza de las
unidades
Naturaleza del
servicio
Naturaleza de
las estaciones
clientes
aviones
llamadas telefónicas
mensajes
máquinas en reparación
vehı́culos
ventas de un artı́culo
aterrizaje
conversaciones
decodificación
reparación
paso en un cruce
vendedores
pista
circuitos
decodificadores
mecánicos
semáforo
La estructura de estos sistemas con sus elementos básicos puede representarse
de la siguiente manera:
Cadenas de Markov ∣ 55
𝑠𝑎𝑙𝑖𝑑𝑎𝑠
→
∣
𝑙𝑙𝑒𝑔𝑎𝑑𝑎 −→
∣∣∣∣∣∣∣
∣
→
∣
|
|
{z
}
linea de espera
{z
sistema
→
⎫






⎬
𝑐𝑎𝑛𝑎𝑙𝑒𝑠






⎭
}
Según que la naturaleza del estudio sea de análisis o de diseño, los interrogantes que surgen en el problema pueden estar dados por:
⎧
⋅ funcionamiento del sistema


⎧
⎨
⎨ ⋅ número necesario de canales
⋅ configuración del sistema ⋅ velocidad de atención de los canales


⎩
⎩
⋅ capacidad de la cola, etc
Ademas el objetivo del problema puede ser:
* Z = Costo → mı́nimo
= costo operativo de 1 canal ($/hora.canal) x M (n∘ de canales) +
+ costo por demora de los clientes ($/hora.cliente ) x L (n∘ medio de
clientes en el sistema) → mı́nimo
* Z = Beneficio → máximo
= beneficio por atención de clientes ($/cliente) x 𝜆(velocidad de ingreso
de clientes: clientes/hora) - costo operativo de cada canal ($/hora.canal)
x M (n∘ de canales) → máximo
Cadenas de Markov ∣ 56
Para el cálculo del número medio de clientes en el sistema es preciso definir una
variable aleatoria de estado i = n que represente al número de clientes en el
sistema. En función de la misma será:
𝐿 = 𝐸(𝑛) =
∑
𝑛 . 𝑝𝑛
∀𝑛
para lo cual es necesario calcular las probabilidades de estado p, lo cual puede
efectuarse mediante el método de cadenas de Markov descripto en los capı́tulos
anteriores.
A continuación se efectúa la modelización del proceso mediante una cadena de
Markov particular llamada de nacimiento y muerte para luego aplicar dicho
modelo en distintos casos de sistemas de atención.
4.2
Modelización mediante una cadena de Markov tipo nacimiento
y muerte
En el proceso en estudio se producen
dos fenómenos aleatorios: arribos 𝑎𝑟𝑟𝑖𝑏𝑜𝑠
→
y servicios, los cuales en general
responden a procesos tipo Poisson de 𝑃 𝑜𝑖𝑠𝑠𝑜𝑛
𝜆
medias 𝜆 y 𝜇 respectivamente.
𝑠𝑒𝑟𝑣𝑖𝑐𝑖𝑜𝑠
→
𝑃 𝑜𝑖𝑠𝑠𝑜𝑛
𝜇
En base a estas hipótesis el proceso se puede modelar como una cadena de
Markov cuyos estados X(t) = i = n identifican a los clientes en el interior del
sistema, analizando por separado las probabilidades y tasas de transición de
ambos fenómenos:
a) arribos
El régimen de arribos x producidos en un intervalo t viene dado por:
𝑒−𝜆𝑡 (𝜆𝑡)𝑥
𝑝𝑥 𝑎𝑟𝑟. (𝑡) = 𝑃𝑝𝑜 (𝑥/𝑡, 𝜆) =
; y para x = 1 es:
𝑥!
𝑝1
𝑎𝑟𝑟. (𝑡)
= 𝑒−𝜆𝑡 (𝜆𝑡)
Cadenas de Markov ∣ 57
como puede observarse el proceso Poisson de arribos es Markoviano homogéneo, pues las probabilidades de arribos 𝑝𝑥 sólo dependen del tiempo
t y no de la historia. Luego las tasas de arribos serán:
]
𝑑
−𝜆𝑒−𝜆0 (𝜆0)𝑥 + 𝑒−𝜆0 .𝑥(0)𝑥
𝑑𝑥 𝑎𝑟𝑟. = 𝑝𝑥 𝑎𝑟𝑟. (𝑡)
=0
=
𝑑𝑡
𝑥!
𝑡=0
𝑑1
𝑎𝑟𝑟.
𝑑
= 𝑝1
𝑑𝑡
]
𝑎𝑟𝑟. (𝑡)
= −𝜆𝑒0 .𝜆0 + 𝑒−𝜆0 .𝜆 = 𝜆
(4.1)
𝑡=0
b) despachos
El régimen de despachos 𝑥 ≤ 𝑖 = 𝑛 producidos en un intervalo t es:
𝑒−𝜇𝑡 (𝜇𝑡)𝑥
∴ 𝑝1
𝑝𝑥 𝑑𝑒𝑠. (𝑡) = 𝑃𝑝𝑜 (𝑥/𝑡, 𝜇) =
𝑥!
𝑑𝑒𝑠. (𝑡)
= 𝑒−𝜇𝑡 𝜇𝑡
análogamente al caso anterior se llega a:
𝑑𝑥 𝑑𝑒𝑠. = 0
𝑑1 𝑑𝑒𝑠. = 𝜇
(4.2)
siendo también el proceso de despachos Markoviano homogéneo, y por lo
tanto el fenómeno aleatorio conjunto arribos-despachos también lo es.
Por otra parte, estos resultados establecen que en intervalos de tiempo
Cadenas de Markov ∣ 58
dt muy pequeños la probabilidad de que se produzcan x=2 o más arribos o x=2 o más servicios es nula (diferencial de segundo orden), luego el
tamaño de la población X(t) = i = n sólo puede aumentar en uno, o disminuir en uno o permanecer igual. Esta cadena particular recibe el nombre
de “proceso de nacimiento y muerte” y queda definida por las tasas de las
ecuaciones (4.1) y (4.2)
`
𝜆𝑖−2
⎧
⎨ 𝜆𝑖 ; 𝑠𝑖 𝑗 = 𝑖 + 1 (𝑛𝑎𝑐𝑖𝑚𝑖𝑒𝑛𝑡𝑜)
𝜇 ; 𝑠𝑖 𝑗 = 𝑖 − 1
(𝑚𝑢𝑒𝑟𝑡𝑒)
𝑑𝑖𝑗 =
⎩ 𝑖
0 ; ∀ 𝑖, 𝑗 / ∣𝑗 − 𝑖∣ ≥ 2
(4.3)
𝜆𝑖−1
XYZ[
_^]\
𝑖−1
W
𝜇𝑖−1
𝜇𝑖
WVUT
PQRS
𝑖
V
Las tasas de transición se ilustran en el grafo
de la figura. En los puntos siguientes se aplica esta
cadena a distintos casos de sistemas de atención
𝜇𝑖+1
𝜆𝑖
XYZ[
_^]\
𝑖+1
W
𝜆𝑖+1
4.3
𝜇𝑖+2
Modelo general de canales en paralelo de igual velocidad
La estructura general del sistema y las hipótesis básicas de funcionamiento son
las siguientes:
* canales en paralelo de igual velocidad
∣ →𝜇
* cola de capacidad finita o infinita, sin prioridades
* población infinita, sin impaciencia
∣ →𝜇
𝜆→
* régimen de arribos: Poisson
* régimen de despachos: exponencial
Además se definen los siguientes parámetros y variables:
∣∣∣
..
.
∣ →𝜇
Cadenas de Markov ∣ 59
. 𝜆 = velocidad de arribo(cl/h) = 1/𝑇𝑎 = 1/tiempo promedio entre arribos
. 𝜇 = velocidad de despacho(cl/h) = 1/𝑇𝑠 = 1/tiempo promedio entre servicio
. 𝜌 = 𝜆/𝜇 = factor de tráfico
. 𝐿 = longitud (número promedio de clientes) del sistema
. 𝐿𝑐 = longitud (número promedio de clientes) de la cola
. 𝐻 = número promedio de clientes en los canales
. 𝑊 = tiempo promedio de permanencia en el sistema
. 𝑊𝑐 = tiempo promedio de espera en la cola
. 𝑝(𝑡 > 0) = probabilidad de tener que esperar en la cola (no ser atendido
de inmediato)
. 𝑀 = número de canales en paralelo
. 𝑁 = m = número máximo de clientes en el sistema (capacidad)
. 𝑛 = i = variable de estado que expresa el número de clientes en el sistema
. 𝑝𝑛 = probabilidad de n en el régimen estacionario
A efectos de calcular los indicadores 𝐿, 𝐿𝑐 , 𝐻, 𝑊 𝑦 𝑊𝑐 es necesario calcular
la probabilidad 𝑃𝑛 del régimen estacionario, a partir de las Ecuaciones (3.30) y
(3.27) y con las tasas 𝑑𝑖𝑗 definidas en la (4.3). Para la construcción del grafo y
la matriz de tasas de transición A es recomendable seguir los siguientes pasos:
1. se construye el grafo de tasas de transición
2. se construye la matriz A por filas con el siguiente procedimiento:
(a) tasas de transición 𝑑𝑖𝑗 : para cada fila i , en correspondencia con las
columnas j se colocan las tasas 𝑑𝑖𝑗 correspondientes a los arcos que
salen del estado i a cada uno de los estados j en el grafo
(b) tasas de permanencia 𝑑𝑖𝑖 : son los elementos de la diagonal principal
de la matriz A, y para cada fila i se calculan como la suma de las tasas
de transición de esa fila, cambiada de signo, según la ecuación (3.27)
Cadenas de Markov ∣ 60
(c) la última columna de la matriz de tasas se reemplaza por un vector de
unos
Aplicando esta metodologı́a al caso en estudio se tiene:
Estados i = n =
z
GFED
@ABC
0
𝜇1
z
GFED
@ABC
: 1
𝜆0
𝑖/
𝑗
(0)
(1)
(2)
𝐴 = (3)
(𝑛 − 2)
(𝑛 − 1)
(𝑛)
𝜇2
𝜆1
k
𝜇3
@ABC
GFED
: 2
𝜆2
...
%
GFED
@ABC
n-1
𝜆𝑛−2 F
𝜇𝑛−1
𝑝0
𝑝1
𝑝2
9
89:;
?>=<
𝑛
𝜆𝑛−1
(0)
(1)
(2)
𝐴0
𝐴1
𝐴2
(−𝜆0 )
𝜆0
0
𝜇1 −(𝜇1 + 𝜆1 )
𝜆1
0
𝜇2
−(𝜇2 + 𝜆2 )
0
0
𝜇3
...
...
...
0
0
0
0
0
0
0
0
0
...
...
...
𝑝=
𝜇𝑛
y
...
𝑝𝑛−2
y
𝜇𝑛+1
8
ONML
HIJK
n+1
+
𝜆𝑛
...
(𝑛 − 1)
...
𝐴𝑛−1
...
0
...
0
...
0
...
0
...
...
...
𝜆𝑛−2
. . . −(𝜇𝑛−1 + 𝜆𝑛−1 )
...
𝜇𝑛
...
...
𝑝𝑛−1
...
𝑝𝑛
...
...
...
...
...
...
...
...
...
...
...
......
(𝑁 )
𝐴𝑁
1
1
1
1
...
1
1
1
...
𝑝𝑁
luego de (3.30): p.A = B se pueden despejar las probabilidades del régimen permanente. En este caso la estructura particular de A hace innecesario el cálculo
de 𝐴−1 pues se puede establecer ecuaciones de recurrencia tal como se indica a
continuación:
⎧
𝑝.𝐴0 = −𝑝0 𝜆0
+𝑝1 𝜇1
=0
(4.4)



𝑝.𝐴1 =
𝑝0 𝜆0 −𝑝1 (𝜇1 + 𝜆1 )
+𝑝2 𝜇2
=0
(4.5)

⎨ 𝑝.𝐴2 =
𝑝1 𝜆1
−𝑝2 (𝜇2 + 𝜆2 ) +𝑝3 𝜇3
=0
(4.6)
.....................................................................................................................

𝑝.𝐴𝑛−1 =
𝑝𝑛−2 𝜆𝑛−2 −𝑝𝑛−1 (𝜇𝑛−1 + 𝜆𝑛−1 ) +𝑝𝑛 𝜇𝑛
=0
(4.7)



⎩ .....................................................................................................................
𝑝.𝐴𝑁 =
𝑝0
+𝑝1
+𝑝2
+𝑝3
...
+𝑝𝑛−2
+𝑝𝑛−1
+𝑝𝑛
. . . +𝑝𝑁 = 0 (4.8)
Cadenas de Markov ∣ 61
luego de (4.4)
:
𝑝0 𝜆0 = 𝑝1 𝜇1
∴
𝑝1 =
𝜆0
𝑝0
𝜇1
sumando (4.4) y (4.5)
:
𝑝1 𝜆1 = 𝑝2 𝜇2
∴
𝑝2 =
𝜆1
𝑝1 =
𝜇2
𝜆1 𝜆0
𝑝0
𝜇2 𝜇1
sumando (4.4), (4.5) y (4.6)
:
𝑝2 𝜆2 = 𝑝3 𝜇3
∴
𝑝3 =
𝜆2
𝑝2 =
𝜇3
𝜆2 𝜆1 𝜆0
𝑝0
𝜇3 𝜇2 𝜇1
∴
𝑝𝑛 =
𝜆𝑛−1
𝑝𝑛−1 =
𝜇𝑛
sumando (4.4), (4.5), (4.6) y (4.7) : 𝑝𝑛−1 𝜆𝑛−1 = 𝑝𝑛 𝜇𝑛
=
𝜆𝑛−1 . . . 𝜆2 𝜆1 𝜆0
𝑝0
𝜇𝑛 . . . 𝜇3 𝜇2 𝜇1
(4.9)
𝑛−1
∏
𝜆𝑖
quedando las probabilidades 𝑓 (𝑝0 ) :
𝑝𝑛 =
𝑜
𝑛
∏
.𝑝0
(4.10)
𝑝𝑖 = 1 ∴ 𝑝0 = . . .
(4.11)
𝜇𝑖
1
y reemplazando la (4.10) en (4.8) :
𝑁
∑
𝑖=0
obteniéndose 𝑝0
𝑛 = 0, 1, . . . , 𝑁
Se distinguirán cuatro casos, según que la capacidad de la cola N sea infinita
o finita, y para cada caso dos subcasos según que el número de canales M sea
mayor que uno o exactamente uno.
4.3.1) Sistema de 𝑀 > 1 canales similares de atención en paralelo de igual 𝜇 y
cola infinita (𝑁 → ∞)
La estructura general del sistema es:
Cadenas de Markov ∣ 62
∣ →𝜇
∣ →𝜇
𝜆→
∣∣∣
|
{z
𝑁
..
.
∣ →𝜇
}
⎫









⎬
𝑀









⎭
y se cumplen:
𝑁 →∞
⎫
𝜆𝑖 = 𝜆 = 𝑐𝑡𝑒.
;
𝑇
=
1/𝜆
⎬
𝑎
}
𝜇𝑖 = 𝑖𝜇, 𝑖 = 1, 2, . . . , 𝑀 − 1
; 𝜌 = 𝜆/𝜇
; 𝑇𝑠 = 1/𝜇 ⎭
𝜇𝑖 = 𝑀 𝜇, 𝑖 = 𝑀, 𝑀 + 1, 𝑀 + 2, . . .
luego aplicando las (4.10) y (4.11) quedan:
⎧
. para 𝑛 < 𝑀






⎤
⎡
𝑛


z }| {


𝜆𝑛 .𝑝0
𝜌𝑛 ⎥
𝜆.𝜆.𝜆 . . . 𝜆

⎢

𝑝0 =
=
𝑝0 ⎦
⎣𝑝𝑛 =


𝜇.2𝜇.3𝜇 . . . 𝑛𝜇
𝑛!𝜇𝑛
𝑛!


⎨
de (4.10)


. para 𝑛 ≥ 𝑀





⎡


𝑛

z
}|
{


⎢
𝜆.𝜆
.
.
.
𝜆.𝜆.𝜆
.
.
.
𝜆
𝜆𝑛 .𝑝0

⎢𝑝𝑛 =

𝑝
=

0

𝜇.2𝜇 . . . 𝑀 𝜇 𝑀 𝜇.𝑀 𝜇 . . . 𝑀 𝜇.
𝜇𝑛 𝑀 !𝑀 𝑛−𝑀
⎩⎣
|
{z
}|
{z
}
𝑀
(4.12)
⎤
=
⎥
𝜌𝑛
⎥
𝑝
0
𝑀 !𝑀 𝑛−𝑀 ⎦
(4.13)
𝑛−𝑀
reemplazando en (4.11):
(𝑀 −1
)
(𝑀 −1
)
∞
∞
∞ (
∑
∑ 𝜌𝑛 ∑
∑ 𝜌𝑛 𝜌 𝑀 ∑
𝜌𝑛
𝜌 )𝑛−𝑀
𝑝𝑖 = 𝑝 0
+
= 𝑝0
+
𝑛−𝑀
𝑛!
𝑀
!𝑀
𝑛!
𝑀!
𝑀
𝑛=0
𝑛=0
𝑖=0
𝑛=𝑀
𝑛=𝑀
Cadenas de Markov ∣ 63
𝑝0 =
(𝑀 −1
∑ 𝜌𝑛
𝑛=0
𝑛!
𝑀
+
𝜌
1
𝑀 ! (1 − 𝜌/𝑀 )
)−1
(4.14)
para que la serie geométrica sea convergente debe cumplirse que:
𝜌<𝑀
(4.15)
Luego de calculada la probabilidad 𝑝𝑛 con las ecuaciones (4.12), (4.13)
y (4.14) se pueden calcular los demás indicadores caracterı́sticos.
(a) 𝐿𝑐
𝐿𝑐 = 𝐸𝑝 (𝑛 − 𝑀 ) =
∞
∑
(𝑛 − 𝑀 )𝑝𝑛 = 𝑝0
𝑛=𝑀
∞
∑
𝑛=𝑀
𝜌𝑛
(𝑛 − 𝑀 )
=
𝑀 !(𝑀 )𝑛−𝑀
∞
∞
( 𝜌 )𝑛−𝑀
∑
𝜌𝑛 ∑
𝜌𝑀 +1
𝑑
(𝑛 − 𝑀 )
(𝜌/𝑀 )𝑛−𝑀 =
= 𝑝0
= 𝑝0
𝑀!
𝑀
𝑀 !𝑀 𝑑(𝜌/𝑀 )
𝑛=𝑀
𝑛=𝑀
𝜌𝑀 +1
𝑑
1
= 𝑝0
=
𝑀 !𝑀 𝑑(𝜌/𝑀 ) (1 − 𝜌/𝑀 )
𝜌𝑀 +1
1
𝐿 𝑐 = 𝑝0
𝑀 !𝑀 (1 − 𝜌/𝑀 )2
(b) 𝐿
(4.16)
Cadenas de Markov ∣ 64
𝐿
𝐿 = 𝐸(𝑛) =
∞
∑
𝑛.𝑝𝑛 =
𝑛=0
𝑀
−1
∑
𝑎
z}|{
𝑛.𝑝𝑛 +
𝑛=0
z
∞
∑
}|𝑐
𝑛.𝑝𝑛 −
𝑛=𝑀
∞
∑
𝑏
∞
∑
z }| {
𝑀.𝑝𝑛 +
𝑀.𝑝𝑛
𝑛=𝑀
{
𝑛=𝑀
pero de (4.9) es:
{
𝑝𝑛−1 .𝜆𝑛−1 = 𝑝𝑛 .𝜇𝑛 ∴
[
𝑝/𝑛 < 𝑀 : 𝜆.𝑝𝑛−1 = 𝑛𝜇𝑝𝑛 ∴ 𝑛.𝑝𝑛 = 𝜌𝑝𝑛−1 ∴ reempl. en a:
𝑝/𝑛 ≥ 𝑀 : 𝜆.𝑝𝑛−1 = 𝑀 𝜇𝑝𝑛 ∴ 𝑀.𝑝𝑛 = 𝜌𝑝𝑛−1 ∴ reempl. en b:
)
]
(𝑀 −1
∞
∑
∑
𝐿 = 𝐿𝑐 + 𝜌
𝑝𝑛−1 +
𝑝𝑛−1 = 𝐿𝑐 + 𝜌
𝑛=1
(c) 𝐻
𝐻 = 𝐿 − 𝐿𝑐 = 𝜌
(d) 𝑊
𝐿.𝑇𝑎 = 𝐿/𝜆
(4.17)
𝑀
(4.18)
(4.19)
(e) 𝑊𝑐
𝑊𝑐 = 𝐿𝑐 .𝑇𝑎 = 𝐿𝑐 /𝜆 = 𝑊 − 𝑇𝑠
(f) 𝑝(𝑡 > 0)
De la (4.14) y su desarrollo previo surge fácilmente:
(4.20)
Cadenas de Markov ∣ 65
𝑝(𝑡 > 0) = 𝑝(𝑛 ≥ 𝑀 ) = 𝑝0
1
𝜌𝑀
𝑀 ! 1 − 𝜌/𝑀
(4.21)
Se demuestra que:
( 𝑀
)
1
𝜌
𝑝(𝑡 > 𝑡𝑐 ) = 𝑝0
𝑒𝑀 𝜇𝑡𝑐 (1−𝜌/𝑀 )
𝑀 ! 1 − 𝜌/𝑀
(4.22)
4.3.2) Sistema con un canal y cola infinita
La estructura general del sistema es:
𝜆 −→
∣∣∣∣∣
∣
−→ 𝜇
y son aplicables las expresiones anteriores con M=1:
de (4.13): 𝑝𝑛 = 𝜌𝑛 .𝑝0
de (4.14): 𝑝0 =
(4.23)
1
=1−𝜌
1 + 𝜌/(1 − 𝜌)
de (4.15): 𝜌 < 1
de (4.16):
𝐿𝑐 = (1−
𝜌)
(4.24)
(4.25)
𝜌2
𝜌2
=
(1 − 𝜌)
(1 − 𝜌)2
(4.26)
de (4.17): 𝐿 = 𝐿𝑐 + 𝜌
(4.27)
de (4.18): 𝐻 = 𝜌
(4.28)
de (4.19): 𝑊 = 𝐿/𝜆
(4.29)
Cadenas de Markov ∣ 66
de (4.20): 𝑊𝑐 = 𝐿𝑐 /𝜆 = 𝑊 − 𝑇𝑠
de (4.21): 𝑝(𝑡 > 0) = (1 − 𝜌)𝜌
(4.30)
1
=𝜌
1−𝜌
(4.31)
de (4.22): 𝑝(𝑡 > 𝑡𝑐 ) = 𝜌𝑒−𝜇𝑡𝑐 (1−𝜌)
(4.32)
4.3.3) Sistema 𝑀 > 1 canales similares en paralelo de igual 𝜇 y cola finita
La estructura general del sistema es:
∣ →𝜇
𝜆
/
/
𝜆‘
∣∣∣
∣ →𝜇
𝜆 − 𝜆‘
|
{z
𝑁
∣ →𝜇
}
⎫




⎬
𝑀




⎭
y se cumplen:
𝜆𝑖
𝜇𝑖
𝜇𝑖
𝜆𝑁
= 𝜆 = 𝑐𝑡𝑒. ; 𝑖 = 0, 1, . . . , 𝑁 − 1
= 𝑖𝜇 =
; 𝑖 = 1, 2, . . . , 𝑀 − 1
= 𝑀𝜇 =
; 𝑖 = 𝑀, 𝑀 + 1, . . . , 𝑁
= 0
Luego aplicando las (4.10) y (4.11) quedan expresiones similares a las (4.12)
y (4.13)
𝑝𝑛 =
𝜌𝑛
𝑝0
𝑛!
𝜌𝑛
𝑝𝑛 =
𝑝0
𝑀 !𝑀 𝑛−𝑀
𝑛<𝑀
(4.33)
𝑀 ≤𝑛≤𝑀
(4.34)
reemplazando en (4.11) se obtiene 𝑝0 .
Cadenas de Markov ∣ 67
𝑁
∑
𝑝𝑖 = 𝑝 0
(𝑀 −1
∑ 𝜌𝑛
𝑛=0
𝑖=0
𝑝0 =
(𝑀 −1
∑ 𝜌𝑛
𝑛=0
𝑛!
𝑛!
+
𝑛=𝑀
𝑀
+
𝑁
∑
𝜌
𝑀!
(
𝜌𝑛
𝑀 !𝑀 𝑛−𝑀
)
= 𝑝0
(𝑀 −1
∑ 𝜌𝑛
𝑛=0
𝑁 −𝑀 +1
1 − (𝜌/𝑀 )
1 − (𝜌/𝑀 )
𝑁
𝜌𝑀 ∑ ( 𝜌 )𝑛−𝑀
+
𝑛! 𝑀 !
𝑀
)
=1
𝑛=𝑀
))−1
(4.35)
Debe notarse que en este modelo la relación 𝜌/𝑀 puede ser ≥ 1. Luego
de conocida la probabilidad p de las ecuaciones (4.33), (4.34) y (4,35) se
pueden calcular los demás indicadores:
𝐿𝑐
𝐿
𝑊
𝑊𝑐
𝐻
=
=
=
=
=
𝐸𝑝 (𝑛 − 𝑚)
𝐸(𝑛)
𝐿/𝜆‘
𝐿𝑐 /𝜆‘
𝐿 − 𝐿𝑐
(4.36)
(4.37)
(4.38)
(4.39)
(4.40)
(
siendo 𝜆‘ = 𝜆(1 − 𝑝𝑁 ) = 𝜆 1 −
(
𝑁
𝑀 !𝑀 𝑁 −𝑀
)
)
𝑝0
(4.41)
4.3.4) Sistema con un canal y cola finita
La estructura general del sistema es:
𝜆 −→
∣∣∣∣∣
∣
−→ 𝜇
y son aplicables las expresiones anteriores con M=1
de (4.34): 𝑝𝑛 = 𝜌𝑛 .𝑝0
(
de (4.35): 𝑝0 =
(
) )−1 (
)−1
𝜌 1 − 𝜌𝑁
1 − 𝜌 + 𝜌 − 𝜌𝑁 +1
1−𝜌
1+
=
=
1−𝜌
1−𝜌
1 − 𝜌𝑁 +1
(4.42)
(4.43)
Cadenas de Markov ∣ 68
También en este modelo puede ser 𝜌 ≥ 1. Luego de conocida la probabilidad pn de las (4.42) y (4.43) se pueden calcular los indicadores:
(a) 𝐿
𝑁
∑
𝑁
∑
𝑁
𝑑 ∑ 𝑛
𝑑
𝐿 = 𝐸(𝑛) =
𝑛.𝑝𝑛 = 𝑝0
𝑛.𝜌 = 𝑝0 𝜌
𝜌 = 𝑝0 .𝜌
𝑑𝜌
𝑑𝜌
𝑛=0
𝑛=0
𝑛=0
𝑛
−(𝑁 + 1)𝜌𝑁 (1 − 𝜌) + (1 − 𝜌𝑁 +1 )
𝑝0 .𝜌
(1 − 𝜌)2
(
)
(
= 𝑝0
(
1 − 𝜌𝑁 +1
1−𝜌
)
=
𝑁.𝜌𝑁 +2 − (𝑁 + 1)𝜌𝑁 +1 + 𝜌
(1 − 𝜌)2
)
(4.44)
expresión general que puede simplificarse para los casos limites:
a.1)
si 𝜌 ≪ 1 : 𝑝0 ∼
= 1 − 𝜌 ∴ 𝐿 = (1 − 𝜌)
a.2) si 𝜌 ≫ 1 : 𝑝0 ∼
=
(
𝜌
(1 − 𝜌)2
)
=
𝜌 ∼
= 𝜌 + 𝜌2
1−𝜌
(4.45)
1−𝜌
−𝑁 𝜌 + 𝑁 + 1
1 ∼
∴ 𝐿=
=𝑁+
=𝑁
𝑁
+1
−𝜌
1−𝜌
1−𝜌
(4.46)
1
2
(4.47)
a.3) si 𝜌 ∼ 1 : 𝐿 = 𝑁 +
1
1
𝑁 (𝑁 + 2)(𝜌 − 1) ∼
= 𝑁
12
2
(b) 𝐿𝑐
𝐿𝑐 = 𝐸(𝑛 − 1) =
𝑁
∑
𝑛=1
(𝑛 − 1)𝑝𝑛 =
𝑁
∑
𝑛.𝑝𝑛 −
𝑛=0
𝑁
∑
𝑝𝑛 = 𝐿 − (1 − 𝑝0 )
(4.48)
𝑛=0
expresión general que puede simplificarse para los casos limites:
b.1) si 𝜌 ≪ 1 : 𝑝0 = 1 − 𝜌 ∴ 𝐿 = 𝐿 − 𝜌
b.2)
(
)
1−𝜌
1−𝜌 ∼
si 𝜌 ≫ 1 : 𝑝0 =
∴ 𝐿𝑐 = 𝐿 − 1 −
=𝐿−1
−𝜌𝑁 +1
−𝜌𝑁 +1
(4.49)
(4.50)
Cadenas de Markov ∣ 69
1
2
b.3) si 𝜌 ∼ 1 : 𝐿1 = (𝑁 − 1) +
1
1
(𝑁 − 1)(𝑁 + 1)(𝜌 − 1) ∼
= (𝑁 − 1)
12
2
(4.51)
(c) 𝐻
𝐻 = 𝐿 − 𝐿𝑐
(4.52)
(d) 𝑊
𝑊 = 𝐿/𝜆
; siendo 𝜆‘ = 𝜆(1 − 𝑝𝑛 )
(4.53)
(e) 𝑊𝑐
𝐿𝑐 /𝜆‘
𝑊𝑐 =
𝐿.𝑇𝑠 = 𝐿/𝜇
4.4
(4.54)
Modelo de dos canales en paralelo de distinta velocidad y cola
infinita
La estructura general del sistema es la siguiente:
𝑎
∣ → 𝜇𝑎
−→ 𝜆
∣∣∣
∣ → 𝜇𝑏
𝑏
y el grafo de tasas de transición, la matriz A y el vector p son:
Cadenas de Markov ∣ 70
Estados i =
𝜆/2
7654
0123
0Z p
𝑖/
𝐴=
𝑗
(0)
(1𝑎)
(1𝑏)
(2)
(3)
(4)
𝜆/2 ?>=< q
89:;
𝜇𝑏
1𝑏
𝜆
7654
0123
02
a
𝜇𝑏
𝜆
𝜇𝑎
!
0123
7654
3`
𝜆
𝜇𝑎 +𝜇𝑏
𝜆
𝜇𝑎 +𝜇𝑏
(0)
(1𝑎)
(1𝑏)
(2)
(3)
(4)
𝐴1𝑎
𝐴1𝑏
𝐴2
𝐴3
𝐴3
𝐴4
𝐴𝑢
−𝜆
𝜆/2
𝜆/2
0
0
0
... 1
𝜇𝑎 −(𝜇𝑎 + 𝜆)
0
𝜆
0
0
... 1
𝜇𝑏
0
−(𝜇𝑏 + 𝜆)
𝜆
0
0
... 1
0
𝜇𝑏
𝜇𝑎
−(𝜇𝑎 + 𝜇𝑏 + 𝜆)
𝜆
0
... 1
0
0
0
(𝜇𝑎 + 𝜇𝑏 )
−(𝜇𝑎 + 𝜇𝑏 + 𝜆)
𝜆
... 1
0
0
0
0
0
(𝜇𝑎 + 𝜇𝑏 ) . . . 1
.............................................................................
𝑝=
⎧
𝑝.𝐴0 =





𝑝.𝐴1𝑎 =




⎨ 𝑝.𝐴1𝑏 =
𝜇𝑎
89:;
1 ?>=<
1𝑎Z
𝑝0
𝑝1𝑎
−𝜆.𝑝0
+𝜇𝑎 .𝑝1𝑎
𝜆
2 .𝑝0
−(𝜇𝑎 + 𝜆)𝑝1𝑎
𝜆
2 .𝑝0
𝑝1𝑏
𝑝2
𝑝3
𝑝4
+𝜇𝑏 .𝑝2
......
= 0 (4.55)
−(𝜇𝑏 + 𝜆)𝑝1𝑏
+𝜇𝑏 .𝑝2
= 0 (4.56)
+𝜇𝑎 .𝑝2
= 0 (4.57)

𝑝.𝐴2 =
𝜆.𝑝1𝑎
𝜆.𝑝1𝑏 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝2
+(𝜇𝑎 + 𝜇𝑏 )𝑝3
= 0 (4.58)





𝑝.𝐴3 =
𝜆.𝑝2 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝3 +(𝜇𝑎 + 𝜇𝑏 )𝑝4
= 0 (4.59)



⎩ ................................................................................................................
𝑝.𝐴𝑢 =
𝑝0
+𝑝1𝑎
+𝑝1𝑏
+𝑝2
luego de (4.55): 𝜆.𝑝0 = 𝜇𝑎 𝑝1𝑎 + 𝜇𝑏 𝑝1𝑏
+𝑝3
+𝑝4 . . . = 1 (4.60)
(4.61)
sumando (4.55), (4.56) y (4.57) :
𝜆(𝑝1𝑎 + 𝑝1𝑏 ) = (𝜇𝑎 + 𝜇𝑏 )𝑝2 ∴ 𝑝2 =
𝜆
(𝑝1𝑎 + 𝑝1𝑏 )
𝜇𝑎 + 𝜇𝑏
sumando (4.55), (4.56), (4.57) y (4.58):
𝜆.𝑝2 = (𝜇𝑎 + 𝜇𝑏 )𝑝3 ∴ 𝑝3 =
𝜆
𝑝2
𝜇𝑎 + 𝜇𝑏
(4.62)
Cadenas de Markov ∣ 71
sumando (4.55), (4.56), (4.57), (4.58) y (4.59):
𝜆.𝑝3 = (𝜇𝑎 + 𝜇𝑏 )𝑝4 ∴ 𝑝4 =
𝜆
𝑝3
𝜇𝑎 + 𝜇𝑏
(4.63)
además de las (4.56) y (4.57) se pueden despejar 𝑝1𝑎 y 𝑝1𝑏 :
de (4.56): 𝑝1𝑎 =
𝜇𝑏
𝜆/2
𝑝2 +
𝑝0
𝜇𝑎 + 𝜆
𝜇𝑎 + 𝜆
(4.64)
de (4.57): 𝑝1𝑏 =
𝜇𝑎
𝜆/2
𝑝2 +
𝑝0
𝜇𝑏 + 𝜆
𝜇𝑏 + 𝜆
(4.65)
reemplazando las (4.63) y (4.64) en la (4.60) queda:
𝜆.𝑝0 =
𝜇𝑎 .𝜇𝑏
𝜇𝑎 .𝜆
𝜇𝑏 .𝜇𝑎
𝜇𝑏 .𝜆
𝑝2 +
𝑝0 +
𝑝2 +
𝑝0 , despejando 𝑝2 queda:
𝜇𝑎 + 𝜆
2(𝜇𝑎 + 𝜆)
𝜇𝑏 + 𝜆
2(𝜇𝑏 + 𝜆)
)
𝜇𝑎
𝜇𝑏
𝜆 1−
−
2(𝜇𝑎 + 𝜆) 2(𝜇𝑏 + 𝜆)
𝑝2 =
𝑝0
𝜇𝑎 .𝜇𝑏
𝜇𝑎 .𝜇𝑏
+
𝜇𝑎 + 𝜆 𝜇𝑏 + 𝜆
(
y por
∑último de (4.60) se despeja 𝑝0 :
de
𝑝𝑖 : 𝑝0 = . . . . . .
∀𝑖
(4.66)
(4.67)
Cadenas de Markov ∣ 72
4.5
Modelo de dos canales en paralelo de distinta velocidad y cola
finita de una sola posición
La estructura general del sistema es la siguiente:
𝑎
∣ → 𝜇𝑎
/
𝜆
/
𝜆‘
∣
∣ → 𝜇𝑏
𝑏
‘
𝜆−𝜆
y el grafo de tasas de transición,la matriz A y el vector p son:
Estados i = (a, b, cola)
gfed
2 `abc
1, 0, 0
]
𝜆/2
gfed
`abc
0, 0, 0 r
𝜇𝑎
𝜇𝑏
𝑖/
𝐴=
𝑝=
𝑗
(000)
(100)
(010)
(110)
(111)
𝜇𝑏
𝜆/2
]
𝜆
𝜆
gfed
`abc
0, 1, 0 r
`abc
gfed
2 1, 1, 0
𝜆
k
𝜇𝑎 +𝜇𝑏
𝜇𝑎
(000)
(100)
(010)
(110)
𝐴000
𝐴100
𝐴010
𝐴110
−𝜆
𝜆/2
𝜆/2
0
𝜇𝑎 −(𝜇𝑎 + 𝜆)
0
𝜆
𝜇𝑏
0
−(𝜇𝑏 + 𝜆)
𝜆
0
𝜇𝑏
𝜇𝑎
−(𝜇𝑎 + 𝜇𝑏 + 𝜆)
0
0
0
(𝜇𝑎 + 𝜇𝑏 )
𝑝000
𝑝100
𝑝010
+
𝑝110
−
𝐴𝑢
1
1
1
1
1
𝑝111
`abc
gfed
1, 1, 1
Cadenas de Markov ∣ 73
⎧
𝑝.𝐴000 =






𝑝.𝐴100 =


⎨
𝑝.𝐴010 =





𝑝.𝐴110 =



⎩
𝑝.𝐴𝑢 =
−𝜆.𝑝000
+𝜇𝑎 .𝑝100
𝜆
2 .𝑝000
−(𝜇𝑎 + 𝜆)𝑝100
𝜆
2 .𝑝000
+𝜇𝑏 .𝑝010
−(𝜇𝑏 + 𝜆)𝑝010
+𝜇𝑏 .𝑝110
=0
+𝜇𝑎 .𝑝110
=0
+𝜆.𝑝010 −(𝜇𝑎 + 𝜇𝑏 + 𝜆)𝑝110 +(𝜇𝑎 + 𝜇𝑏 )𝑝111 = 0
𝜆.𝑝100
𝑝000
=0
+𝑝100
+𝑝010
+𝑝110
+𝑝111 = 1
resolviendo el sistema de ecuaciones se obtienen la cinco probabilidades como
en los ejemplos anteriores.
4.6
Modelo de dos canales en serie de distinta velocidad, sin cola
intermedia
La estructura general del sistema es la siguiente:
𝜆 −→
∣ → 𝜇𝑎 ∣ → 𝜇𝑏
𝑎
𝑏
y el grafo de tasas de transición,la matriz A y el vector p son:
Estados i = (a, b)
0 WVUT
PQRS
1, 0 o
𝜆
WVUT
PQRS
0, 0
Y
𝜇𝑏
WVUT
PQRS
1,
1
A
𝜇𝑎
𝜇𝑎
𝜆
WVUT
PQRS
PQRS
1, 0 o 𝜇𝑏 WVUT
𝑏1 , 1
𝜇𝑏
estado 𝑖 = (𝑏1 , 1) significa canal b bloqueado
Cadenas de Markov ∣ 74
𝑗
𝑖/
(0, 0)
𝐴 = (1, 0)
(0, 1)
(1, 1)
(𝑏1 , 1)
(0, 0) (1, 0)
(0, 1)
(1, 1)
𝐴00 𝐴10
𝐴01
𝐴11
−𝜆
𝜆
0
0
0
−𝜇𝑎
𝜇𝑎
0
𝜇𝑏
0
−(𝜇𝑏 + 𝜆)
𝜆
0
𝜇𝑏
0
−(𝜇𝑎 + 𝜇𝑏 )
0
0
𝜇𝑏
0
𝑝=
𝑝00
𝑝10
𝑝01
𝑝11
−
𝐴𝑢
1
1
1
1
1
𝑝𝑏1 ,1
luego aplicando la (3.30): p.A = B queda:
⎧
𝑝.𝐴00 =






𝑝.𝐴10 =


⎨
−𝜆.𝑝00
𝜆.𝑝00 −𝜇𝑎 .𝑝10
𝑝.𝐴𝑢 =
= 0 (4.68)
+𝜇𝑏 .𝑝11
𝜇𝑎 .𝑝10 −(𝜇𝑏 + 𝜆)𝑝01
𝑝.𝐴01 =





𝑝.𝐴11 =



⎩
+𝜇𝑏 .𝑝01
+𝜇𝑏 .𝑝𝑏1 ,1 = 0 (4.70)
𝜆.𝑝01 −(𝜇𝑎 + 𝜇𝑏 ).𝑝11
𝑝00
𝑝10
𝑝01
= 0 (4.69)
𝑝11
= 0 (4.71)
𝑝𝑏1 ,1 = 1 (4.72)
luego de (4.68):
𝑝01 =
𝜆
.𝑝00
𝜇𝑏
(4.73)
de (4.71):
𝑝11
𝜆
𝜆2
=
.𝑝01 =
.𝑝00
𝜇𝑎 + 𝜇𝑏
𝜇𝑏 (𝜇𝑎 + 𝜇𝑏 )
de (4.68) y (4.74):
(4.74)
Cadenas de Markov ∣ 75
𝑝10
𝜇𝑏
𝜆
= .𝑝11 + .𝑝00 =
𝜇𝑎
𝜇𝑎
(
𝜆
𝜆2
+
𝜇𝑎 (𝜇𝑎 + 𝜇𝑏 ) 𝜇𝑎
)
𝑝00
(4.75)
y de (4.69), (4.72) y (4.73):
𝑝𝑏1 ,1
𝜇𝑎
(𝜇𝑏 + 𝜆)
.𝑝01 − .𝑝10 =
=
𝜇𝑎
𝜇𝑏
(
𝜆2
𝜆(𝜇𝑏 + 𝜆)
𝜆
−
−
2
𝜇𝑏
𝜇𝑏 (𝜇𝑎 + 𝜇𝑏 ) 𝜇𝑏
)
𝑝00
(4.76)
y de las (4.72), (4.73), (4.74), (4.75)y (4.76):
𝑝00
)−1
(
𝜆2
𝜆
𝜆(𝜇𝑏 + 𝜆)
= 1+
+
+
𝜇𝑎 𝜇𝑎 (𝜇𝑎 + 𝜇𝑏 )
𝜇2𝑏
(4.77)
Si se cumple que 𝜇𝑎 = 𝜇𝑏 = 𝜇, haciendo 𝜌 = 𝜆/𝜇 quedan:
1
1 + 2𝜌 + 32 𝜌2
(4.78)
𝜌 + 12 𝜌2
=
1 + 2𝜌 + 32 𝜌2
(4.79)
𝜌
1 + 2𝜌 + 32 𝜌2
(4.80)
𝑝00 =
𝑝10
𝑝01 =
𝑝11 = 𝑝𝑏1 ,1 =
1 2
2𝜌
1 + 2𝜌 + 32 𝜌2
(4.80)
ecuaciones que para los casos lı́mites se transforman en:
Cadenas de Markov ∣ 76
{
a) 𝜌 ≫ 1
𝑝00 = 𝑝01 = 0
𝑝10 = 𝑝11 = 𝑝𝑏1 ,1 = 1/3
⎧
⎨ 𝑝00
b) 𝜌 = 1 𝑝10
⎩
𝑝11
⎧
⎨ 𝑝00
c) 𝜌 ≪ 1 𝑝10
⎩
𝑝11
= 𝑝01 = 2/9
= 3/9
= 𝑝𝑏1 ,1 = 1/9
= 1 − 2𝜌
= 𝑝01 = 𝜌
= 𝑝𝑏1 ,1 = 0
Por último los indicadores: longitud del sistema L, número promedio de canales
que están efectivamente trabajando: 𝐻, y grado de ocupación de cada uno de
ellos: 𝐻1 y 𝐻2 , quedan expresados de la siguiente forma:
2𝜌 + 25 𝜌2
+ 𝑝𝑏1 ,1 ) =
1 + 2𝜌 + 32 𝜌2
(4.82)
𝐻 = 𝑝10 + 𝑝01 + 𝑝𝑏1 ,1 + 2𝑝11
2𝜌 + 2𝜌2
=
1 + 2𝜌 + 32 𝜌2
(4.83)
𝐻1 = 𝑝10 + 𝑝11
𝜌 + 𝜌2
=
1 + 2𝜌 + 32 𝜌2
(4.84)
𝐻2 = 𝑝01 + 𝑝11 + 𝑝𝑏1 ,1
𝜌 + 𝜌2
=
1 + 2𝜌 + 32 𝜌2
(4.85)
𝐿 = 𝑝10 + 𝑝01 + 2(𝑝11
ecuaciones que para los casos lı́mites se transforman en:
a) 𝜌 ≫ 1 : 𝐿 = 5/3 ; 𝐻 = 4/3 ; 𝐻1 = 𝐻2 = 2/3
b) 𝜌 = 1 : 𝐿 = 1 ; 𝐻 = 8/9 ; 𝐻1 = 𝐻2 = 4/9
Cadenas de Markov ∣ 77
c) 𝜌 ≪ 1 : 𝐿 = 2𝜌 ; 𝐻 = 2𝜌 ; 𝐻1 = 𝐻2 = 𝜌
Cadenas de Markov ∣ 78
5
APLICACIONES
5.1
Aplicación comercial (“Brand switching”)
Un cliente puede adquirir un televisor de alguna de las siguientes marcas: X, Y
o Z. Se asume que estas alternativas cubren todas las posibilidades de compra.
Con respecto al comportamiento de compra, los fabricantes de los televisores
disponen de la siguiente información:
* El 30% de los clientes que poseen un televisor X se mantienen leales a la
marca en su próxima compra, mientras que el 40% adquiere un Y y el 30%
restante, un Z.
* De los clientes que actualmente poseen un televisor marca Y, el 40% compra un televisor X, el 25% vuelve a adquirir un Y y el resto uno de la marca
Z.
* El 20% de los clientes que poseen un Z compran un X, el 30% un Y y el
resto no cambia de marca.
Se desea saber:
a) ¿Cuál es la probabilidad de que un poseedor de un televisor X adquiera un
Z al cabo de dos compras?
b) ¿Cuál es la probabilidad de que el dueño de un X compre nuevamente un
televisor de la misma marca luego de tres transacciones?
c) ¿Cuál será el porcentaje de participación en el mercado a largo plazo?
d) ¿Cuál es el número esperado de compras que transcurrirán antes que el
actualmente poseedor de un televisor X adquiera un Z?
Solución:
a) Se puede resumir el comportamiento de la próxima compra con la siguiente
matriz de transición:
Cadenas de Markov ∣ 79
𝑋 𝑌
𝑋 0, 3 0, 4
𝑃 =
𝑌 0, 4 0, 25
𝑍 0, 2 0, 3
0,3
89:;
?>=< j
𝑋V
* ?>=<
6 89:;
0,4
𝑍
0, 3
0, 35
0, 5
0,25
𝑌
0,4
0,5
0,3
?>=< v
89:;
𝑍S
0,2
0,35
0,5
(1)
𝑉1
(2)
𝑉1
= [0, 3 0, 4 0, 3]
=
(1)
𝑉1 .𝑃
0, 3 0, 4 0, 3
= [0, 3 0, 4 0, 3] 0, 4 0, 25 0, 35 = [0, 31 0, 31 0, 38]
0, 2 0, 3 0, 5
(2)
Si vector 𝑉1 informa las probabilidades de que el dueño de un televisor
X adquiera un X, Y o Z despectivamente en la segunda compra. Luego, la
probabilidad de que adquiera un Z en dos transacciones es 38%.
La misma información puede obtenerse de la matriz 𝑃 2 . En ella podemos
observar todas las probabilidades asociadas al segundo paso para todos los
estados iniciales.
Ası́ la probabilidad de que el actualmente poseedor de un Y adquiera un
Z en la segunda compra es 38,25%.
0, 31 0, 31 0, 38
2
La probabilidad de que el dueño
𝑃 = 0, 29 0, 3275 0, 3825
de un televisor marca Z vuelva a
0, 28 0, 305 0, 415
adquirir otro de la misma marca en
dos transacciones es 41,5%, etc.
b)
(3)
𝑉1
=
(2)
𝑉1 .𝑃
0, 3 0, 4 0, 3
= [0, 31 0, 31 0, 38] 0, 4 0, 25 0, 35 = [0, 293 0, 3155 0, 3915]
0, 2 0, 3 0, 5
Cadenas de Markov ∣ 80
Otra forma de calcular el vector V es:
(3)
𝑉1
=
(1)
𝑉1 .𝑃 2
0, 31 0, 31 0, 38
= [0, 3 0, 4 0, 3] 0, 29 0, 3275 0, 3825 = [0, 293 0, 3155 0, 3915]
0, 28 0, 305 0, 415
Es decir, la probabilidad de que el ahora dueño de un X compre nuevamente un televisor de la misma marca el cabo de 3 pasos es 29,3%. Al
mismo resultado pudo arribarse a partir de la 𝑃 3 .
0, 293 0, 3155 0, 3915
𝑃 = 0, 2945 0, 3127 0, 3928
0, 289 0, 3128 0, 3982
3
c) Se forma un sistema de ecuaciones formado por N-1 ecuaciones extraı́das
del producto matricial
0, 3 0, 4 0, 3
[𝑝(𝑥) 𝑝(𝑦) 𝑝(𝑧)] 0, 4 0, 25 0, 35 = [𝑝(𝑥) 𝑝(𝑦) 𝑝(𝑧)]
0, 2 0, 3 0, 5
y por la ecuación p(x) + p(y) + p(z) =1
⎧
⎨ 𝑝(𝑥).0, 3 + 𝑝(𝑦).0, 4 + 𝑝(𝑧).0, 2 = 𝑝(𝑥)
𝑝(𝑥).0, 4 + 𝑝(𝑦).0, 25 + 𝑝(𝑧).0, 35 = 𝑝(𝑦)
⎩
𝑝(𝑥) + 𝑝(𝑦) + 𝑝(𝑧) = 1
Resolviendo este sistema de 3 ecuaciones con 3 incógnitas resulta:
p(x)=0,2919 p(y)=0,3135 p(z)=0,3946
Es decir, a largo plazo los porcentajes de participación en el mercado serán
29,19%, 31,35% y 39,46?% para las marcas X, Y y Z respectivamente. Al
mismo resultado pudo haberse arribado calculando una potencia de P para
un número alto de transacciones:
Cadenas de Markov ∣ 81
0, 2919 0, 3135 0, 3946
𝑃 = 0, 2919 0, 3135 0, 3946
0, 2919 0, 3135 0, 3946
8
d) Se modifica la matriz de transición P, convirtiendo al estado Z en un estado
absorbente:
𝑋 𝑌
𝑋 0, 3 0, 4
𝑌 0, 4 0, 25
𝑍 0
0
𝑍
0, 3
0, 35
1
Esta matriz se descompone en 4 submatrices de la forma
𝑋
𝑍 1
0
𝑋 0, 3 0, 3
𝑌 0, 35 0, 4
𝑍
𝐼 𝑂
𝐴 𝑁
𝑌
0
0, 4
0, 25
Luego se procede a calcular la matriz (𝐼 − 𝑁 )−1
𝐼 −𝑁 =
1 0
0, 3 0, 4
0, 7 −0, 4
−
=
0 1
0, 4 0, 25
−0, 4 0, 75
(𝐼 − 𝑁 )−1 =
2, 0548 1, 0959
1, 0959 1, 9178
El vector 𝑛
¯ = (𝐼 − 𝑁 )−1 .1̄ nos dará el número promedio de pasos que
transcurren hasta que el proceso se absorba para cada uno de los estados
no absorbentes iniciales.
Cadenas de Markov ∣ 82
𝑛
¯=
2, 0548 1, 0959
1
3, 1507
𝑥
=
1, 0959 1, 9178
1
3, 0137
Luego, el número esperado de transacciones que transcurren hasta que
el actualmente poseedor de un televisor X adquiera un Z es 3,1507.
5.2
Planeamiento de Personal
El Departamento de Relaciones con el Personal de una firma realiza un estudio de niveles de categorı́a para proveer promociones adecuadas en el momento
oportuno, controlar el pago de haberes, analizar necesidades: de contratación
de personal, etc. Esta empresa tiene 20 empleados de categorı́a 3 (la mas alta),
80 de categorı́a 2 y 200 de categorı́a 1 (la mas baja de todas).
En base a datos históricos se espera que el 35% de los empleados de la categorı́a
1, el 20% de la 2 y el 5% de la 3 dejen la empresa anualmente por renuncias,
despidos, jubilaciones, fallecimientos, etc.
Considerando las siguientes polı́ticas de personal:
- mantener la misma cantidad de empleados (total y por niveles)
- realizar contrataciones solamente en el primer nivel
- dar promociones a los empleados una sola vez por año
el gerente del Departamento encargó al grupo de Investigación Operativa de la
empresa:
1. Averiguar qué cantidad de gente deberá contratarse y qué cantidad deberá
promoverse a la categorı́a inmediata superior para mantener los niveles de
empleados estables, anualmente.
2. Determinar el tiempo de permanencia promedio de un empleado en la
compañı́a (ı́ndice de rotación del personal)
Cadenas de Markov ∣ 83
3. Calcular la probabilidad de que un empleado que recién ingresa a la firma
llegue a la máxima categorı́a.
Solución:
1. El siguiente gráfico representa el proceso de promociones anuales de los
empleados.
7654
0123
1
7654
0123
/
q8 0O
q
q
q
qqq
0,20qqqqq
0,05
qq
qqq
q
q
q
qqqq
7654
0123
0123
7654
/3
2K
S
0,35
Todos los empleados llegarán si estado 0, que es un estado absorbente.
Las probabilidades de transición a los demás estados se desconocen, pero
se puede resolver el problema analizando el flujo de empleados en cada
nodo.
Para mantener el mismo nivel de empleados en
la categorı́a, la cantidad promedio a promover
- Nodo 3
a la categorı́a 3 (x) debe ser igual a la cantidad
O
promedio que pasan al estado 0 (y).
𝑦
y=20 . 0,05 = 1
𝑥 / GFED
@ABC
x=1
20
Permanecen z = 20 - 1 = 19
- Nodo 2
>
}}
}
𝑦 }}
𝑥
}}
}}}
@ABC
GFED
80 3 /
El número medio de empleados a promover a
la categorı́a 2 (x) debe ser igual a los que se
promocionan a la categorı́a 3 más los que se
absorben (y)
y = 80 . 0,20 = 16
x= 16 + 3 = 19
Permanecen z = 80 - 19 = 61
Cadenas de Markov ∣ 84
La cantidad media de empleados a contratar
anualmente (x) debe igualar al número promedio de individuos que pasan al estado 0 más
los que se promueven al estado 2.
y = 200 . 0,35 = 70
x= 70 + 19 = 89
z = 200 - 89 = 111
- Nodo 1
𝑥
ONML
HIJK
200
/
𝑦
19
Estos valores podemos resumirlos en el siguiente cuadro (o en su correspondiente matriz de transición):
Cat. 1 2 3
1 111 19
2
61 3
3
19
0,555
7654
0123
1
1
2
3
1 0, 555 0, 95
0, 7625 0, 375
𝑃 = 2
3
0, 95
4
0 Total
70 200
16 80
1
20
0123
7654
/8 0
q
qq O
qqq
q
q
0,20qqqq
0,095
0,05
q
qqq
q
q
qq
qqqq
0,0375
7654
0123
0123
7654
/3
2K
S
4
0, 35
0, 2
0, 05
1
1
0,35
0,95
0,7625
2. Agrupando la matriz de transición, se procede a calcular la matriz (𝐼 −
𝑁 )−1 :
0
1
2
3
0 1
0
0
0
1 0, 35 0, 555 0, 095
2 0, 2
0, 7625 0, 0375
3
0, 95
0, 555
𝑁=
0, 95
0, 7625 0, 0375
0, 95
Cadenas de Markov ∣ 85
0, 555
𝐼 −𝑁 =
0, 95
2, 2472 0, 8989 0, 6742
−1
0, 7625 0, 0375 (𝐼 − 𝑁 ) =
0
4, 2105 3, 1579
0, 95
0
0
20
Luego, el ı́ndice de permanencia promedio en la empresa es de 3,82 años por
empleado.
3, 8203
𝑛
¯ 𝑖 = 7, 3684
20, 0
3. Para calcular la probabilidad de que un empleado que se encuentra actualmente en el estado 1 logre la máxima categorı́a, se supone al estado 3 como
un estado absorbente.
0,555
7654
0123
1
0123
7654
/8 0
qq
qqq
q
q
0,20qqqqq
0,095
qq
qqq
q
q
q
qqqq
0,0375
7654
0123
0123
7654
/3
2K
S
1
0,35
1
0,7625
La matrı́z de transición reagrupada en el formato
3
0
1
𝐼 0
es:
𝐴 𝑁
2
3
1
0
1
1
0, 35 0, 555 0, 095
2 0, 0375 0, 2
0, 7625
𝑁=
0, 555
0, 95
0, 7625
(𝐼 − 𝑁 )−1 =
(𝐼 − 𝑁 ) =
0, 445 −0, 095
0
0, 2375
2, 2472 0, 8989
0
4, 2105
Cadenas de Markov ∣ 86
(𝐼 − 𝑁 )−1 .𝐴 =
2, 2472 0, 8989
0
0, 35
0, 03371 0, 9663
.
=
0
4, 2105 0, 375 0, 2
0, 1579 0, 8421
Luego, la probabilidad de que un empleado de la primer categorı́a alcance
la máxima es de 3,37%. También se puede observar que la probabilidad de
lograr esa categorı́a para un empleado de la categorı́a 2 es de 15,79%.
Otra ı́nformación útil es el número esperado de años que transcurren hasta
alcanzar la máxina categorı́a. Para ello, se multiplica la natrı́z (𝐼 − 𝑁 )−1
por un vector unitario:
𝑛
¯𝑖 =
2, 2472 0, 8989 1
3, 1461
.
=
0
4, 2105 1
4, 2105
En promedio, un empleado de categorı́a 1 tardará 4,21 años hasta alcanzar
la categorı́a 3.
5.3
Gestión de inventarios
La demanda mensual de un repuesto en un proceso productivo tiene la siguiente
distribución de probabilidad:
𝑑 0
1
2 ≥3
𝑝 0, 6 0, 3 0, 1 0
Si el stock inicial es de 3 unidades, y la observación del nivel de inventarios
se realiza al finalizar cada mes, determinar:
a. la probabilidad de que al cabo de dos meses se haya agotado el stock
b. la probabilidad de que al cabo de cuatro meses haya dos o más de dos
repuestos en stock
Cadenas de Markov ∣ 87
c. el número promedio de meses que trancurren hasta agotar el stock
d. el costo total de almacenamiento en cada ciclo de compra, si el costo de
almacenamiento unitario mensual es de 10$.
Solución:
a. Llamaremos:
S0: ninguna unidad en stock al finalizar un mes
S1: una unidad en stock al finalizar un mes
S2: dos unidades en stock al finalizar un mes
S3: tres unidades en stock al finalizar un mes
0,6
𝑆3
𝑆2 𝑆1 𝑆0
𝑆3 0, 6 0, 3 0, 1 0
𝑆2
0, 6 0, 3 0, 1
𝑆1
0, 6 0, 4
𝑆0
1
0,6
0,3
ONML
HIJK
HIJK
/ ONML
𝑆3 GG
𝑆2 GG
GG
GG
GG
GG
GG
GG
GG0,1
GG0,1
GG
GG
0,3
GG
GG
GG
GG
1
GG
GG
G# G# 0,4
HIJK
ONML
HIJK
/ ONML
𝑆2
𝑆1V
0,6
Los estados S3, S2 y S1 son transitorios, mientras que el estado S0 es
absorbente.
b.
𝑆3
𝑆2 𝑆1
𝑆0
𝑆3 0, 36 0, 36 0, 21 0, 07
2
𝑃 = 𝑆2
0, 36 0, 36 0, 28
𝑆1
0, 36 0, 64
𝑆0
1
Luego la probabilidad de que trancurridos dos meses se haya agotado
el stock es 0,07=7%
𝑆3
𝑆2 𝑆1
𝑆0
𝑆3 0, 13 0, 26 0, 29 0, 32
𝑆2
0, 13 0, 26 0, 61
𝑆1
0, 13 0, 87
𝑆0
1
La probabilidad de que haya dos
o más repuestos al cabo de cuatro
meses es 0,26 + 0,13 = 0,39 (39% ).
Cadenas de Markov ∣ 88
c. Se reagrupa la matriz de transición P en cuatro submatrices y se calcula
la inversa de I-N
𝑆0 𝑆3 𝑆2 𝑆1
𝑆1 0
0
0
0
𝑆3
0, 6 0, 3 0, 1
𝑆2 0, 1
0, 6 0, 3
𝑆1 0, 4
0, 6
0, 4 −0, 3 −0, 1
𝐼 −𝑁 =
0, 4 −0, 3
0, 4
𝑆3 𝑆2 𝑆1
𝑆3 0, 6 0, 3 0, 1
𝑁=
𝑆2
0, 6 0, 3
𝑆1
0, 6
−1
(𝐼 − 𝑁 )
10/4 30/16 25/32
=
10/4 30/16
10/4
10/4 30/16 25/32
1
5, 16
𝑛
¯𝑖 =
10/4 30/16 x 1 = 4, 38
10/4
1
2, 5
La duración promedio de un lote de tre unidades es de 5,16 meses.
d. El número prometido de meses que el sistema está en cada uno de los estados S3, S2 y S1 es, respectivamente, 10/4, 30/16 y 25/32, valores que
obtenemos de la matriz (𝐼 − 𝑁 )−1 . Luego; el costo esperado de almacenamiento es:
[
]
10 𝑚𝑒𝑠
30 𝑚𝑒𝑠
25 𝑚𝑒𝑠
$
1 𝑢𝑛𝑖𝑑𝑎𝑑 x
+ 2 𝑢𝑛. x
+ 3 𝑢𝑛. x
x 10
4 𝑐𝑖𝑐𝑙𝑜
16 𝑐𝑖𝑐𝑙𝑜
32 𝑐𝑖𝑐𝑙𝑜
𝑢𝑛. 𝑚𝑒𝑠
= 85, 94
$
𝑐𝑖𝑐𝑙𝑜
Cadenas de Markov ∣ 89
5.4
Planeamiento de producción
A un centro productivo de una fábrica llegan piezas para someterse a un proceso
de mecanizado en dos máquinas (A y B). Luego de cada etapa de elaboración
se realiza, un control de calidad (CCA y CCB). La secuencia de fabricación de
las piezas se muestra en el siguiente gráfico:
0,03
de otro centro
/
𝐴
0,05
`abc
/ gfed
𝐶𝐶𝐴
0,10
/
𝐵
0,02
`abc
/ gfed
𝐶𝐶𝐵
0,09
/ a Almacenes
0,05
/ Desechos
Si durante el mecanizado una pieza se estropea, se la desecha sin pasar por
Control de Calidad. En los centros de inspección se puede devolver una pieza
para ser reprocesada o considerarla defectuosa. Las probabilidades estimadas
para cada caso se muestran en el gráfico.
Los tiempos esperados para la realización de cada operación de mecanizado y
de inspección y los costos asociados son los siguientes.
Mecanizado A
Control A
Mecanizado B
Mecanizado A
𝑇𝑒 (𝐻𝐻) Costo($/𝐻𝐻)
2
1200
0, 1
2000
3
1800
0, 2
2000
El costo directo de cada pieza que llega al Centro es de 3000$/pieza y el costo
de oportunidad del material defectuoso es de 500$/pieza. Determinar:
1. la probabilidad de completar satisfatoriamente una pieza que entra al centro.
2. el número esperado de piezas que deben ingresar al centro para producir
1000 piezas buenas.
Cadenas de Markov ∣ 90
3. los requerimientos de personal para cada pieza terminada.
4. el costo directo esperado de cada pieza terminada que sale del Centro
productivo.
Solución:
Estado
PA
CCA
1. PB
CCB
D
A
Operación
Procesamiento en máquina A
Control de Calidad del proceso A
Procesamiento en máquina B
Control de Calidad del proceso B
Defectuosas
Almacén de piezas terminadas
Los estados D y A son estados absorbentes.
~
@ABC
GFED
PA
0,03
0,90
~ 0,91
0,95 / GFED
0,90 / ?>=<
0,90 / ONML
HIJK
@ABC
HIJK
89:;
/ ONML
CCA<
PB
CCB
A
MMM
T
<<
MMM
<<
MMM
1
MMM0,10 << 0,02
MMM
<<
0,09 MMM <<
0,05
MMM <<
MMM< & ?>=<
89:;
D
T
1
𝑃𝐴
𝑃 =
Reagrupando:
𝐶𝐶𝐴 𝑃 𝐵 𝐶𝐶𝐵 𝐷
𝐴
0, 90
0, 10
0, 30
0, 95
0, 02
0, 91 0, 09
0, 05
0, 05 0, 90
1
1
𝑃𝐴
𝐶𝐶𝐴
𝑃𝐵
𝐶𝐶𝐵
𝐷
𝐴
Cadenas de Markov ∣ 91
𝐷
𝐴
𝑃 = 𝑃𝐴
𝐶𝐶𝐴
𝑃𝐵
𝐶𝐶𝐵
𝐷
1
𝐴
1
0, 10
0, 90
0, 02
0, 03
0, 95
0, 09
0, 91
0, 05 0, 90
0, 05
0 0, 90 0
0
0, 30 0 0, 95 0
𝑁=
0
0
0 0, 91
0
0 0, 05 0
(𝐼 − 𝑁 )−1
1, 0277 0, 925
0, 0308 1, 0277
=
0
0
0
0
(𝐼 − 𝑁 )−1 .𝐴 =
𝑃 𝐴 𝐶𝐶𝐴 𝑃 𝐵 𝐶𝐶𝐵
𝐷
0, 2661
0, 1621
0, 1419
0, 0571
1
−0, 90
0
0
−0, 30
1
−0, 95
0
𝐼 −𝑁 =
0
0
1
−0, 91
0
0
−0, 05
1
0, 9206
1, 0229
1, 0477
0, 0524
𝐴
0, 7539
0, 8378
0, 8581
0, 9429
0, 8377
0, 9309
0, 9534
1, 0477
0, 10 0
0, 02 0
𝐴=
0, 09 0
0, 05 0, 90
Por lo tanto, la probabilidad de completar satisfactoriamente una pieza
que entra al proceso (probabilidad de
absorción en el estado A) es 0,7539
(75,39% ).
2. El número esperado de piezas que deben entrar al proceso para producir
una pieza buena es 1/0,7539=1,3264. Luego, se necesitarán 1327 piezas
para producir 1000 piezas buenas.
Cadenas de Markov ∣ 92
3. De la matriz (𝐼 − 𝑁 )−1 se obtiene el número de veces que una pieza que
entra al centro productivo pasa por cada operación.
Estados No de veces
No de veces
HH/pieza HH/pieza
(por pieza
(por pieza
procesada terminada
que entra) que sale terminada)
(a)
(b)=(a)x1,3264
(c)
(b)x(c)
PA
1,0277
1,3631
2
2,7263
CCA
0,925
1,2269
0,1
0,1227
PB
0,9206
1,2211
3
3,6633
CCB
0,8377
1,1111
0,2
0,2222
Estados
4.
PA
CCA
PB
CCB
Costo HH/pieza Costo/pieza
($/HH) terminada terminada
1200
2,7263
3271,56
2000
0,1227
245,40
1800
3,6633
6593,94
2000
0,2222
444,4
Costo M. de O.: 10555,30
⋅ Costo de materiales:
3000
$
pieza que entra
x 1, 3264
pieza que entra
piezas terminadas
= 3979, 2
$
pieza terminada
⋅ Venta de material de rezago:
500
$
pieza defectuosa
x 0, 2461
pieza defectuosa
piezas que entra
x 1, 364
pieza que entra
piezas terminada
= 163, 21
$
pieza terminada
Cadenas de Markov ∣ 93
Costo Mano de Obra 10555, 30
Costo de Materiales
3979, 2
- Venta de Defectuosos −163, 21
Costo directo
14371.29
5.5
$
pieza terminada
Analisis de fallas
Una máquina de un proceso productivo puede estar en uno de los siguientes
estados al final de cada dı́a de operación:
𝐸0 = Perfectamente operable
𝐸1 = Operable con deterioro menor
𝐸2 = Operable con deterioro mayor
𝐸3 = Inoperable Cuando el sistema se encuentra en alguno de los tres primeros
estados pueden producirse artı́culos defectuosos durante el dı́a siguiente. Los
costos esperados (debido a la producción de defectuosos) para cada uno de los
estados son
Estado Costo
𝐸0
0
𝐸1
1000$
𝐸2
3000$
Cuando la máquina se encuentra en el estado 3 se la repara llevándola al estado
𝐸0 . Este trabajo toma un dı́a para completarse a un costo de 4000$. El lucro
cesante diario es de 2000$.
Asumiendo las siguientes probabilidades de transición
Estado 𝐸0 𝐸1 𝐸2
𝐸3
𝐸0
0 7/8 1/16 1/16
𝐸1
− 3/4 1/8 1/8
𝐸2
1/2 1/2
1. Formular el problena como una cadena de Markov
2. Calcular el costo promedio esperado a largo plazo
3. Determinar el número promedio de dı́as de funcionamiento de la máquina
Solución:
Cadenas de Markov ∣ 94
1.
𝐸0 𝐸1 𝐸2
𝐸3
𝐸0
7/8 1/16 1/16
𝑃 = 𝐸1
3/4 1/8 1/8
𝐸2
1/2 1/2
𝐸3 1
1/16
@@
~
@@
~~
@@
~
~
@@
3/4
~~
@@
~
~~ 7/8
1/8
HIJK
ONML
HIJK
HIJK
/ ONML
/ ONML
𝐸1
𝐸0 AA
𝐸2
A
X
}
A` A AA
}
}
AA AA
}
1/2
}
AA AA1/16
}}
AA AA
}
1/8 }}
AA A
}}
1 AAA AAA
AA A }}}
}~
A
ONML
HIJK
𝐸3
2. Calculamos las probabilidades en régimen estacionario asociadas a cada
estado
7/8 1/16 1/16
3/4 1/8 1/8
= [𝑝(0) 𝑝(1) 𝑝(2) 𝑝(3)]
1/2 1/2
[𝑝(0) 𝑝(1) 𝑝(2) 𝑝(3)]
1
⎧

𝑝(3) = 𝑝(0)












⎨ 𝑝(0).7/8 + 𝑝(1).3/4 = 𝑝(1)













⎩
⎧
𝑝(0) = 2/13


⎨
𝑝(1) = 7/13
𝑝(0).1/16 + 𝑝(1).1/8 + 𝑝(2).1/2 = 𝑝(2) −→
𝑝(2) = 2/13


⎩
𝑝(3) = 2/13
𝑝(0) + 𝑝(1) + 𝑝(2) + 𝑝(3) = 1
Cadenas de Markov ∣ 95
Costo promedio = 0.𝑝(0) + 1000.𝑝(1) + 3000.𝑝(2) + (4000 + 2000).𝑝(3) =
= 1923, 08$
3. Considerando el estado E absorbente
𝐸0 𝐸1 𝐸2
𝐸3
𝐸0 0 7/8 1/16 1/16
𝑃 = 𝐸1 0 3/4 1/8 1/8
𝐸2 0 0 1/2 1/2
𝐸3 0 0
0
1
1 −7/8 1/16
𝐼 − 𝑁 = 0 1/4 −1/8
0
0
1/2
𝐸3
𝐸0 𝐸1
𝐸2
1
1/16
7/8 1/16
1/8
3/4 1/8
1/2
1/2
−1
(𝐼 − 𝑁 )
1 7/2 1
= 0 4 1
0 0 2
1 7/2 1
1
5, 5
(𝐼 − 𝑁 ) .1̄ = 0 4 1 x 1 = 5
0 0 2
1
2
−1
Por lo tanto, el tiempo esperado de cada ciclo de la máquina es 5,5 dı́as.
5.6
Analisis de cuentas
El departamento de contadurı́a de una empresa tiene la siguiente información
sobre la evolución de los créditos de un mes a otro (en porcentajes):
Cadenas de Markov ∣ 96
Cuenta Corriente
Cred. Documentados
Morosos
Cuenta
Corriente
30
Créditos
Documentados
10
40
Morosos
Cobro
Incobrables
10
10
50
50
70
30
Suponiendo que se mantienen los niveles de créditos
1. ¿Cuál es la probabilidad de que una cuenta en “Cuenta Corriente” se cobre?
2. ¿Cuántos meses transcurren en promedio hasta que se liquida una cuenta
de cada uno de los dos tipos de crédito?
Solución:
1.
𝐶𝐶 𝐶𝐷 𝑀 𝑂
𝐶𝐶 0, 3 0, 1 0, 1
𝐶𝐷
0, 4 0, 1
𝑃 =
𝑀𝑂
𝐶𝑂
𝐼𝑁
𝐶𝑂 𝐼𝑁
0, 5
0, 5
0, 7 0, 3
1
1
0, 7 −0, 1 −0, 1
𝐼 −𝑁 =
0, 6 −0, 1
1
𝐶𝑂 𝐼𝑁 𝐶𝐶 𝐶𝐷 𝑀 𝑂
𝐶𝑂 1
𝐼𝑁
1
𝐶𝐶 0, 5
0, 3 0, 1 0, 1
𝐶𝐷 0, 5
0, 4 0, 1
𝑀 𝑂 0, 7 0, 3
−1
(𝐼 − 𝑁 )
1, 429 0, 238 0, 167
=
0
1, 667 0, 167
0
0
1
1, 429 0, 238 0, 167
0, 5 0
0, 950 0, 050
(𝐼 − 𝑁 ) .𝐴 =
0
1, 667 0, 167 x 0, 5 0 = 0, 950 0, 050
0
0
1
0, 7 0, 3
0, 7
0, 3
−1
Cadenas de Markov ∣ 97
La probabilidad de que una cuenta CC se cobre es de 95%.
2.
1, 429 0, 238 0, 167
1
1, 834
𝑛
¯𝑖 =
0
1, 667 0, 167 x 1 = 1, 834
0
0
1
1
1
En ambos casos es 1,834 meses.
5.7
Estudio de confiabilidad en un sistema de lı́neas de transmisión
El sistema está constituido por tres lı́neas de transmisión de energı́a o información que operan en paralelo. Cada lı́nea puede encontrarse en servicio, o
fuera de servicio, ya sea por mantenimiento programado (indisponibilidad programada) o por falla, debido a la acción de un agente externo (indisponibilidad
forzada). Además el régimen de operación no permite retirar una lı́nea por
mantenimiento programado cuando existe alguna otra en paralelo fuera de servicio, ya sea por mantenimiento programado o por falla forzada.
FUENTE
1
2
3
sentido del flujo
−→
−→
−→
En estas condiciones los estados posibles son:
SUMIDERO
Cadenas de Markov ∣ 98
Estado
1
2
3
4
5
6
7
No de lı́neas
No de lı́neas
en servicio en falla forzada
3
0
2
1
2
0
1
2
1
1
0
3
0
2
No de lı́neas
en manten. programado
0
0
1
0
1
0
1
y las transiciones entre los estados se pueden expresar mediante el siguiente
grafo:
0123
7654
m
?1
1 ind. progr.

7654
0123
3Z
1 mant. progr.
1 falla forzada
1 falla forzada
1 reprac.
1 falla
7654
0123
5Z
1 mant. progr.
7654
0123
7
1 reprac.
1 falla forzada
1 reprac.
1 falla
7654
0123
6- 2 Z
7654
0123
64Z
1 reprac.
1 falla forzada
1 mant. progr.
7654
0123
6
Se puede observar que existen cuatro transiciones básicas:
- falla forzada
- reparación
- indisponibilidad programada
- mantenimiento
Se asumirá la hipótesis de que tanto los regı́menes de falla y de indisponibilidad programada como las duraciones de las reparaciones y los mantenimientos
Cadenas de Markov ∣ 99
tienen probabilidades de transición dadas por funciones de distribución exponencial:
- 𝑃𝑖𝑗 (𝑡) falla forzada = (1 − 𝑒−𝜆𝑓 𝑡 )
- 𝑃𝑖𝑗 (𝑡) indisp. progr. = (1 − 𝑒−𝜆𝑝 𝑡 )
- 𝑃𝑖𝑗 (𝑡) reparación = (1 − 𝑒−𝜇𝑓 𝑡 )
- 𝑃𝑖𝑗 (𝑡) mantenimiento = (1 − 𝑒−𝜇𝑝 𝑡 )
De esta manera el sistema se puede estudiar como una cadena de Markov homogénea con parámetro t continuo. Luego las respectivas tasas de transición
serán:
𝑑
- 𝑑falla forzada = (𝑃𝑖𝑗 (0))f. forz. = 𝜆𝑓
(5.1)
𝑑𝑡
𝑑
(5.2)
- 𝑑indispon. progr = (𝑃𝑖𝑗 (0))ind. progr. = 𝜆𝑝
𝑑𝑡
𝑑
- 𝑑reparación = (𝑃𝑖𝑗 (0))reparación = 𝜇𝑓
(5.3)
𝑑𝑡
𝑑
- 𝑑mantenimiento = (𝑃𝑖𝑗 (0))mantenim. = 𝜇𝑝
(5.4)
𝑑𝑡
Los valores anteriores corresponden a probabilidades de transición por cable.
Para evaluar las probabilidades de transición entre los siete estados definidos
es necesario afectar a las expresiones (5.1) a (5.4) por el número de lineas que
están en condiciones de efectuar la transición, ası́ del estado 1 al estado 2 se
puede pasar por falla en cualquiera de las 3 lı́neas, luego la tasa de transición
𝑑12 será 𝑃12 = 3𝜆𝑓 , y ası́ con las demás, luego el grafo con las tasas de transición
es:
Cadenas de Markov ∣ 100
0123
7654
m
?1
𝑑13 =3𝜆𝑝

7654
0123
3Z
𝑑35 =2𝜆𝑓
𝑑31 =𝜇𝑝
𝑑57 =𝜆𝑓
𝑑24 =2𝜆𝑓
𝑑42 =2𝜇𝑓
7654
0123
64Z
𝑑52 =𝜇𝑝
𝑑75 =2𝜇𝑓
7654
0123
7
7654
0123
6- 2 Z
𝑑12 =3𝜆𝑓
𝑑53 =𝜇𝑓
7654
0123
5Z
𝑑12 =𝜇𝑓
𝑑46 =𝜆𝑓
𝑑74 =𝜇𝑝
𝑑64 =3𝜇𝑓
7654
0123
6
Todas las restantes tasas 𝑑𝑖𝑗 que no figuran en el grafo son nulas. Luego las
probabilidades del estado permanente:
𝑃 = 𝑃1 𝑃2 𝑃3 𝑃 4 𝑃5 𝑃 6 𝑃7
se calculan de la expresión (3.3.1):
𝑃 = 𝐵.𝐴−1
con la matriz A definida en la (3.3 0), y que en este caso es:
(𝑑12 + 𝑑13 )
𝑑12
𝑑13
0
0
0
𝑑21
−(𝑑21 + 𝑑24 )
0
𝑑24
0
0
𝑑31
0
−(𝑑31 + 𝑑35 )
0
𝑑35
0
𝐴=
0
𝑑42
0
−(𝑑42 + 𝑑46 )
0
𝑑46
0
𝑑52
𝑑53
0
−(𝑑52 + 𝑑53 + 𝑑57 ) 0
0
0
0
𝑑64
0
−𝑑64
0
0
0
𝑑74
−𝑑75
0
1
1
1
1
1
1
1
Cadenas de Markov ∣ 101
−3(𝜆𝑝 + 𝜆𝑓 )
3𝜆𝑓
3𝜆𝑝
0
0
0
𝜇𝑓
−(2𝜆𝑓 + 𝜇𝑓 )
0
2𝜆𝑓
0
0
𝜇𝑝
0
−2(𝜆𝑓 + 𝜇𝑝 )
0
2𝜆𝑓
0
=
0
2𝜇𝑓
0
−(𝜆𝑓 + 2𝜇𝑓 )
0
𝜆𝑓
0
𝜇𝑝
𝜇𝑓
0
−(𝜆𝑓 + 𝜇𝑓 + 𝜇𝑝 )
0
0
0
0
3𝜇𝑓
0
−3𝜇𝑓
0
0
0
𝜇𝑝
2𝜇𝑓
0
1
1
1
1
1
1
1
Luego calculando la matriz 𝐴−1 , su 7ma. fila dará los valores de las probabilidades del estado permanente. Mediante este método pueden determinarse,
además:
. probabilidad de tres lı́neas en servicio: 𝑃𝑗
. probabilidad de dos lı́neas en servicio: 𝑃2 + 𝑃3
. probabilidad de una lı́nea en servicio: 𝑃4 + 𝑃5
. probabilidad de ninguna lı́nea en servicio: 𝑃6 + 𝑃7
Como ejemplo pueden calcularse los valores anteriores para los siguientes datos:𝜆𝑝 =
10, 7 indisp/cable-año; 𝜆𝑓 = 0, 4 fallas/cable-año; 𝜇𝑝 = 983, 5 manten./cableaño; 𝜇𝑓 = 190, 4 repar./cable-año.
Cadenas de Markov ∣ 102
References
[1] Bronson, R Investigación de Operaciones, serie Shaum; Mc. Graw Hill
[2] Gallagher y Watson, Quantative Methods for Busines; Mc. Graw Hill
[3] Gillett B., Introduction to Operations Research; Mc. Graw Hill
[4] Hillier y Lieberman, Introducción a la Investigación de Operaciones; Mc.
Graw Hill
[5] Kaufman A., Métodos y Modelos de Investigación de Operaciones;
C.E.C.S.A
[6] Parsen, Procesos Estocásticos; Parainfo
[7] Prawda J., Métodos y Modelos de Investigación de Operaciones; Limusa
[8] Rau J., Optimization and Probability in System Engieneering; Van Nostran
Reinhold
[9] Shambin y Stevens, Investigación de Operaciones, Un enfoque fundamental; Mc. Graw Hill