Análisis aplicado. Convergencia global.

Transcripción

Análisis aplicado. Convergencia global.
José Luis Morales
http://allman.rhon.itam.mx/∼jmorales
Departamento de Matemáticas. ITAM. 2009.
José Luis Morales http://allman.rhon.itam.mx/∼jmorales
El problema por resolver.
Problemas reales que se pueden formular como:
minimizar
f (x),
f : Rn → R,
en donde f es una función con derivadas continuas de orden 1.
minimizar
f (x),
f : Rn → R,
Soluciones locales débiles:
x ∗ ∈ Rn , tal que existe una vecindad N (x ∗ ; ρ)
f (x ∗ ) ≤ f (x),
∀x ∈ N (x ∗ ; ρ)
minimizar
f (x),
f : Rn → R,
f (x ∗ ) ≤ f (x),
∀x ∈ N (x ∗ ; ρ)
Aproximaciones para x ∗ ⇐ Algoritmos.
minimizar
f (x),
f : Rn → R,
f (x ∗ ) ≤ f (x),
∀x ∈ N (x ∗ ; ρ)
Direcciones de descenso pk . Longitudes de paso αk
minimizar
f (x),
f : Rn → R,
f (x ∗ ) ≤ f (x),
∀x ∈ N (x ∗ ; ρ)
Direcciones de descenso pk . Longitudes de paso αk
Convergencia desde cualquier punto inicial
Condiciones de Wolfe
Descenso suficiente
f (xk + αk pk ) ≤ f (xk ) + c1 αk ∇f (xk )T pk
Descenso suficiente
Curvatura (condición débil)
∇f (xk + αk pk )T pk ≥ c2 ∇f (xk )T pk
Descenso suficiente
Curvatura (condición fuerte)
|∇f (xk + αk pk )T pk | ≤ c2 |∇f (xk )T pk |.
Descenso suficiente
Curvatura (condición fuerte)
|∇f (xk + αk pk )T pk | ≤ c2 |∇f (xk )T pk |.
Valores tı́picos
0 < c1 < c2 < 1,
c1 = 1.0 × 10−4 ,
c2 = 0.9
Lema técnico.
Lema técnico.
Consideremos cualquier iteración de la forma
xk+1 = xk + αk pk ,
en donde pk es una dirección de descenso y αk satisface las
condiciones de Wolfe.
Lema técnico.
Consideremos cualquier iteración de la forma
xk+1 = xk + αk pk ,
en donde pk es una dirección de descenso y αk satisface las
condiciones de Wolfe.
θk : ángulo entre pk y −∇fk
cos θk =
−∇fkT pk
||∇fk || ||pk ||
Supongamos que f es acotada por abajo en Rn y que f es
continuamente diferenciable en un abierto N que contiene al
conjunto
L = {x : f (x) ≤ f (x0 )},
en donde x0 es el punto inicial de la iteración.
conjunto
L = {x : f (x) ≤ f (x0 )},
Supongamos también que ∇f es una función de Lipschitz en
N.
conjunto
L = {x : f (x) ≤ f (x0 )},
Supongamos también que ∇f es una función de Lipschitz en
N.
Entonces
X
cos2 θk ||∇fk ||2 < ∞.
k≥0
Prueba
De la segunda condición de Wolfe
(∇fk+1 − ∇fk )T pk ≥ (c2 − 1)∇fkT pk
utilizando la continuidad de Lipschitz, (1) + desigualdad de
Schwartz
(∇fk+1 − ∇fk )T pk ≤ αk L||pk ||2
combinando los resultados
αk ≥
c2 − 1 ∇fkT pk
L
||pk ||2
sustituyendo en la primera condición de Wolfe
fk+1 ≤ fk − c1
1 − c2 (∇fkT pk )2
L
||∇fk ||2
fk+1 ≤ fk − c cos2 θk ||∇fk ||2 ,
c = c1 (1 − c2 )/L.
Finalmente, sumando sobre los ı́ndices ≤ k se tiene que
fk+1 ≤ f0 − c
k
X
cos2 θj ||∇fj ||2
j=0
puesto que f es acotada por abajo, entonces la cantidad f0 − fk+1
está acotada por un número positivo para toda k. Por lo tanto
tenemos que
X
cos2 θk ||∇fk ||2 < ∞.
k≥0
2
Zoutendijk
Zoutendijk
Si
X
cos2 θk ||∇fk ||2 < ∞.
k≥0
entonces
cos2 θk ||∇fk ||2 → 0
Zoutendijk
Si
X
cos2 θk ||∇fk ||2 < ∞.
k≥0
entonces
cos2 θk ||∇fk ||2 → 0
método “ideal”
cos θk ≥ δ > 0,
para toda k.
Zoutendijk
Si
X
cos2 θk ||∇fk ||2 < ∞.
k≥0
entonces
cos2 θk ||∇fk ||2 → 0
método “ideal”
cos θk ≥ δ > 0,
para toda k.
Es inmediato que
lim ||∇fk || = 0
k→∞
Ejemplos
Ejemplos
Cualquier método
pk = −Bk−1 ∇fk ,
en donde Bk es simétrica positiva definida: Newton,
cuasi-Newton (BFGS).
Ejemplos
Cualquier método
pk = −Bk−1 ∇fk ,
Supongamos que la sucesión de matrices {Bk } tiene número
de condición uniformemente acotado. Es decir que existe una
constante positiva M tal que :
cond (Bk ) ≡ ||Bk || ||Bk−1 || ≤ M,
∀k.
Ejemplos
Cualquier método
pk = −Bk−1 ∇fk ,
cond (Bk ) ≡ ||Bk || ||Bk−1 || ≤ M,
∀k.
Entonces, se puede probar que (Tarea)
cos θk ≥
1
.
M
Ejemplos
Cualquier método
pk = −Bk−1 ∇fk ,
cond (Bk ) ≡ ||Bk || ||Bk−1 || ≤ M,
∀k.
Entonces, se puede probar que (Tarea)
cos θk ≥
1
.
M
Por lo tanto hemos probado que los métodos: Newton,
cuasi-Newton (BFGS) convergen globalmente.

Análisis aplicado. Convergencia global.

Transcripción

Documentos relacionados

Optimización numérica.

Lic. Xiuh Guillermo Tenorio Antiga - Diplomados y Cursos

M.C. Sergio Luis Ibarra González - Diplomados y Cursos