Regresión no paramétrica para datos funcionales
Transcripción
Regresión no paramétrica para datos funcionales
Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Regresión no paramétrica para datos funcionales Liliana Forzani 1 Instituto 1 Ricardo Fraiman 2 Pamela Llop3 de Matemática Aplicada del Litoral (IMAL) - CONICET - Universidad Nacional del Litoral. 2 Departamento de Matemática y Ciencias, Universidad de San Andrés, Argentina - CMAT, Universidad de la República, Uruguay. 3 Instituto de Matemática Aplicada del Litoral (IMAL) - CONICET. IMAL 2010 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales The data file ufcgf.txt gives the diameter Dbh in millimeters at 137 cm perpendicular to the bole, and the Height of the tree in decimeters for a sample of grand fir trees at Upper Flat Creek, Idaho, in 1991, courtesy of Andrew Robinson. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales 400 350 Height 300 250 200 150 100 100 200 300 400 500 600 Dbh 700 800 900 1000 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales 400 350 Height 300 250 200 150 100 100 200 300 400 500 600 Dbh 700 800 900 1000 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales 400 350 Height 300 250 200 150 100 100 200 300 400 500 600 Dbh 700 800 900 1000 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ X Y? Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ ¡Y = η(X )! Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ ¡Y = η(X )! b = ηb(X ) Y Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ ¡Y = η(X )! b = ηb(X ) Y η(X ) = E(Y |X ) Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ ¡Y = η(X )! b = ηb(X ) Y η(X ) = E(Y |X ) b = ηb(X ) = E(Y b |X ) Y Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Y = η(X ) + e, E(e) = 0, E(e 2 ) = σ 2 < ∞ !Y = η(X )! b = ηb(X ) Y η(X ) = E(Y |X ) b = ηb(X ) = E(Y b |X ) Y Introducción a la regresión El problema Regresión en Rd Regresión en Rd Regresión para datos funcionales Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Regresión en Rd Estimar el operador de regresión η : Rd → R en el modelo Y = η(X ) + e, X ∈ Rd , Y ∈ R y E(e) = 0, E(e 2 ) = σ 2 < ∞. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Regresión en Rd Estimar el operador de regresión η : Rd → R en el modelo Y = η(X ) + e, X ∈ Rd , Y ∈ R y E(e) = 0, E(e 2 ) = σ 2 < ∞. (Xi , Yi )ni=1 ∈ Rd × R, i.i.d. ! (X , Y ) n . X ηb(X ) = Wni (X )Yi . i=1 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Consitencia en media cuadrática Teorema (Stone 1977) (i) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 (ii) lı́m E n→∞ (iii) n X ! Wni (X )I{kXi −X k>a} = 0 ∀ a > 0, i=1 lı́m E n→∞ máx Wni (X ) 1≤i≤n = 0. Entonces, lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Di = kXi − X k , i = 1, . . . , n. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Di = kXi − X k , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Di = kXi − X k , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Di = kXi − X k , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) X(2) Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si kXi − X k ≤ X(k) − X , 0 en otro caso. Di = kXi − X k , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) X(2) X(k) Introducción a la regresión El problema Regresión en Rd Estimador de k-vecinos más cercanos (k-NN) Teorema (Stone 1977) Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ Regresión para datos funcionales Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Teorema (Stone 1977) Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ (i) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Teorema (Stone 1977) Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ (i) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 (iii) 1 lı́m E máx Wni (X ) = lı́m = 0. n→∞ n→∞ k 1≤i≤n Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Teorema (Stone 1977) Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ (i) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 (ii) lı́m E n→∞ n X ! Wni (X )I{kXi −X k>a} = 0, ∀ a > 0, i=1 (iii) 1 lı́m E máx Wni (X ) = lı́m = 0. n→∞ n→∞ k 1≤i≤n Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Teorema (Stone 1977) Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ (i) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 (ii) lı́m P X(k) − X > a = 0, ∀ a > 0, n→∞ (iii) 1 lı́m E máx Wni (X ) = lı́m = 0. n→∞ n→∞ k 1≤i≤n Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X(5) X Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X(5) X Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) k=5 ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/5 si kXi − X k ≤ X(5) − X , 0 en otro caso. X X(5) Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Regresión para datos funcionales Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Regresión para datos funcionales Estimar el operador de regresión η : E → R en el modelo Y = η(X ) + e. X ∈ (E , d), Y ∈ R y E(e) = 0, E(e 2 ) = σ 2 < ∞. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Regresión para datos funcionales Estimar el operador de regresión η : E → R en el modelo Y = η(X ) + e. X ∈ (E , d), Y ∈ R y E(e) = 0, E(e 2 ) = σ 2 < ∞. (Xi , Yi )ni=1 ∈ E × R, i.i.d. ! (X , Y ) n . X ηb(X ) = Wni (X )Yi . i=1 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un resultado de consistencia general Teorema (Extensión de Stone 1977) (i) lı́m E n→∞ n X i=1 ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un resultado de consistencia general Teorema (Extensión de Stone 1977) (i) lı́m E n→∞ (ii) n X ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, i=1 lı́m E n→∞ máx Wni (X ) = 0. 1≤i≤n Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un resultado de consistencia general Teorema (Extensión de Stone 1977) (i) lı́m E n→∞ (ii) n X ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, i=1 lı́m E n→∞ máx Wni (X ) = 0. 1≤i≤n (iii) La función de regresión η es acotada y uniformemente continua. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un resultado de consistencia general Teorema (Extensión de Stone 1977) (i) lı́m E n→∞ (ii) n X ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, i=1 lı́m E n→∞ máx Wni (X ) = 0. 1≤i≤n (iii) La función de regresión η es acotada y uniformemente continua. Entonces, lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un resultado de consistencia general Teorema (Extensión de Stone 1977) (i) lı́m E n→∞ (ii) n X ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, i=1 lı́m E n→∞ máx Wni (X ) = 0. 1≤i≤n (iii) η puede aproximarse en L2 por funciones uniformemente continuas y acotadas. (iv) Existe c > 0 tal que, para toda f , E (f (X )) < ∞, ! n X E Wni (X )f (Xi ) ≤ cE (f (X )) , i=1 Entonces, lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Z Di = d (Xi , X ) = 2 (X (t) − Xi (t)) 1/2 , i = 1, . . . , n. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Z Di = d (Xi , X ) = 2 (X (t) − Xi (t)) 1/2 , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Z Di = d (Xi , X ) = 2 (X (t) − Xi (t)) 1/2 , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Z Di = d (Xi , X ) = 2 (X (t) − Xi (t)) 1/2 , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) X(2) Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Ejemplo: Estimador de k-vecinos más cercanos. ηb(X ) = n X Wni (X )Yi , i=1 Wni (X ) = 1/k si d (Xi , X ) ≤ d X(k) , X , 0 en otro caso. Z Di = d (Xi , X ) = 2 (X (t) − Xi (t)) 1/2 , i = 1, . . . , n. D1 ≤ D2 ≤ . . . ≤ Dk ≤ . . . ≤ Dn X(1) X(2) X(k) Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Lema Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ lı́m E n→∞ n X i=1 ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Estimador de k-vecinos más cercanos (k-NN) Lema Si k → ∞ and k/n → 0, entonces lı́m E (η(X ) − ηb(X ))2 = 0. n→∞ lı́m E n→∞ n X ! Wni (X )I{d(Xi ,X )>a} = 0, ∀ a > 0, i=1 lı́m P d X(k) , X > a = 0, ∀ a > 0. n→∞ Introducción a la regresión El problema Regresión en Rd Simulación Simulación Y = η(X ) + e, e ∼ N (0, σ) η(X ) = R1 0 X (t)dt, X (t) = W (t) W (0) = 0, W (t) − W (s) ∼ N (0, t − s) para 0 ≤ s ≤ t. Regresión para datos funcionales Introducción a la regresión Simulación El problema Regresión en Rd Regresión para datos funcionales Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método Estimador basado en la medida de ocupación Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método Estimador basado en la medida de ocupación (Xi , Yi )ni=1 ∈ E × R, i.i.d. ! (X , Y ) Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Estimador basado en la medida de ocupación (Xi , Yi )ni=1 ∈ E × R, i.i.d. ! (X , Y ) Definimos el estimador del operador de regresión η n . X ηb(X ) = Wni (X )Yi , i=1 1 Wni (X ) = Wni (X , X1 , . . . , Xn ) = kn Z T I{t:|X (t)−Xi (t)|≤Hn,X } dt. Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Estimador basado en la medida de ocupación (Xi , Yi )ni=1 ∈ E × R, i.i.d. ! (X , Y ) Definimos el estimador del operador de regresión η n . X ηb(X ) = Wni (X )Yi , i=1 Z 1 Wni (X ) = Wni (X , X1 , . . . , Xn ) = I dt. kn T {t:|X (t)−Xi (t)|≤Hn,X } n Z X kn Hn,X , kn = I{t:|X (t)−Xi (t)|≤Hn,X } dt. i=1 T Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método 1 1/2 1 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método 1 1/2 1 Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método 1 1/2 1 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Si k2 = 1, ¿H2,X , 2 Z X i=1 T I{t:|X (t)−Xi (t)|≤H2,X } dt = 1? 1 1/2 1 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Si k2 = 1, ¿H2,X , 2 Z X i=1 T I{t:|X (t)−Xi (t)|≤H2,X } dt = 1? 1 1/2 1 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Si k2 = 1, ¿H2,X , 2 Z X i=1 T I{t:|X (t)−Xi (t)|≤H2,X } dt = 1? 1 1/2 1 1 2 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Si k2 = 1, ¿H2,X , 2 Z X i=1 T I{t:|X (t)−Xi (t)|≤H2,X } dt = 1? 1 1/2 1 1 1 2+2 =1 Introducción a la regresión Regresión en Rd El problema Regresión para datos funcionales Un nuevo método Si k2 = 1, ¿H2,X , 2 Z X i=1 T I{t:|X (t)−Xi (t)|≤H2,X } dt = 1? 1 1/2 1 Respuesta: H2,X = 41 . Introducción a la regresión El problema Regresión en Rd Regresión para datos funcionales Un nuevo método ¿lı́mn→∞ E (b η (X ) − η(X ))2 = 0? Introducción a la regresión El problema Regresión en Rd Simulación Simulación Y = η(X ) + e, e ∼ N (0, σ) η(X ) = R1 0 X (t)dt, X (t) = W (t) W (0) = 0, W (t) − W (s) ∼ N (0, t − s) para 0 ≤ s ≤ t. Regresión para datos funcionales Introducción a la regresión Simulación El problema Regresión en Rd Regresión para datos funcionales Introducción a la regresión El problema Regresión en Rd Simulación Gracias! Regresión para datos funcionales