Analyzing video object motion focusing on non

Analyzing video object motion focusing on non

Analyzing video object motion focusing on non-planar
rotation for two video applications
Alejandro Ramirez Pilimtec R&D, France
Mireya García IPN-CITEDI Tijuana
http://www.tijbc.com
CIC 2006
24 Noviembre 2006
[email protected]
[email protected]
Hechos
Necesidad de interacción con el
contenido multimedia
Necesidad creciente en
herramientas de análisis :
Contenido
Movimiento:
Problemática
3D
2D: Modelos adecuados
3D
X
I
C
Z
Y
Modelización 2D
2D
Análisis
de imágenes
Compresió
de imágene
Motivación
Modelos clásicos : translacional (tx,ty), afin(..)
Considera movimientos de translación, de zoom y de rotación 2D
Considera rotaciones llamadas « no-planas » :
Pocos trabajos [Thompson84,Shariat86,Jurgen00,GaNi2003]
Plan
Análisis del movimiento aparente
Noción de video objeto
Descripción y clasificación del movimiento aparente:
Movimiento plano
Movimiento no-plano
Análisis del movimiento no-plano
Aplicación a la compresión
Conclusiones y perspectivas
Análisis de movimiento
Categorias de análisis de movimiento :
Estimación del movimiento 3D
Parámetros 3D (información a priori)
Reconocimiento de objetos
Estimación del movimiento 2D
Movimiento relativo, no modelización 3D
Plan
Análisis del movimiento aparente
Noción de video objeto
Descripción y clasificación del movimiento aparente:
Movimiento plano
Movimiento no-plano
Techniques d’analyse de mouvement non-plan
Applicación a la compresión
Conclusiones y perspectivas
Noción de video objeto
MPEG4
Plan
Análisis del movimiento aparente
Noción de video objeto
Descripción y clasificación del movimiento aparente:
Movimiento plano
Movimiento no-plano
Análisis del movimiento no-plano
Applicación a la compresión
Conclusiones y perspectivas
Descripción y clasificación del movimiento
Movimiento Plano:
Rotaciones 2D
Variaciones de focal
Translaciones 3D
(amplitud pequeña/distancia escene-cámara)
Sin movimiento
Rotación 2D
Movimiento No-Plano:
Rotaciones no-planas
Translaciones 3D
(grandes amplitudes/distancia objeto-cámara)
Rotaciones no-planas
1
Descripción y clasificación del movimiento
P1
mNP4
mNP1
mP5
Detección y Análisis de cambios
de orientación
mP4
mP2
mNP2
mNP3
mP3
mP = movimiento plano
NP = movimiento no- plano
mP1
mNP1
mP2
mNP2
mP3
1
Hipótesis
Rigidez de los video objetos
Gran amplitud del movimiento relativo objeto/cámara (marcos alejados).
Sin variación de iluminación sobre los video objetos considerados.
Las máscaras binarias de los video objetos se suponen conocidas
1
Plan
Análisis del movimiento aparente
Noción de video objeto
Descripción y clasificación del movimiento aparente:
Movimiento plano
Movimiento no-plano
Análisis del movimiento no-plano
Applicación a la compresión
Conclusiones y perspectivas
1
Esquema principal
- VOPS Originales
- Máscaras de los VOPs
Estimación de la translación
Análisis de
movimiento
plano
Estimación de la divergencia
Estimación de la rotación
Modelo de movimiento plano
válido
Evaluación
de la
calidad en
similaridad
Modelo de movimiento plano
no-válido
Estimación de la dirección
del eje de rotación
no-plano
Estimación del ángulo
del eje de rotación
no-plano
Análisis del
movimiento
no-plano
1
Algunos resultados
Pm
NPm
kI11
kI
NPm
kI44
kI
NPm
NPm
kI55
kI
NPm
kI99
kI
NPm
kI15
kI11
kI
11
Pm
kI17
Pm
kI14
kI
14
Pm
kI19
kI20
kI22
C r it e r io n
Criterio
Critère
C4
70
60
50
40
30
20
10
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Images clés
k I = K e y Im a g e s
1
Modelización del movimiento no-plano
Hipótesis
Rigidez de los video objetos
Rotación non-plana: el eje pasa por el centro de gravedad
Proyección: perspectiva
1
Modelización del movimiento no-plano(NPR)
Parámetros a estimar: Φ
α
 x2 (Φ )   cos Φ − sin Φ  x2 

=
 
y
(
Φ
)
sin
Φ
cos
Φ
 y 2 
 2
 
y2’
Φ
P
x2 − xg 2 =
cos α ( x1 − xg1 )
sin α
1−
( x1 − xg1 )
f
p’
x2 ’
Y
focal
X
Z
Centro de proyecció
Plano de proyección
( y1 − yg1 )
y2 − yg 2 =
1−
sin α
( x1 − xg1 )
f
f =
CCD sensor avec ( pixels ) / 2 [Shar99]
tan( horizontal field of view / 2)
1
Estimación de la dirección del eje de rotación
Y
Φ : Eje de rotación
AP: Eje perpendicular
Y
Φ
S ( A1) S ( B1)
=
S ( A2) S ( B 2)
A1
A2
Θ
X
B1
B2
AP
2
 S(A1) S(B1) 
Φ= argmin
−


θ=−90.+90o S(A2) S(B2)
1
Algunos resultados
Pm
NPm
NPm
NPm
Pm
Pm
Pm
S
Pm
Pm
NPm
NPm
NPm
NPm
NPm
NPm
S
1
Estimación del ángulo de rotación
α = arg min (VOP1 (α ) − VOP 2 (α ))
α = −180+180°
Couples VOP Angle réel Angle estimé
9
7
VOP1-VOP6
VOP1-VOP7
VOP1-VOP8
VOP1-VOP9
10
13
14
8
15
11
2
Conclusión Parcial
Método de cálculo rápido de los parámetros
Sensibilidad a errores de segmentación
Buena discriminación de movimientos planos et no-planos si
la calidad de segmentación no es tan mala
la amplitud del movimiento no-plano es suficiente
Estimación estable temporalmente del eje de rotación
2
Plan
Análisis del movimiento aparente
Noción de video objeto
Descripción y clasificación del movimiento aparente:
Movimiento plano
Movimiento no-plano
Análisis del movimiento no-plano
Aplicación a la compresión
Conclusiones y perspectivas
2
Aplicación a la compresión
El problema:
Los algoritmos clásicos: compensación de movimientos planos
Mejora propuesta:
Utilización del modelo NPR para permitir la compensación de
movimientos no-planos.
r
r r
P ' = RP + D
Ty
Φ
α
Tx
arámetros de rotación no plano
2 parámetros de translación
VOP referencia
VOP a predecir
2
Principio del algoritmo de estimación de movimiento
bloc référence
Etapa 1
Estimación
parámetros
de translación
Tx,Ty
bloc courant
Φ
α
Etapa 2
Estimación
parámètros
de rotación no-plano
bloc référence
bloc courant
Etapa 3
Refinamiento
de 4 parámetros
Tx,Ty,Φ,α
2
Aplicación a la compresión:
Algunos resultados
Con Block Matching
Con el modelo NPR
239
225
211
197
183
169
155
141
127
113
99
85
71
57
43
29
15
4.5
4
3.5
3
2.5
2
1.5
1
0.5
0
1
PSNRgain (dB)
Foreman( frame 7-9)
Number of blocks
2
Aplicación a la compresión: Algunos resultados
Con Block Matching
Con el modelo NPR
Tai (frame 5-7)
3
2.5
2
1.5
1
0.5
188
177
166
155
144
133
122
111
100
89
78
67
56
45
34
23
12
0
1
PSNRgain(dB)
4
3.5
Number of blocks
2
Aplicación a la compresión:
Algunos resultados
Con Block Matching
Con el modelo NPR
2
Costo de compresión
Parámetros a codificar : estimación de movimiento plano
Textura : imagen de error
Movimiento : 2 vectores por bloque
Parámetros a codificar : estimación de movimiento no plano
Textura: Imagen de error
Movimiento: mov. Plano + 2 vectores por bloque
(utilización de bandera)
Forma:máscara binaria (approche objets)
2
Conclusión
Clasificación del movimiento: plano ó no-plano
Aproximación geométrica
Algoritmo rápido
Limitaciones
Rotaciones de amplitud pequeña: Detección dificil
Necesario contar con las máscaras de los objetos
Aplicación a la compresión
Mejora a la técnica de estimación de
movimiento
2