Backtesting Sept 2009

Backtesting de Reserva de Seguros
Por:
Pedro Aguilar Beltrán
Jorge Avendaño Estrada
Septiembre de 2009
El Backtesting es un procedimiento técnico que consiste en validar la idoneidad,
precisión y validez de un modelo diseñado para hacer estimaciones, con base en la
comparación de las estimaciones hechas por el modelo actuarial respecto de los
valores reales observados. En el ámbito actuarial, las pruebas de Backtesting han
ido cobrando relevancia a medida que los modelos se vuelven más sofisticados y
aumenta con ello la incertidumbre de conocer a priori si dichos modelos van a
funcionar adecuadamente. Lo incorporado en este artículo corresponde a un
desarrollo llevado a cabo por P. Aguilar y J. Avendaño.
Esquemas más avanzados de valuación de riesgos a nivel mundial, como los que se contemplan en
Solvencia II, tienden a la utilización de modelos diseñados por las propias compañías de seguros y
bancos. Dichos modelos idealmente habrían de medir las obligaciones de la compañía con base en
las características y comportamiento propio de sus riesgos, por lo que se caracterizan por incluir
diversas variables y procedimientos complejos de cálculo. Por la complejidad de estos modelos, no
es posible determinar analíticamente si los resultados que den serán adecuados y congruentes con la
realidad. Adicionalmente, ante el comportamiento dinámico de los portafolios de riesgos, existe la
constante posibilidad de que un modelo aun habiendo sido eficiente, posteriormente se desajuste
debido a que la composición del portafolio de riesgos para el que fue elaborado, ha presentado
cambios relevantes.
Por lo anterior, resulta importante contar con una herramienta que permita analizar el desempeño de
los modelos actuariales y determinar con criterios actuariales sólidos, si un modelo debe
“rechazarse” o “aceptarse” 1 en función del grado de precisión con que dicho modelo se esté
ajustando a la evidencia empírica. La herramienta que debe utilizarse para estos efectos es la prueba
llamada “Backtesting”.
Como se mencionó, el Backtesting es un procedimiento técnico que consiste en validar la
idoneidad, precisión y validez de un modelo actuarial, el cual se basa en la comparación de las
estimaciones hechas por el modelo respecto de los valores reales observados. No existen modelos
únicos predefinidos de Backtesting, dichos modelos se deben crear en función del tipo de modelo
actuarial que se quieren validar.
En la industria de seguros es importante contar con un modelo de Backtesting que permita validar
los modelos actuariales de reserva, sin embargo, hasta el momento de escribir este artículo, no
existía un desarrollo o modelo de Backtesting específicamente para reservas de seguros. A finales
de 2008, como parte de un trabajo de libre investigación, fue ideado y desarrollado un modelo de
1
Aceptarse significa que el modelo puede continuar aplicándose en las mismas condiciones originales, y Rechazarse
significa que el modelo ya no puede seguir aplicándose por lo que deben realizársele cambios.
Página 1 de 7
32. Prima de Tarifa
Backtesting por P. Aguilar y J. Avendaño, que permite determinar el adecuado desempeño de los
modelos actuariales de valuación de la reserva.
El modelo se sustenta en el hecho fundamental de que la reserva de riesgos en curso es la media de
las obligaciones futuras. Como media que es, el valor así estimado de la reserva se comportará
como una variable aleatoria con función de distribución normal.
Si tomamos un determinado intervalo alrededor de la media de la distribución normal, podemos
decir que con un determinado grado de confianza (que dependerá del tamaño del intervalo), los
valores reales deberán caer dentro del intervalo de confianza (véase Gráfica 39.1). El intervalo de
confianza puede ser elegido de tal manera que sólo con una probabilidad baja ( ε ), los valores
reales caerán fuera del intervalo, en tanto que la probabilidad de que los valores reales caigan dentro
del intervalo será (1- ε ).
Cuando una observación caiga fuera del intervalo se dirá que es una excepción o fracaso, y cuando
caiga dentro del intervalo se dirá que es un éxito.
0.25
Zona de Excepciones
0.20
0.15
0.10
0.05
0.00
0
2
4
6
8
10
12
14
16
18
20
Gráfica 39.1
Para efectos de dar una explicación muy práctica y comprensible del método, supongamos que
tenemos una cartera de riesgos asegurados a los cuales se les ha valuado su reserva durante N
periodos, de manera que se tienen N mediciones teóricas provenientes del modelo actuarial de
valuación de reserva, y N observaciones reales. Si nos planteamos ver cada una de las mediciones
como un ensayo Bernoulli, entonces cada observación real tendrá una probabilidad ε de caer fuera
del intervalo y (1- ε ) de caer dentro del intervalo. Planteado así el problema, se puede decir que en
las N observaciones que tenemos, el valor esperado del número de excepciones, es N ∗ ε . De esta
manera si en la realidad se observa que el número de excepciones observadas es un número muy
superior a N ∗ ε , entonces es posible cuestionarse la idoneidad del modelo actuarial de valuación
de reservas.
Página 2 de 7
11. Primas Niveladas de Seguros de Vida Tradicionales
En N observaciones, se puede tener un comportamiento como el que se presenta en la gráfica 32.2,
donde se puede observar que algunos valores reales se salen del intervalo de confianza en tanto que
los demás se mantienen por debajo o por encima de la media, pero dentro del intervalo de
confianza.
14
12
10
8
6
observaciones
4
limite inferior
media
2
limite superior
0
1
3
5
7
9
11 13 15 17 19 21 23 25 27 29 31 33 35
Gráfica 39.2.
Pero aun cuando un modelo actuarial sea adecuado, puede presentar excepciones por encima del
número esperado, por lo que no se podrá rechazar terminantemente, eso sólo se podrá hacer en la
medida que el número de excepciones se desvíe significativamente, respecto de su valor esperado.
Para ello se puede establecer el número de excepciones a partir de lo cual, con un alto grado de
confianza, se rechaza la hipótesis de que el modelo de valuación sea adecuado. Este criterio
permitirá disminuir la posibilidad de aceptar un modelo inadecuado o rechazar un modelo
adecuado.
El criterio para la evaluación de un modelo, se puede basar en el número de excepciones
observadas, estableciendo tres rangos para el número de excepciones.
1. El primer rango definirá el número máximo de excepciones que se aceptarán para decir que
el modelo es aceptable.
2. El segundo rango establecerá el número máximo de excepciones que se aceptará para decir
que el modelo debe someterse a observación, ya que no es completamente confiable.
3. El tercer rango establecerá el número de excepciones a partir del cual se considerará que el
modelo no es aceptable.
Página 3 de 7
32. Prima de Tarifa
Ejemplo:
1. Si la probabilidad asociada al número de excepciones observadas es mayor o igual al
10%, el modelo es aceptable.
2. Si la probabilidad asociada al número de excepciones observadas es menor al 10% pero
mayor al 0.5%, el modelo se acepta pero debe quedar bajo observación porque podría
ser incorrecto o inapropiado.
3. Si la probabilidad asociada al número de excepciones observadas es inferior al 0.5% el
modelo se rechaza.
Estos rangos pueden fijarse con otros valores, dependiendo del grado de tolerancia que se le quiera
dar al número de excepciones.
Considerando que el número de excepciones se comporta como una variable aleatoria Binomial con
parámetros (N, ε ), la probabilidad asociada al número de excepciones observadas Pr(k) está dada
como:
⎛N⎞
Pr(k) = ⎜⎜ ⎟⎟(ε)k (1 − ε) N − k
⎝k ⎠
De esta manera se pueden definir los valores de los rangos necesarios para aplicar los criterios de
aceptación, prevención o rechazo del modelo actuarial de valuación de reserva que se analiza.
No obstante que este criterio ayuda a determinar la eficiencia del modelo de reserva, esta prueba de
Backtesting podría ser vulnerable ante algunos modelos ineficientes 2 por lo que es necesario
establecer algunos criterios adicionales que permitirían evitar esta situación. Véase el ejemplo de la
Gráfica 39.3, donde se observa como los resultados reales caen la mayor parte por debajo 3 de la media
estimada, lo cual es indicativo de que el modelo es ineficiente, y que sin embargo pasaría la prueba debido a
que los resultados reales se mantienen dentro del intervalo.
2
Al decir ineficientes nos estamos refiriendo a que el modelo no ha podido predecir la realidad con la precisión y medida
que exige la prueba de Backtesting.
3
La misma conclusión sería válida si las observaciones reales estuvieran por encima de la media.
Página 4 de 7
11. Primas Niveladas de Seguros de Vida Tradicionales
14
12
10
8
6
observaciones
4
limite inferior
media
2
limite superior
0
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
Gráfica 39.3
Tomando en cuenta que cada observación real tendrá una probabilidad de caer por encima o por debajo de la
media con una probabilidad de 0.5, entonces es posible calcular cuál es la probabilidad de que en N
observaciones, k de ellas hayan caído por debajo (o encima) de la media. Dicha probabilidad se puede
calcular mediante la Binomial
⎛ N ⎞⎛ 1 ⎞ ⎛ 1 ⎞
Pr(k ) = ⎜⎜ ⎟⎟⎜ ⎟ ⎜ ⎟
⎝ k ⎠⎝ 2 ⎠ ⎝ 2 ⎠
k
N −k
Una vez calculada esta probabilidad podemos establecer como criterio, que se rechace un modelo si la
probabilidad asociada al número de observaciones por debajo o por encima de la media tiene una
probabilidad de ocurrencia muy pequeña como sería del 0.005.
Observe por ejemplo la estadística siguiente en la que se muestran los valores de reserva estimados por el
modelo, respecto de los valores reales.
Periodo
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Estimación
Reserva
Modelo A
40,852,478
44,576,232
43,521,789
46,373,084
45,687,925
45,175,183
39,879,853
41,287,965
41,522,879
39,857,482
42,180,429
41,581,478
40,982,527
44,033,313
47,084,098
48,975,863
37,251,482
48,793,215
63,254,876
46,857,921
Valor Real
Observado
Límite Superior
30,521,489
49,431,498
41,257,896
53,937,240
45,821,547
52,661,365
47,896,528
56,111,432
56,241,695
55,282,389
40,521,879
54,661,971
38,987,452
48,254,622
53,587,925
49,958,438
54,876,591
50,242,684
50,214,798
48,227,553
44,587,962
51,038,319
43,568,792
50,313,588
41,254,872
49,588,858
44,598,725
53,280,308
46,589,722
56,971,759
60,521,789
59,260,794
55,625,879
45,074,293
63,587,925
59,039,790
61,548,925
76,538,400
50,897,852
56,698,084
Página 5 de 7
Límite Inferior
32,273,458
35,215,223
34,382,213
36,634,736
36,093,461
35,688,394
31,505,084
32,617,492
32,803,074
31,487,411
33,322,539
32,849,368
32,376,197
34,786,317
37,196,438
38,690,932
29,428,671
38,546,640
49,971,352
37,017,758
Excepciones
Modelo A
1
0
0
0
1
0
0
1
1
1
0
0
0
0
0
1
1
1
0
0
32. Prima de Tarifa
Estimación Reserva Modelo A
Límite Superior
Límite Inferior
Valor Real Observado
100,000,000
80,000,000
60,000,000
40,000,000
20,000,000
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 20
Con base en estos datos, es posible aplicar la prueba de Bactesting al modelo A de reserva. Suponga
que el valor de ε es de 0.1, de manera que el valor esperado de excepciones es 2. Como puede
observarse, ocurrieron ocho excepciones, las cuales tienen una probabilidad de ocurrir de:
⎛ 20 ⎞
Pr(3) = ⎜⎜ ⎟⎟(0.1)8 (0.9) 20−8 ≈ 0.000355776
⎝8 ⎠
Dado que la probabilidad de ese número de excepciones es muy baja e inferior al límite impuesto de
0.005, se puede decir que el modelo es ineficiente, con un elevado grado de seguridad.
La segunda prueba consiste en analizar el número de veces que el valor real se mantuvo por arriba
del valor estimado de la reserva. Como se observa, hubo 15 observaciones por encima del valor de
la reserva, las cuales tienen asociada una probabilidad de:
15
⎛ 20 ⎞⎛ 1 ⎞ ⎛ 1 ⎞
Pr(k ) = ⎜⎜ ⎟⎟⎜ ⎟ ⎜ ⎟
⎝15 ⎠⎝ 2 ⎠ ⎝ 2 ⎠
20−15
= 0.014785767
No obstante que se observaron quince valores por encima de la estimación, la probabilidad asociada es
superior al 0.01, por lo que se puede aceptar el modelo.
Se presenta ahora el modelo alternativo B cuyas estimaciones de reserva se presentan a continuación.
Página 6 de 7
11. Primas Niveladas de Seguros de Vida Tradicionales
Periodo
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Estimación
Reserva Modelo
B
35,876,428
41,257,896
57,896,548
47,896,528
50,421,879
40,521,789
38,987,452
53,587,925
54,876,591
41,521,789
44,587,962
43,568,792
56,897,215
44,598,725
46,589,722
45,879,215
55,625,879
63,587,925
61,548,925
50,897,852
Valor Real
Observado
Límite Superior
30,521,489
43,410,478
41,257,896
49,922,054
45,821,547
70,054,823
47,896,528
57,954,799
56,241,695
61,010,474
40,521,879
49,031,365
38,987,452
47,174,817
53,587,925
64,841,389
54,876,591
66,400,675
50,214,798
50,241,365
44,587,962
53,951,434
43,568,792
52,718,238
41,254,872
68,845,630
44,598,725
53,964,457
46,589,722
56,373,564
54,879,251
55,513,850
55,625,879
67,307,314
63,587,925
76,941,389
61,548,925
74,474,199
50,897,852
61,586,401
Límite Inferior
28,342,378
32,593,738
45,738,273
37,838,257
39,833,284
32,012,213
30,800,087
42,334,461
43,352,507
32,802,213
35,224,490
34,419,346
44,948,800
35,232,993
36,805,880
36,244,580
43,944,444
50,234,461
48,623,651
40,209,303
Excepciones
Modelo A
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
En este modelo sólo se produjeron dos excepciones y el número de observaciones por encima de la media
fueron de 7 quedando 13 por debajo, lo que no permite determinar que el modelo sea ineficiente.
Se recomienda aplicar una prueba adicional para tomar en cuenta no tal sólo las excepciones sino también el
monto de los valores observados. Esta prueba consiste en estimar la media porcentual de las observaciones
que cayeron por encima de la estimación ( Δ i ) y la media de las observaciones por debajo de la estimación
∇ i , debiendo este valor ser cercano a uno y en la medida que no lo sea se podría determinar ineficiencia del
modelo actuarial que se prueba. ■
Página 7 de 7