informe de la retransmisión de eclipse lunar 2014 - Sky

INFORME DE LA RETRANSMISIÓN DE
ECLIPSE LUNAR 2014
CRÉDITOS
El Séptimo Programa Marco de la Unión Europea (EU, FP7/2007-2013,
INFRASTRUCTURES-2011-2, INFRA-2011-1.2.1: e-Science environments) ha promovido la
retransmisión bajo el proyecto GLORIA – GLObal Robotic telescopes Intelligent Array for
e-sciencie” (Grant Agreement –Number 283783). En la retransmisión también ha participado la
FECYT bajo el proyecto “Astronomía Ciudadana II”.
INFRAESTRUCTURA
1.- Portal Web retransmisión.
La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster
VMware vSphere 5 (www.canarcloud.es/vmware/) basado en arquitectura Intel Nehalem
interconectado a un sistema de almacenamiento RAID centralizado capaz de soportar la carga
de los varios miles de peticiones contra el portal de la retransmisión junto con un balanceador
de DNS, el cual interconectaró todas las instancias web, tanto físicas como virtuales de todos
los colaboradores, garantizando un reparto de carga equitativo de todas las visitas al portal
web entre todas las instancias.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
1
Ante las altas expectativas y con el fin de reducir el tiempo y la tasa de transferencia de los
recursos incluidos en la web (logotipos e imágenes estáticas, javascript y ficheros de estilos,
etc…) se implementó un Proxy con caché de contenido estático a través del servicio de CDN
gloria.cdn.canarcloud.net.
El funcionamiento de esta arquitectura era el siguiente:
●
Los clientes hacían la petición al portal web de la retransmisión que estaba diseñado
para que su tamaño (en bytes) fuera el mínimo posible.
● Un sistema de Balanceo de Carga decidía cuál de todos los servidores que forman ese
cluster atendía cada petición que llegaba en función de la política implementada.
● El cliente era atendido por el servidor seleccionado por el sistema de Balanceo de
Carga.
● Cuando el cliente cargaba la página directamente en su navegador, éste solicitaba a
gloria.cdn.canarcloud.net la carga de los contenidos estáticos a través del proxy, el cual
suministraba un tiempo mínimo de cache de 3h.
Colaboradores Web
Se solicitó la colaboración de instituciones públicas o privadas, asociaciones, fundaciones, etc
para la ayuda en la difusión vía Internet del portal de entrada a la retransmisión
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
2
(live.gloria-project.eu) en un intento de evitar el colapso por confluencia masiva de peticiones.
Colaboradores Web Básicos
En este tipo de colaboración, la institución, organización, asociación, etc. une temporalmente
una máquina o conjunto de máquinas de su propiedad al cluster propuesto. Esta máquina (o
máquinas) que se agrupen, servirán el portal web con todos los contenidos de la retransmisión.
●
●
El Consorci de Serveis Universitaris de Catalunya [1 servidor web] → www.csuc.cat
TOTAL [1 servidor web]
Colaboradores Web Avanzados
Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 100 Mbps o más han colaborado
integrando dichas máquinas como nodos remotos del Cluster.
●
●
●
●
●
●
●
●
CanarCloud [1 cluster vSphere 5 + 2 nodos + 2 VPS] → www.canarcloud.es
Instituto de Astrofísica de Canarias [1 nodo vSphere 5 + 1 VPS] → www.iac.es
University of Warsaw (Polonia) [4 VPS] → www.uw.edu.pl
INAF IASF de Bologna [1 nodo vSphere 5 + 2 VPS] → www.inaf.it
University College Dublin, Irlanda [1 VPS] → www.ucd.ie
Centro Extremeño de Tecnologías Avanzadas [11 VPS] → www.ceta-ciemat.es
Czech Technical University (República Checa) [1 VPS] → www.cvut.cz
Astronomical Institute of the Academy of Sciences (República Checa) [4 VPS] →
www.asu.cas.cz
● Facultad de Ciencias y Matemáticas (Chile) [1 VPS] → ingenieria.uchile.cl
● TOTAL [26 VPS]
Sitios Web con player embebido
Además de los colaboradores anteriores, también nos encontramos con sitios web que
solicitaron la inclusión de un player en sus páginas web consumiendo nuestra señal de video
pero soportando de manera independiente visitas web.
●
Agencia SINC →
www.agenciasinc.es/Retransmisiones/Eclipse-total-de-luna-desde-el-valle-sagrado-d
e-los-incas
● Yahoo.es → www.yahoo.es
● Canarias 7 → www.canarias7.es/eclipseluna.cfm
● El Día → www.eldia.es
2.- Streaming de video.
La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basa en 2 instancias
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
3
Wowza encargadas de la obtención de los Streams generados en las 2 conexiones previstas y
su distribución tanto al canal de Youtube de Gloria como a los colaboradores con infraestructura
de streaming propia.
El funcionamiento de esta arquitectura fue el siguiente:
Generación de los Streams
● Conexión 1: Con una duración total de 40 minutos, 6:30 – 7:10 UT (8:30 a 9:10 CEST)
Observamos el amanecer desde Tenerife (la sombra del Teide) y el inicio de la
totalidad del eclipse desde Perú.
○ La señal definitiva se envió a la instancia lunar2014.canarcloud.tv para su
distribución a través del CDN.
● Conexión 2: Con una duración total de 15 minutos 8:20-8:35 UT (10:20 a 10:35 CEST)
para observar el final del eclipse total.
○ La señal definitiva se enviaró a la instancia lunar2014.canarcloud.tv para su
distribución a través del CDN.
● Adicionalmente: Desde el 15 de Abril a las 5:50 UT (7:50 CEST) a las 9:40 UT (11:40
CEST), cada minuto una imagen en directo de la Luna se mostró en la website (desde la
fase de parcialidad a la totalidad).
Directo a través del portal de la retransmisión
● Los clientes que accedían al portal de la retransmisión (live.gloria-project.eu)
encontraban un reproductor que obtenía las señales de cada uno de los canales
haciendo una petición a www.youtube.com/watch?v=aGT75EaLT0E.
Directo a través de colaboradores
● Los colaboradores con infraestructura propia de retransmisión de video obtenían la
señal directamente de una instancia reservada en el CDN y la redistribuían utilizando su
propia infraestructura de manera que aquellos clientes que lo deseaban podían
acceder al directo a través de los portales web de dichos colaboradores.
● Aquellos colaboradores que no disponían de infraestructura propia de retransmisión de
video o que, por cuestiones técnicas no puedan conectar dicha infraestructura a la
nuestra podían obtener la señal directamente del canal de Youtube
www.youtube.com/watch?v=aGT75EaLT0E
Colaboradores de Video
Colaboradores Wowza
Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 1 Gbps han colaborado
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
4
integrando dichas máquinas como nodos remotos del Cluster y permitiendo el despliegue de
instancias Wowza 3.6.2 sumándose a las desplegadas por CanarCloud.
●
CanarCloud [CDN compuesto por instancias m1.large Wowza Amazon EC2] →
www.canarcloud.es
Televisiones y Repetidores
Colaboradores con infraestructura de Live-Stream propia han redistribuido nuestra señal a
través de sus portales web o televisiones.
●
●
●
●
Canal Youtube GLORIA → www.youtube.com/watch?v=aGT75EaLT0E
CanarCloud Blog → www.canarcloud.tv/blog/2014/04/12/eclipse-lunar-2014
Sky-Live.TV → www.sky-live.tv
La Vanguardia → www.lavanguardia.com
ESTADÍSTICAS
1.- Portal Web retransmisión
Para la obtención de estadísticas de visitas del portal web de la retransmisión
(live.gloria-project.eu) se habilitó el servicio de recolección de estadísticas Google Analytics
para datos globales del portal y el recolector Awstat a nivel local para analizar la contribución
individual de cada colaborador.
El periodo analizado comprende las visitas entre los días 14 (0h UT) y 16 (0h UT) de Abril del
2014.
Google Analytics
Según este servicio podemos observar que en el periodo analizado hemos obtenido 146.840
visitas y 215.033 páginas vistas, con un máximo de 25.690 visitas y 46.180 página vistas en el
momento de máxima ocultación, tal y como podemos observar en la siguiente gráfica.
Top 10
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
5
País de Origen
Navegador
Sistema Operativo
México
21,27%
Chrome
53,68%
Windows
54,81%
Perú
13,26%
Safari
11,02%
Android
24,67%
España
12,09%
Android
10,90%
iOS
13,11%
Colombia
10,07%
Firefox
10,85%
Macintosh
3,29%
Chile
8,71%
InternetExplorer
6,38%
Linux
1,22%
Argentina
5,76%
Safari (in-app)
2,92%
BlackBerry
1,02%
United States
5,53%
Opera Mini
1,43%
WindowsPhone
0,91%
Venezuela
4,16%
Opera
1,09%
(not set)
0,40%
Polonia
2,82%
BlackBerry
0,88%
Series40
0,28%
Ecuador
2,33%
S40 Ovi Browser
0,28%
SymbiamOS
0,09%
Awstat
Según la herramienta de recolección de estadísticas locales Awstat instalada en la mayoría de
las instancias de los colaboradores web, podemos ver la contribución de cada uno de los
colaboradores al porcentaje total de visitas, páginas y tráfico transmitido.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
6
Totalizando los datos obtenidos de aquellos colaboradores con Awstat instalado, observamos
que globalmente el portal live.gloria-project.eu ha recibido 171.850 visitas y 456.157 páginas
vistas, suministrando 25,82 GBytes de datos.
Proxy estático gloria.cdn.canarcloud.net
Analizando los datos suministrador por el proxy estático desplegado observamos que se han
producido 3.105.866 peticiones equivalentes a un tráfico de 16,20 GBytes de datos con un %
de acierto del 91,59% lo que supone un ahorro en transferencia de datos suministrado por los
colaboradores web cercano al 38,46% y el correspondiente incremento de rendimiento.
Sitios Web con player embebido (propio o cedido)
Si analizamos los datos suministrados por aquellos colaboradores que han publicitado el
acontecimiento en sus propias páginas web utilizando, tanto nuestro player como su propia
infraestructura nos encontramos con la siguiente información:
CanarCloud Blog ((www.canarcloud.tv/blog/2014/04/12/eclipse-lunar-2014/)
A través del Blog de CanarCloud se obtuvieron 599 visitas y 1.650 páginas vistas.
Sky-Live.TV (www.sky-live.tv)
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
7
A través del portal Sky-Live.TV se obtuvieron 30.597 visitas y 52.286 páginas vistas.
Agencia SINC
(www.agenciasinc.es/Retransmisiones/Eclipse-total-de-Luna-desde-el-valle-sagrado-de-los-i
ncas)
A través del portal de la Agencia SINC se obtuvieron de manera estimativa unas 3.253 visitas y
3922 páginas vistas.
Canarias 7 (www.canarias7.es/eclipseluna.cfm)
A través del portal de Canarias 7 se obtuvieron 5.304 visitas y 6.222 páginas vistas.
Yahoo
(es.noticias.yahoo.com/blogs/astronomia-terricolas/eclipses-sangre-y-d%C3%ADas-sin-grave
dad-los-hoax-121740703.html)
A través del portal de Yahoo se obtuvieron 1.800 visitas y 2.200 páginas vistas.
2.- Streaming de video.
Podemos observar durante las 2 conexiones que un total de 18.849 visitantes se conectaron al
directo, de los cuales 5.626 visitantes observaron de forma simultánea la retransmisión.
Televisiones y Repetidores
CanarCloud Blog (www.canarcloud.tv/blog/2014/04/12/eclipse-lunar-2014/ )
Podemos observar durante las 2 conexiones que un total de 65 visitantes se conectaron al
directo, de los cuales 19 visitantes observaron de forma simultánea la retransmisión.
La Vanguardia
(www.lavanguardia.com/ciencia/20140411/54405715284/primera-luna-sangre-semana-sant
a.html)
Podemos observar durante las 2 conexiones que un total de 2.290 visitantes se conectaron al
directo.
Yahoo
(es.noticias.yahoo.com/blogs/astronomia-terricolas/eclipses-sangre-y-d%C3%ADas-sin-grave
dad-los-hoax-121740703.html)
Podemos observar durante las 2 conexiones que un total de 1.810 visitantes se conectaron al
directo.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
8
TOTALES y COMPARATIVA.
Figura: Comparación de espectadores y visitas a la web de la retransmisión en varios eventos, TSE­2010 (Eclipse Total de Sol, 11 de Julio del 2010, Isla de Pascua), TLE­2010 (Eclipse total de Luna, 20 de Diciembre del 2010, Teide), TLE­2011 (Eclipse Total de Luna, 15 de Junio del 2011, Teide), NL­2011 (Auroras boreales, en Agosto del 2011, Groenlandia), VT­2012 (Tránsito de Venus, 6 de Junio del 2012, Australia / Japón/ Noruega), NL­2012 (Auroras boreales, en Agosto del 2012, Groenlandia), TSE­2012 (Eclipse Total de Sol, 13 de Noviembre del 2012, Australia), NL­2013 (Auroras boreales, en Agosto del 2013, Groenlandia), TSE­2013 (Eclipse Total de Sol, Noviembre de 2013, Kenia), TLE­2014 (Eclipse total de Luna, Abril 2014, Perú).
INCIDENCIAS.
1.- Portal gloria-project.eu
Como podemos observar en la siguiente gráfica recopilada por la aplicación AWSTAT el portal
web gloria-project.eu sufrió un incremento de visitantes por encima de lo esperado por lo que
sufrió un colapso al alcanzar el 100,00 % de la capacidad de RAM+SWAP contratada.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
9
En términos porcentuales respecto a los 1000 visitantes diarios de media, el día 15 de Abril se
produjo un incremento de visitantes superior al 4000,00 %, dando lugar a un incremento de
tráfico superior al 2500,00 %.
Actualmente el portal gloria-project.eu se encuentra compartiendo recursos en un servidor VPS
con 5GB de RAM y 6GB de SWAP con 2 instancias de Tomcat destinadas a soportar el liveray y
el nuevo portal de users.gloria-project.eu. Debido a que el Tomcat, por su diseño, requiere de
un Heap de RAM reservada para su gestión es necesario reservar 3GB de RAM para ambas
instancias, lo que nos deja menos de 2GB de RAM disponibles (descontando el consumo del
sistema) para atender las demandas de acceso del Wordpress asociado a gloria-project.eu, lo
que, según recomendaciones de Wordpress y nuestra propia experiencia nos da un límite de
visitantes cercano a los 10000.
RECOMENDACIONES.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
10
Con el fin de evitar colapsos futuros recomendamos las siguientes medidas:
●
Contratar más recursos y, a ser posible, aislar en diferentes VPS el portal
gloria-project.eu y las instancias Tomcat para poder aplicar criterios de optimización
individualizados a cada VPS.
● Optimizar la configuración del Wordpress a través de herramientas de cache y Lazy
Load para reducir al máximo la carga que genera cada visita al portal.
● Optimizar el tamaño de todos los JS + CSS de terceros descartando contenidos
innecesarios, tal y como se hizo con el desarrollo del portal live.gloria-project.eu.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE LUNA 2014
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
11