informe de la retransmisión de eclipse total 2012 - Sky

Transcripción

INFORME DE LA RETRANSMISIÓN DE
ECLIPSE TOTAL 2012
CRÉDITOS
El Séptimo Programa Marco de la Unión Europea (EU, FP7/2007-2013,
INFRASTRUCTURES-2011-2, INFRA-2011-1.2.1: e-Science environments) ha promovido la
retransmisión bajo el proyecto GLORIA – GLObal Robotic telescopes Intelligent Array for
e-sciencie” (Grant Agreement –Number 283783).
INFRAESTRUCTURA
1.- Portal Web retransmisión.
La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster
VMware vSphere 5 (www.canarcloud.es/vmware/) basado en arquitectura Intel Nehalem
interconectado a un sistema de almacenamiento RAID centralizado capaz de soportar la carga
de los varios miles de peticiones contra el portal de la retransmisión junto con un balanceador
de DNS, el cual interconectó todas las instancias web, tanto físicas como virtuales de todos los
colaboradores, garantizando un reparto de carga equitativo de todas las visitas al portal web
entre todas las instancias.
INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012
Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
1
El funcionamiento de esta arquitectura es el siguiente:
● Los clientes hacen la petición al portal web de la retransmisión que debe estar
diseñado para que su tamaño (en bytes) sea el mínimo posible.
● Un sistema de Balanceo de Carga decide cual de todos los servidores que forman ese
cluster atenderá cada petición que llega en función de la política implementada.
● El cliente es atendido por el servidor seleccionado por el sistema de Balanceo de
Carga.
Colaboradores Web
Se solicita la colaboración de instituciones públicas o privadas, asociaciones, fundaciones, etc
para la ayuda en la difusión vía Internet del portal de entrada a la retransmisión
(live.gloria-project.eu) en un intento de evitar el colapso por confluencia masiva de peticiones.
Colaboradores Web Básicos
En este tipo de colaboración, la institución, organización, asociación, etc. une temporalmente
una máquina o conjunto de máquinas de su propiedad al cluster propuesto. Esta máquina (o
máquinas) que se agrupen, servirán el portal web con todos los contenidos de la retransmisión.
● Gloria Project [1 servidor web] www.gloria-project.eu
● El Centre de Serveis científics i acadèmics de Catalunya [1 servidor web]
www.cesca.cat
● University College Dublin de Irlanda [1 servidor web] www.ucd.ie
2
● Universidad de Chile [1 servidor web] www.uchile.cl
● TOTAL [4 servidores web]
Colaboradores Web Avanzados
Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 100 Mbps o más han colaborado
integrando dichas máquinas como nodos remotos del Cluster.
●
●
●
●
●
CanarCloud [1 cluster vSphere 5 + 2 nodos + 4 VPS] www.canarcloud.es
INAF IASF de Bolonia [1 nodo vSphere 5 + 1 VPS] www.iasfbo.inaf.it
La Universidad de Warsaw [1 nodo VirtualBox + 4 VPS] www.uw.edu.pl
Astronomical Institute of Academy of Sciences [1 nodo vSphere 5 + 2 VPS]
TOTAL [11 VPS]
Sitios Web con player embebido
Además de los colaboradores anteriores, también nos encontramos con sitios web que han
solicitado la inclusión de un player en sus páginas web consumiendo nuestra señal de video
pero soportando de manera independiente visitas web.
●
●
●
●
●
●
●
Agencia SINC www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol
Canarias 7 www.canarias7.es/eclipsesol.cfm
El País www.elpais.es
TVN Meteo www.tvnmeteo.pl
Focus www.focus.it
Yahoo es.noticias.yahoo.com/sigue-en-directo-el-eclipse-total-de-sol-13112012.html
Público www.publico.es/ciencias/445302/en-directo-eclipse-total-de-sol-2012
2.- Streaming de video.
La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster de
instancias Wowza 3.1.2. sobre Amazon Elastic Compute Cloud (Amazon EC2) en una
configuración de 100 repetidores junto con un balanceador de DNS, el cual interconectaba
todas las instancias repetidoras para soportar un máximo de 60.000 visitas simultáneas,
garantizando un reparto de carga equitativo de todas las visitas entre todas las instancias.
3
El funcionamiento de esta arquitectura fue el siguiente:
Generación de los Streams
● CH1 – Mareeba, Australia (13 Noviembre) – Vídeo del Sol desde las tres localizaciones
comentado en castellano e ingles por Astrónomos (20:30-20:45 UT, 21:30-21:45 CET)
○ El realizador de la retransmisión, situado en Mareeba, obtuvo cada una de las
fuentes de imágenes locales y remotas, y generó la señal definitiva en el
formato audio/video H.264 encapsulado en RTMP con las siguiente
característica
■ Frame rate: 15fps.
■ Resolución: 320x240
■ Bitrate max. vídeo: 400kbps.
■ Formato audio: MP3
■ Canal: Stereo
■ Sample rate: 22050Hz
■ Bitrate audio: 64Kbps.
○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv para su
distribución a través del CDN.
● CH2 – Outback, Australia (13 Noviembre) – Vídeo del Sol sin audio desde el desierto de
Outback (20:30-20:45 UT, 21:30-21:45 CET)
4
○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv la cual se
redistribuyó, por un lado a cada una de las instancias a través del cluster y por
otro lado a los colaboradores de video.
Directo a través del portal de la retransmisión
● Los clientes que accedían al portal de la retransmisión (live.gloria-project.eu)
encontraban un reproductor que obtenía las señales de cada uno de los canales
haciendo una petición a eclipse2012.gloria-project.eu.
● Los clientes que lo deseaban y que disponían de un reproductor compatible podían
conectarse directamente a la dirección eclipse2012.gloria-project.eu.
● Un sistema de Balanceo de Carga decidía cuál de todas las instancias que formaban el
cluster atendía cada petición de acceso al directo que llegaba a
eclipse2012.gloria-project.eu en función de la política implementada.
● El cliente era atendido por la instancia repetidora seleccionada por el sistema de
Balanceo de Carga.
Directo a través de colaboradores
● Los colaboradores con infraestructura propia de retransmisión de video obtenían la
señal directamente de la instancia reservada del cluster eclipse2012.gloria-project.eu
y la redistribuían utilizando su propia infraestructura de manera que aquellos clientes
que lo deseaban podían acceder al directo a través de los portales web de dichos
colaboradores.
● Aquellos colaboradores que no disponían de infraestructura propia de retransmisión de
video o que, por cuestiones técnicas no podían conectar dicha infraestructura a la
nuestra pudieron solicitar el uso directo de nuestra propia infraestructura,
reservándoles un % de la misma en función de las expectativas de visitantes.
Colaboradores de Video
Colaboradores Wowza
Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB
de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 1 Gbps han colaborado
integrando dichas máquinas como nodos remotos del Cluster y permitiendo el despliegue de
instancias Wowza 3.1.2 sumándose a las desplegadas por CanarCloud.
● CanarCloud [2 instancias m1.small + 100 instancias m1.large Wowza Amazon EC2]
www.canarcloud.es
Televisiones y Repetidores
Colaboradores con infraestructura de Live-Stream propia han redistribuido nuestra señal a
través de sus portales web o televisiones.
● Sky-Live.TV www.sky-live.tv
● CanarCloud Blog
5
www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/
● La Vanguardia
http://www.lavanguardia.com/ciencia/20121112/54355015086/eclipse-solar-total-a
ustralia-directo.html
● Terra www.terra.es
ESTADÍSTICAS
1.- Portal Web retransmisión
Para la obtención de estadísticas de visitas del portal web de la retransmisión
(live.gloria-project.eu) se habilitó el servicio de recolección de estadísticas Google Analytics
para datos globales del portal y el recolector Awstat a nivel local para analizar la contribución
individual de cada colaborador.
El periodo analizado comprende las visitas entre los días 13 (0h UT) y 15 (0h UT) de Noviembre
del 2012.
Google Analytics
Según este servicio podemos observar que en el periodo analizado hemos obtenido 186.298
visitas y 249.994 páginas vistas, con un máximo de 33.946 visitas y 54.554 páginas vistas en
el momento de la retransmisión, tal y como podemos observar en la siguiente gráfica.
Top 10
País de Origen
Argentina
Spain
Poland
Chile
Mexico
Italy
Ecuador
Colombia
Russia
United States
41,26%
14,29%
11,40%
6,73%
4,28%
3,00%
2,53%
1,80%
1,77%
1,54%
Navegador
Chrome
Firefox
Internet Explorer
Safari
Android Browser
Opera
Safari (in-app).
48,35
%
23,48
%
14,79
%
5,68%
3,29%
2,34%
1,30%
Sistema Operativo
Windows
iOS
Macintosh
Android
Linux
BlackBerry
(not set)
SymbianOS
Windows Phone
85,21
%
4,11%
4,02%
3,88%
1,73%
0,48%
0,27%
0,16%
0,08%
6
Opera Mini
IE with Chrome F
Mozilla Compat.
0,35%
0,16%
0,08%
Nokia
0,04%
Awstat
Según la herramienta de recolección de estadísticas locales Awstat instalada en la mayoría de
las instancias de los colaboradores web, podemos ver la contribución de cada uno de los
colaboradores al porcentaje total de visitas, páginas y tráfico transmitido.
Totalizando los datos obtenidos de aquellos colaboradores con Awstat instalado, observamos
que globalmente el portal live.gloria-project.eu ha recibido 315.726 visitas y 14.327.403
páginas vistas, suministrando 95,469 GBytes de datos.
Sitios Web con player embebido (propio o cedido)
Si analizamos los datos suministrados por aquellos colaboradores que han publicitado el
acontecimiento en sus propias páginas web utilizando, tanto nuestro player como su propia
infraestructura nos encontramos con la siguiente información:
Sky-Live.TV (www.sky-live.tv)
A través del portal de Sky-Live.TV se obtuvieron 62.940 visitas y 2.064.732 páginas vistas,
con un máximo de 4.407 visitas y 6.903 páginas vistas en el momento de la retransmisión,
suministrando 79,061 GBytes de datos.
7
CanarCloud
Blog
(www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/)
A través del Blog de CanarCloud se obtuvieron 1.295 visitas y 2.765 páginas vistas, con un
máximo de 442 visitas y 537 páginas vistas en el momento de la retransmisión, suministrando
0,392 GBytes de datos.
Agencia SINC (www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol)
A través del portal de la Agencia SINC se obtuvieron 6.824 visitas y 8.933 páginas vistas.
Canarias 7 (www.canarias7.es/eclipsesol.cfm)
A través del portal de Canarias 7 se obtuvieron 2.994 visitas y 3.284 páginas vistas, con un
máximo de 1.718 visitas y 2.298 páginas vistas en el momento de la retransmisión.
Terra
A través del portal de Terra se obtuvieron 50.000 visitas.
TVN Meteo
A través del portal de TVN Meteo se obtuvieron 100.000 visitas.
Focus
A través del portal de Focus se obtuvieron 100.000 visitas.
Yahoo
A través del portal de Yahoo se obtuvieron 50.000 visitas.
Los valores en negrita son estimaciones.
Para la obtención de las estadísticas del directo, CanarCloud ha desarrollado un servicio de
recolección REST encargado de monitorizar a intervalos de 2 minutos todas y cada una de las
instancias Wowza.
8
Según este servicio, podemos observar que un total de 175.520 visitantes se conectaron al
directo, de los cuales 5.067 visitantes observaron de forma simultánea la retransmisión,
alcanzando un máximo total de ancho de banda de 2003,82 MBps y un tráfico de datos
transferido de 128,15 GB.
Televisiones y Repetidores
Analizando los datos de aquellos colaboradores con infraestructura de Live-Stream propia que
han redistribuido nuestra señal a través de sus portales web o televisiones obtenemos los
siguientes resultados:
9
Sky-Live.TV (www.sky-live.tv)
A través de la infraestructura de Sky-Live.TV podemos observar que un total de 19.428
visitantes se conectaron al directo, de los cuales 411 visitantes observaron de forma
simultanea la retransmisión.
CanarCloud
Blog
(www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/)
A través de la infraestructura de CanarCloud podemos observar que un total de 2.468
visitantes se conectaron al directo, de los cuales y 104 visitantes observaron de forma
simultanea la retransmisión.
Si desglosamos los datos obtenidos, tanto de los colaboradores con infraestructura propia
como de aquellos que solicitaron un % de nuestro CDN para distribuir nuestras señales, en
función de la fuente desde la que se consumieron las señales durante la retransmisión
obtenemos los siguientes datos:
Retransmisión 13 Noviembre (20:30-20:45 UT)
10
TOTALES y COMPARATIVA
Evento Web
Video
Visitas
689.779
175520
Máximo
54554
5.067
Figura 1.- Comparativa de visitas y espectadores al portal web de la retransmisión en los distintos eventos,
TSE-2010 (Eclipse Total de Sol, 11 julio 2010, Isla de Pascua), TLE-2010 (Eclipse Total de Luna, 20 diciembre
2010, Teide), TLE-2011 (Eclipse Total de Luna, 15 junio 2011, Teide), NL-2011 (Auroras Boreales, agosto 2011,
Groenlandia), VT-2012 (Tránsito de Venus, 6 junio 2012, Australia/Japón/Noruega), NL-2012 (Auroras Boreales,
agosto 2012, Groenlandia), TSE-2012 (Eclipse Total de Sol, 13 noviembre 2012, Australia).
11
INCIDENCIAS
1.- Portal Web retransmisión
Debido a elevado nº de conexiones simultaneas recibidas en el portal web desde el comienzo
del eclipse (19:44 UT) y a que en el portal web se incluyen imágenes del eclipse con una
frecuencia de refresco de 1 min, configuradas utilizando técnicas antiproxy para evitar el
cacheo de las mismas, se produce un colapso de la infraestructura de servidores web formada
por 15 instancias web dando lugar a que en el momento del directo (20:30 UT) un elevado nº
de visitantes no puedan cargar la página del eclipse live.gloria-project.eu con lo que no pueden
acceder al player para ver la retransmisión.
El colapso de determinadas instancias web por sobrecarga en el nº de peticiones por segundo
cercanas al centenar así como por una elevada tasa de transferencia próxima a los 10 mbps por
segundo da lugar a que se caiga el servidor apache, provocando, no solo que no se pueda
acceder al portal web sino que se resetee la configuración provocando que se muestre en
algunas ocasiones la página por defecto del servidor apache en lugar de la correspondiente al
portal.
Tomando como referencia una de las instancias VMware vSphere suministrada por CanarCloud
y comparando los datos de rendimiento interno recolectados por la herramienta Munin junto
con los datos de rendimiento externo recolectados por los agentes de monitorización de
vSphere obtenemos los siguientes resultados:
Información suministrada por Munin
12
13
Información suministrada por VMware vSphere
Tasa de Transferencia
% de CPU consumido
RAM consumida
14
Analizando esta información podemos concluir que, siguiendo una configuración más agresiva
de los servidores apache para soportar un mayor nº de visitas por segundo con el
correspondiente aumento de consumo de CPU y RAM, y aumentando las previsiones de ancho
de banda por encima de los 10 mbps por instancia nos encontraríamos en mejor situación para
atender picos de afluencia como el del eclipse, sin embargo, no podemos garantizar que estas
configuraciones se realizan correctamente debido a que, salvo en el caso de aquellos
colaboradores que instalan sus servidores a partir de las plantillas pre configuradas
suministradas por CanarCloud, el resto prepara sus máquinas libremente en base a nuestras
recomendaciones pero sin nuestra supervisión.
Por otro lado, sería recomendable contar con un mínimo de unas 20 instancias y una buena
conectividad para atender una demanda como la obtenida y en esta ocasión solo se contó con
15.
Con el fin de obtener de manera individualizada, datos estadísticos del nº de clicks producidos
en los player de los colaboradores que utilizaron un % de nuestro CDN, se reservo un máximo
de 1200 visitas simultaneas para cada uno de estos colaboradores basadas en la información
suministrada y en experiencias pasadas.
Debido a que, no todos los colaboradores nos suministraron las expectativas de visitas o a que
colaboradores con infraestructura propia se conectaron directamente a nuestro CDN no
encontramos con las siguientes incidencias:
TVN Meteo
Se superaron las 1200 visitas simultáneas previstas por lo que se llegaron a rechazar cerca de
8000 intentos de conexión.
Focus
No se obtiene ninguna visita, no pudiendo saber si se debe a un error de configuración o a
15
cualquier otro problema. Por otro lado, al no haber asistido a las pruebas de conectividad
realizadas el 12 de Noviembre se desconoce si, finalmente participaron o no como
colaboradores.
Analizando esta información consideramos que resulta crucial disponer de una buena
comunicación técnica con el personal correspondiente de cada colaborador con la suficiente
antelación (al menos 1 semana antes) para, por un lado conocer de qué manera se accederá a
nuestra señal, y por otro lado, las expectativas de visitas en base a eventos similares.
16

informe de la retransmisión de eclipse total 2012 - Sky

Transcripción

Documentos relacionados

informe de la retransmisión de eclipse solar 2013 - Sky

informe de la retransmisión de eclipse lunar 2014 - Sky

informe de la retransmisión del tránsito de venus 2012 - Sky

informe de la retransmisión de auroras boreales 2013 - Sky