informe de la retransmisión de eclipse total 2012 - Sky
Transcripción
INFORME DE LA RETRANSMISIÓN DE ECLIPSE TOTAL 2012 CRÉDITOS El Séptimo Programa Marco de la Unión Europea (EU, FP7/2007-2013, INFRASTRUCTURES-2011-2, INFRA-2011-1.2.1: e-Science environments) ha promovido la retransmisión bajo el proyecto GLORIA – GLObal Robotic telescopes Intelligent Array for e-sciencie” (Grant Agreement –Number 283783). INFRAESTRUCTURA 1.- Portal Web retransmisión. La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster VMware vSphere 5 (www.canarcloud.es/vmware/) basado en arquitectura Intel Nehalem interconectado a un sistema de almacenamiento RAID centralizado capaz de soportar la carga de los varios miles de peticiones contra el portal de la retransmisión junto con un balanceador de DNS, el cual interconectó todas las instancias web, tanto físicas como virtuales de todos los colaboradores, garantizando un reparto de carga equitativo de todas las visitas al portal web entre todas las instancias. INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 1 El funcionamiento de esta arquitectura es el siguiente: ● Los clientes hacen la petición al portal web de la retransmisión que debe estar diseñado para que su tamaño (en bytes) sea el mínimo posible. ● Un sistema de Balanceo de Carga decide cual de todos los servidores que forman ese cluster atenderá cada petición que llega en función de la política implementada. ● El cliente es atendido por el servidor seleccionado por el sistema de Balanceo de Carga. Colaboradores Web Se solicita la colaboración de instituciones públicas o privadas, asociaciones, fundaciones, etc para la ayuda en la difusión vía Internet del portal de entrada a la retransmisión (live.gloria-project.eu) en un intento de evitar el colapso por confluencia masiva de peticiones. Colaboradores Web Básicos En este tipo de colaboración, la institución, organización, asociación, etc. une temporalmente una máquina o conjunto de máquinas de su propiedad al cluster propuesto. Esta máquina (o máquinas) que se agrupen, servirán el portal web con todos los contenidos de la retransmisión. ● Gloria Project [1 servidor web] www.gloria-project.eu ● El Centre de Serveis científics i acadèmics de Catalunya [1 servidor web] www.cesca.cat ● University College Dublin de Irlanda [1 servidor web] www.ucd.ie INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 2 ● Universidad de Chile [1 servidor web] www.uchile.cl ● TOTAL [4 servidores web] Colaboradores Web Avanzados Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 100 Mbps o más han colaborado integrando dichas máquinas como nodos remotos del Cluster. ● ● ● ● ● CanarCloud [1 cluster vSphere 5 + 2 nodos + 4 VPS] www.canarcloud.es INAF IASF de Bolonia [1 nodo vSphere 5 + 1 VPS] www.iasfbo.inaf.it La Universidad de Warsaw [1 nodo VirtualBox + 4 VPS] www.uw.edu.pl Astronomical Institute of Academy of Sciences [1 nodo vSphere 5 + 2 VPS] TOTAL [11 VPS] Sitios Web con player embebido Además de los colaboradores anteriores, también nos encontramos con sitios web que han solicitado la inclusión de un player en sus páginas web consumiendo nuestra señal de video pero soportando de manera independiente visitas web. ● ● ● ● ● ● ● Agencia SINC www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol Canarias 7 www.canarias7.es/eclipsesol.cfm El País www.elpais.es TVN Meteo www.tvnmeteo.pl Focus www.focus.it Yahoo es.noticias.yahoo.com/sigue-en-directo-el-eclipse-total-de-sol-13112012.html Público www.publico.es/ciencias/445302/en-directo-eclipse-total-de-sol-2012 2.- Streaming de video. La infraestructura desplegada por CanarCloud (www.canarcloud.es) se basaba en un Cluster de instancias Wowza 3.1.2. sobre Amazon Elastic Compute Cloud (Amazon EC2) en una configuración de 100 repetidores junto con un balanceador de DNS, el cual interconectaba todas las instancias repetidoras para soportar un máximo de 60.000 visitas simultáneas, garantizando un reparto de carga equitativo de todas las visitas entre todas las instancias. INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 3 El funcionamiento de esta arquitectura fue el siguiente: Generación de los Streams ● CH1 – Mareeba, Australia (13 Noviembre) – Vídeo del Sol desde las tres localizaciones comentado en castellano e ingles por Astrónomos (20:30-20:45 UT, 21:30-21:45 CET) ○ El realizador de la retransmisión, situado en Mareeba, obtuvo cada una de las fuentes de imágenes locales y remotas, y generó la señal definitiva en el formato audio/video H.264 encapsulado en RTMP con las siguiente característica ■ Frame rate: 15fps. ■ Resolución: 320x240 ■ Bitrate max. vídeo: 400kbps. ■ Formato audio: MP3 ■ Canal: Stereo ■ Sample rate: 22050Hz ■ Bitrate audio: 64Kbps. ○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv para su distribución a través del CDN. ● CH2 – Outback, Australia (13 Noviembre) – Vídeo del Sol sin audio desde el desierto de Outback (20:30-20:45 UT, 21:30-21:45 CET) INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 4 ○ La señal definitiva se envió a la instancia eclipse2012.canarcloud.tv la cual se redistribuyó, por un lado a cada una de las instancias a través del cluster y por otro lado a los colaboradores de video. Directo a través del portal de la retransmisión ● Los clientes que accedían al portal de la retransmisión (live.gloria-project.eu) encontraban un reproductor que obtenía las señales de cada uno de los canales haciendo una petición a eclipse2012.gloria-project.eu. ● Los clientes que lo deseaban y que disponían de un reproductor compatible podían conectarse directamente a la dirección eclipse2012.gloria-project.eu. ● Un sistema de Balanceo de Carga decidía cuál de todas las instancias que formaban el cluster atendía cada petición de acceso al directo que llegaba a eclipse2012.gloria-project.eu en función de la política implementada. ● El cliente era atendido por la instancia repetidora seleccionada por el sistema de Balanceo de Carga. Directo a través de colaboradores ● Los colaboradores con infraestructura propia de retransmisión de video obtenían la señal directamente de la instancia reservada del cluster eclipse2012.gloria-project.eu y la redistribuían utilizando su propia infraestructura de manera que aquellos clientes que lo deseaban podían acceder al directo a través de los portales web de dichos colaboradores. ● Aquellos colaboradores que no disponían de infraestructura propia de retransmisión de video o que, por cuestiones técnicas no podían conectar dicha infraestructura a la nuestra pudieron solicitar el uso directo de nuestra propia infraestructura, reservándoles un % de la misma en función de las expectativas de visitantes. Colaboradores de Video Colaboradores Wowza Colaboradores con una o más máquinas compatibles con VMware vSphere 5 con más de 4 GB de RAM, más de 4 cores, 3 o más IPs y un ancho de banda de 1 Gbps han colaborado integrando dichas máquinas como nodos remotos del Cluster y permitiendo el despliegue de instancias Wowza 3.1.2 sumándose a las desplegadas por CanarCloud. ● CanarCloud [2 instancias m1.small + 100 instancias m1.large Wowza Amazon EC2] www.canarcloud.es Televisiones y Repetidores Colaboradores con infraestructura de Live-Stream propia han redistribuido nuestra señal a través de sus portales web o televisiones. ● Sky-Live.TV www.sky-live.tv ● CanarCloud Blog INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 5 www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/ ● La Vanguardia http://www.lavanguardia.com/ciencia/20121112/54355015086/eclipse-solar-total-a ustralia-directo.html ● Terra www.terra.es ESTADÍSTICAS 1.- Portal Web retransmisión Para la obtención de estadísticas de visitas del portal web de la retransmisión (live.gloria-project.eu) se habilitó el servicio de recolección de estadísticas Google Analytics para datos globales del portal y el recolector Awstat a nivel local para analizar la contribución individual de cada colaborador. El periodo analizado comprende las visitas entre los días 13 (0h UT) y 15 (0h UT) de Noviembre del 2012. Google Analytics Según este servicio podemos observar que en el periodo analizado hemos obtenido 186.298 visitas y 249.994 páginas vistas, con un máximo de 33.946 visitas y 54.554 páginas vistas en el momento de la retransmisión, tal y como podemos observar en la siguiente gráfica. Top 10 País de Origen Argentina Spain Poland Chile Mexico Italy Ecuador Colombia Russia United States 41,26% 14,29% 11,40% 6,73% 4,28% 3,00% 2,53% 1,80% 1,77% 1,54% Navegador Chrome Firefox Internet Explorer Safari Android Browser Opera Safari (in-app). 48,35 % 23,48 % 14,79 % 5,68% 3,29% 2,34% 1,30% Sistema Operativo Windows iOS Macintosh Android Linux BlackBerry (not set) SymbianOS Windows Phone 85,21 % 4,11% 4,02% 3,88% 1,73% 0,48% 0,27% 0,16% 0,08% INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 6 Opera Mini IE with Chrome F Mozilla Compat. 0,35% 0,16% 0,08% Nokia 0,04% Awstat Según la herramienta de recolección de estadísticas locales Awstat instalada en la mayoría de las instancias de los colaboradores web, podemos ver la contribución de cada uno de los colaboradores al porcentaje total de visitas, páginas y tráfico transmitido. Totalizando los datos obtenidos de aquellos colaboradores con Awstat instalado, observamos que globalmente el portal live.gloria-project.eu ha recibido 315.726 visitas y 14.327.403 páginas vistas, suministrando 95,469 GBytes de datos. Sitios Web con player embebido (propio o cedido) Si analizamos los datos suministrados por aquellos colaboradores que han publicitado el acontecimiento en sus propias páginas web utilizando, tanto nuestro player como su propia infraestructura nos encontramos con la siguiente información: Sky-Live.TV (www.sky-live.tv) A través del portal de Sky-Live.TV se obtuvieron 62.940 visitas y 2.064.732 páginas vistas, con un máximo de 4.407 visitas y 6.903 páginas vistas en el momento de la retransmisión, suministrando 79,061 GBytes de datos. INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 7 CanarCloud Blog (www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/) A través del Blog de CanarCloud se obtuvieron 1.295 visitas y 2.765 páginas vistas, con un máximo de 442 visitas y 537 páginas vistas en el momento de la retransmisión, suministrando 0,392 GBytes de datos. Agencia SINC (www.agenciasinc.es/Retransmisiones/EN-DIRECTO-Eclipse-total-de-Sol) A través del portal de la Agencia SINC se obtuvieron 6.824 visitas y 8.933 páginas vistas. Canarias 7 (www.canarias7.es/eclipsesol.cfm) A través del portal de Canarias 7 se obtuvieron 2.994 visitas y 3.284 páginas vistas, con un máximo de 1.718 visitas y 2.298 páginas vistas en el momento de la retransmisión. Terra A través del portal de Terra se obtuvieron 50.000 visitas. TVN Meteo A través del portal de TVN Meteo se obtuvieron 100.000 visitas. Focus A través del portal de Focus se obtuvieron 100.000 visitas. Yahoo A través del portal de Yahoo se obtuvieron 50.000 visitas. Los valores en negrita son estimaciones. 2.- Streaming de video. Para la obtención de las estadísticas del directo, CanarCloud ha desarrollado un servicio de recolección REST encargado de monitorizar a intervalos de 2 minutos todas y cada una de las instancias Wowza. INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 8 Según este servicio, podemos observar que un total de 175.520 visitantes se conectaron al directo, de los cuales 5.067 visitantes observaron de forma simultánea la retransmisión, alcanzando un máximo total de ancho de banda de 2003,82 MBps y un tráfico de datos transferido de 128,15 GB. Televisiones y Repetidores Analizando los datos de aquellos colaboradores con infraestructura de Live-Stream propia que han redistribuido nuestra señal a través de sus portales web o televisiones obtenemos los siguientes resultados: INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 9 Sky-Live.TV (www.sky-live.tv) A través de la infraestructura de Sky-Live.TV podemos observar que un total de 19.428 visitantes se conectaron al directo, de los cuales 411 visitantes observaron de forma simultanea la retransmisión. CanarCloud Blog (www.canarcloud.tv/blog/2012/11/08/eclipse-solar-en-directo-en-la-web/) A través de la infraestructura de CanarCloud podemos observar que un total de 2.468 visitantes se conectaron al directo, de los cuales y 104 visitantes observaron de forma simultanea la retransmisión. Si desglosamos los datos obtenidos, tanto de los colaboradores con infraestructura propia como de aquellos que solicitaron un % de nuestro CDN para distribuir nuestras señales, en función de la fuente desde la que se consumieron las señales durante la retransmisión obtenemos los siguientes datos: Retransmisión 13 Noviembre (20:30-20:45 UT) INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 10 TOTALES y COMPARATIVA Evento Web Video Visitas 689.779 175520 Máximo 54554 5.067 Figura 1.- Comparativa de visitas y espectadores al portal web de la retransmisión en los distintos eventos, TSE-2010 (Eclipse Total de Sol, 11 julio 2010, Isla de Pascua), TLE-2010 (Eclipse Total de Luna, 20 diciembre 2010, Teide), TLE-2011 (Eclipse Total de Luna, 15 junio 2011, Teide), NL-2011 (Auroras Boreales, agosto 2011, Groenlandia), VT-2012 (Tránsito de Venus, 6 junio 2012, Australia/Japón/Noruega), NL-2012 (Auroras Boreales, agosto 2012, Groenlandia), TSE-2012 (Eclipse Total de Sol, 13 noviembre 2012, Australia). INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 11 INCIDENCIAS 1.- Portal Web retransmisión Debido a elevado nº de conexiones simultaneas recibidas en el portal web desde el comienzo del eclipse (19:44 UT) y a que en el portal web se incluyen imágenes del eclipse con una frecuencia de refresco de 1 min, configuradas utilizando técnicas antiproxy para evitar el cacheo de las mismas, se produce un colapso de la infraestructura de servidores web formada por 15 instancias web dando lugar a que en el momento del directo (20:30 UT) un elevado nº de visitantes no puedan cargar la página del eclipse live.gloria-project.eu con lo que no pueden acceder al player para ver la retransmisión. El colapso de determinadas instancias web por sobrecarga en el nº de peticiones por segundo cercanas al centenar así como por una elevada tasa de transferencia próxima a los 10 mbps por segundo da lugar a que se caiga el servidor apache, provocando, no solo que no se pueda acceder al portal web sino que se resetee la configuración provocando que se muestre en algunas ocasiones la página por defecto del servidor apache en lugar de la correspondiente al portal. Tomando como referencia una de las instancias VMware vSphere suministrada por CanarCloud y comparando los datos de rendimiento interno recolectados por la herramienta Munin junto con los datos de rendimiento externo recolectados por los agentes de monitorización de vSphere obtenemos los siguientes resultados: Información suministrada por Munin INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 12 INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 13 Información suministrada por VMware vSphere Tasa de Transferencia % de CPU consumido RAM consumida INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 14 Analizando esta información podemos concluir que, siguiendo una configuración más agresiva de los servidores apache para soportar un mayor nº de visitas por segundo con el correspondiente aumento de consumo de CPU y RAM, y aumentando las previsiones de ancho de banda por encima de los 10 mbps por instancia nos encontraríamos en mejor situación para atender picos de afluencia como el del eclipse, sin embargo, no podemos garantizar que estas configuraciones se realizan correctamente debido a que, salvo en el caso de aquellos colaboradores que instalan sus servidores a partir de las plantillas pre configuradas suministradas por CanarCloud, el resto prepara sus máquinas libremente en base a nuestras recomendaciones pero sin nuestra supervisión. Por otro lado, sería recomendable contar con un mínimo de unas 20 instancias y una buena conectividad para atender una demanda como la obtenida y en esta ocasión solo se contó con 15. 2.- Streaming de video. Con el fin de obtener de manera individualizada, datos estadísticos del nº de clicks producidos en los player de los colaboradores que utilizaron un % de nuestro CDN, se reservo un máximo de 1200 visitas simultaneas para cada uno de estos colaboradores basadas en la información suministrada y en experiencias pasadas. Debido a que, no todos los colaboradores nos suministraron las expectativas de visitas o a que colaboradores con infraestructura propia se conectaron directamente a nuestro CDN no encontramos con las siguientes incidencias: TVN Meteo Se superaron las 1200 visitas simultáneas previstas por lo que se llegaron a rechazar cerca de 8000 intentos de conexión. Focus No se obtiene ninguna visita, no pudiendo saber si se debe a un error de configuración o a INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 15 cualquier otro problema. Por otro lado, al no haber asistido a las pruebas de conectividad realizadas el 12 de Noviembre se desconoce si, finalmente participaron o no como colaboradores. Analizando esta información consideramos que resulta crucial disponer de una buena comunicación técnica con el personal correspondiente de cada colaborador con la suficiente antelación (al menos 1 semana antes) para, por un lado conocer de qué manera se accederá a nuestra señal, y por otro lado, las expectativas de visitas en base a eventos similares. INFORME TÉCNICO RETRANSMISIÓN ECLIPSE TOTAL DE SOL 2012 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA 16
Documentos relacionados
informe de la retransmisión de eclipse solar 2013 - Sky
El funcionamiento de esta arquitectura fue el siguiente: Generación de los Streams ● Conexión 1: con una duración total de 5 minutos a de 12:00-12:05 UT (13:00 - 13:05 CET) coincidiendo con la máx...
Más detallesinforme de la retransmisión de eclipse lunar 2014 - Sky
fase de parcialidad a la totalidad). Directo a través del portal de la retransmisión ● Los clientes que accedían al portal de la retransmisión (live.gloria-project.eu) encontraban un reproductor qu...
Más detallesinforme de la retransmisión del tránsito de venus 2012 - Sky
obtenemos los siguientes datos relativos al directo. CanarCloud Blog (www.canarcloud.tv/blog/el-‐transito-‐de-‐venus-‐y-‐el-‐cloud-‐computing) A través ...
Más detallesinforme de la retransmisión de auroras boreales 2013 - Sky
INFORME DE LA RETRANSMISIÓN DE AURORAS BOREALES 2013 10 Informe realizado por Alejandro Galtier Hernández en nombre de CanarCloud (www.canarcloud.es) para GLORIA
Más detalles