Diapositiva 1

Proyecto Fin de Máster
Reyes de Europa
José María Limeres Pesado
Máster Big Data
Procesamiento
Almacenamiento
Explotación
Instalación
Instalación Spark 1.5.2
wget http://ftp.cixug.es/apache/ spark / spark-1.5.2 / spark-1.5.2- binhadoop2.6.tgz
tar -xvf spark-1.5.2-bin-hadoop2.6.tgz
Instalación PyCharm 5.0.1
wget https: // d1opms6zj7jotq.cloudfront.net/python/pycharmcommunity-5.0.1.tar.gz
gzip -dc pycharm-community-5.0.1.tar.gz | tar xf mv spark-1.5.2-bin-hadoop.2.6 /opt
Configurar Spark en PyCharm
edit /home/usuario/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
# number of folders visible at prompt
PROMPT_DIRTRIM=1
export SPARK_HOME=/opt/spark-1.5.2-bin-hadoop2.6
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j0.8.2.1-src.zip
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/pyspark
Ejecutar PyCharm
Instalación
Instalación MongoDB 3.0.10
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
echo "deb http://repo.mongodb.org/apt/debian wheezy/mongodb-org/3.0
main" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.0.list
sudo apt-get update
sudo apt-get install -y mongodb-org=3.0.10 mongodb-org-server=3.0.10
mongodb-org-shell=3.0.10 mongodb-org-mongos=3.0.10 mongodb-orgtools=3.0.10
Lime\.. mongod --version
db version v3.0.10
git version: 1e0512f8453d103987f5fbfb87b71e9a131c2a60
Instalación MongoDB 3.0.10
/var/log/mongodb/
gedit mongod.log
2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] MongoDB starting :
pid=31367port=27017 dbpath=/var/lib/mongodb 64-bit host=jmlp-VirtualBox
2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] db version v3.0.10
2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] git version:
1e0512f8453d103987f5fbfb87b71e9a131c2a60
2016-04-30T19:40:22.776+0100 I CONTROL [initandlisten] build info: Linux ip10-145-79-83 3.2.0-4-amd64 #1 SMP Debian 3.2.46-1 x86_64
BOOST_LIB_VERSION=1_49
Instalación
Instalación Eclipse Mars
wget https://eclipse.org/downloads/download.php?file=/tech
nology/epp/downloads/release/mars/2/eclipse-jee-mars-2linux-gtk-x86_64.tar.gz
tar -xvf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz
Procesamiento
Información extraída:
• Datos estadísticos de cada uno de los partidos: local, visitante,
goles, tiros, amarillas, corners, faltas y cotizaciones.
•Cotizaciones de cada casa de apuesta por temporada y por
equipo.
• Información de cada uno de los equipos: nombre, liga, partidos
jugados, ganados, empatados y perdidos, porcentaje de victorias,
empates y derrotas y media de goles por partido.
• Datos estadísticos de cada liga: equipos participantes, goles
totales y media por partido y número de partidos jugados.
Almacenar información en MongoDB:
Instalación driver pymongo
sudo apt-get install python-pip
python -m pip install pymongo==3.0.2
Almacenamiento
Explotación
Nombre del proyecto
Configuramos acceso a
MongoDB en el pom.xml
Usaremos Morphia 1.1.0
RESULTADOS
CASAS DE
APUESTAS
DATOS POR
TEMPORADA
CASAS DE
APUESTAS
DATOS
POR
EQUIPO
LIGAS
DATOS
POR
EQUIPO
LIGAS
DATOS
GLOBALES
LIGAS
EQUIPOS
PARTIDOS
CONCLUSIONES
DUDAS Y SUGERENCIAS