DimensionData Cloud - SemanticWebBuilder

Transcripción

INSTALACIÓN
SEMANTICWEBBUILDER
DIMENSION DATA
ESPECIALES
Instalación inicial
SemanticWebBuilder en
Dimension Data Cloud
Componentes
Especiales
Fondo de Información y
Documentación para la Industria
Av. San Fernando #37
Col. Toriello Guerra Del. Tlalpan
México DF
El Copyright y las Marcas registradas INFOTEC WebBuilder, SemanticWebBuilder, el
personaje Semius y demás logotipos, emblemas y características distintivas, así como
elementos relacionados son propiedad de INFOTEC Fondo de Información y
Documentación para la Industria, Centro de Investigación CONACYT.
Reservados todos los derechos. Queda estrictamente prohibido bajo las sanciones
establecidas en las leyes, la reproducción parcial o total de esta obra por cualquier medio
o procedimiento de alquiler o préstamos públicos de ejemplares de la misma, sin la
autorización escrita de INFOTEC Fondo de Información y Documentación para la
Industria, Centro de Investigación CONACYT.
Instalación inicial SemanticWebBuilder en Dimension Data Cloud
Prólogo
SemanticWebBuilder (SWB) es una plataforma tecnológica desarrollada en INFOTEC, un
Centro de Investigación y Desarrollo Tecnológico del CONACYT, por lo que es un
producto hecho en México y por mexicanos que tiene como propósito principal el brindar
los elementos y utilerías necesarias para permitir una construcción rápida y simple de
Sitios y Portales Web Semánticos, así como desarrollo de aplicaciones con características
semánticas.
La idea principal de aplicar Semántica a los Sitios y Portales Web o mejor dicho
incorporarle Semántica a Internet, es permitir que la información pueda ser definida con
un significado específico, de forma que conforme se le van incorporando descripciones y
propiedades a cada elemento de información este pueda tener más aspectos que lo
distingan de los demás y lo puedan identificar mejor, logrando con ello que pueda ser
fácilmente consultado, interpretado y procesado ya sea por personas o incluso por otras
aplicaciones y sistemas, es decir por maquinas.
Esta característica de la semántica que hace que la información tenga un mayor
significado y en consecuencia sea fácilmente consultada por personas o sistemas, implica
que el intercambio e integración de información sea de forma más natural sin importar el
lugar físico donde se encuentre la información o la forma en que haya sido procesada
originalmente.
Esto implica que podremos realizar una consulta de información y la respuesta será más
completa y adecuada a nuestro criterio de búsqueda, pues la fuente de consulta podrá ser
leída, interpretada e integrada a partir de la información publicada por diferentes
organizaciones, a múltiples niveles técnicos y/o humanos, permitiendo con ello obtener
información más completa y adecuada a los requerimientos específicos de cada usuario
en la red.
Fecha de Elaboración: Enero 2014
INFOTEC CONACYT FIDEICOMISO.
i
ii
Índice de Contenidos
Prólogo ............................................................................................................................... i
Índice de Contenidos ......................................................................................................... iii
Acerca de este manual ...................................................................................................... iv
Objetivos............................................................................................................................ iv
Convenciones usadas en este manual .............................................................................. v
Comenzando a trabajar… ................................................................................................. vii
Instalación de SemanticWebBuilder 4 DimensionData Cloud. ........................................... 1
DimensionData Cloud .................................................................................................... 1
Arquitectura de SWB4Cloud: .......................................................................................... 1
Creación de Red y Servidores en DimensionData .......................................................... 3
Instalación y configuración del ambiente para SWB ....................................................... 7
Instalación del servicio NFS ........................................................................................... 9
Configuración de la Base de Datos ................................................................................ 9
Configuración del Servidor de Administración SWB ..................................................... 10
Configuración del Servidor Cliente ................................................................................... 11
Configuración de LoadBalancer ................................................................................... 12
Configuración del Monitor de desempeño .................................................................... 13
Configuración de la Red .................................................................................................. 17
Configuración SWB plugin............................................................................................ 22
iii
Acerca de este manual
Este manual fue realizado con el objetivo de explicar el conocimiento mínimo necesario
para realizar correctamente la instalación de SemanticWebBuilder Dimension Data Cloud
en una infraestructura de Dimension Data.
Indicándole además los pasos necesarios para configurar un servidor en Dimension Data
y aprovechar la capacidad de SWB para poder desplegarse en ambientes en cluster y
balanceo de cargas
Objetivos
General:
Al finalizar el curso el alumno usará una instancia de SWB en la nube con la
infraestructura de Dimension Data y podrá lanzar instancias espejo.
Específicos:
Al finalizar el tema de Instalación de SemanticWebBuilder4DimensionDataCloud el
alumno será capaz de construir y adecuar ambientes en cluster y balanceo, así como
administrarlos
iv
Convenciones usadas en este manual
Las siguientes convenciones son utilizadas en este manual para representar diferentes
elementos de capacitación y recursos alternativos de aprendizaje:
Iconos
Sabias Que – Indica comentarios al margen en los que se
extenderá el tema expuesto mediante recomendaciones o tips que
mejoren el aprovechamiento de la herramienta
Consideraciones Importantes – Exponen puntos importantes que
deben tenerse en cuenta para la correcta operación de las utilerías.
Nota – Indica Información adicional que puede ayudarle a
aprovechar mejor la funcionalidad expuesta.
Referencia – Indica la necesidad de consultar otro documento o
dirección Web en donde se encontrara mayor información sobre el
tema expuesto.
Procedimiento Guiado – Indica que se comenzara la descripción
paso a paso de la operación de un proceso.
Ejercicio Guiado – A partir de este punto se comenzara la
ejecución de un ejercicio que deberá realizar el usuario de manera
guiada paso a paso con el manual.
Resultado – Expone el efecto final correcto de una operación o
procedimiento.
Diagnostico – Por características de la tecnología involucrada, se
generan resultados no deseados. Aquí se indicara como resolverlo.
Improcedente – Indica situaciones tecnológicas en las que no es
posible realizar una operación o que requiere de algún proceso
alterno para obtener el resultado deseado.
Cuidado – Indica que existe alguna información restringida o con
derechos reservados.
v
Convenciones Tipográficas
Arial 26 Negrita, es utilizada como título de tema
Calibri 14 color Azul Énfasis Negrita, es utilizada para los títulos de tema
Calibri 12 color Azul Énfasis 1 negrita, es utilizada para destacar subtemas
Arial 11, es utilizada como fuente principal para el cuerpo del texto
<Times New Roman 11> es utilizada para descripción de configuraciones o código
Arial 10 negrita color azul con recuadro y sombreado azul indica temas a resaltar
y/o puntos importante en los que el lector debe prestar especial atención
Arial 10 en color azul con recuadro azul y sombreado azul, se utiliza para denotar puntos
importantes en los que el lector debe prestar atención especial
vi
Comenzando a trabajar…
INSTALACIÓN
SEMANTICWEBBUILDER (SWB) para
DimensionData Cloud
vii
Instalación de SemanticWebBuilder 4 DimensionData Cloud.
DimensionData Cloud
Uno de los principales beneficios del cómputo en la nube consiste en la oportunidad de
reemplazar los gastos iniciales en infraestructura con un bajo costo variable que escala
según el negocio lo necesite, ya que rápidamente es posible utilizar cientos de servidores
en minutos entregando resultados inmediatos.
Dimension Data Cloud provee una infraestructura con centros de datos en los Estados
Unidos, Amsterdam, Australia, South Africa y Hong Kong; cuenta con una interface de
servicios REST mediante la cual es posible escalar horizontalmente.
Tras el auge del internet “social”, es posible que la demanda de un sitio pase de unas
decenas a unos miles de visitantes en cuestión de un par de horas y que tras otro par de
horas regrese a su nivel de tráfico usual.
SemanticWebBuilder (SWB) es una suite de productos que sirven como plataforma para
el desarrollo de portales, estos portales deberían poder beneficiarse de contar con la
posibilidad de crecer en capacidad de atención de manera dinámica según el negocio lo
requiera; por lo que se desarrolló una extensión conocida como SWB4Cloud que permite
el despliegue de un portal construido con SWB en la infraestructura de Dimensio Data que
pueda moverse de manera dinámica según la carga existente en el sitio.
Nota: Este manual contiene los pasos necesarios para configurar un portal, en una
nube escalable utilizando Dimension Data Cloud.
Arquitectura de SWB4Cloud:
El SWB4Cloud aprovecha la capacidad de SWB para poder desplegarse en ambientes en
cluster y balanceo de cargas por lo que requiere de al menos lanzar dos VM (máquinas
vituales) en su configuración mínima.
La primer VM se encargará del servicio de administración del portal, proveer de los
servicios de Base de datos, los archivos, y el software necesario para realizar el
lanzamiento de instancias adicionales.
La segunda VM se encargará de entregar el contenido del portal a los visitantes, este es
lanzado por la instancia de administración desde la consola de SWB y según la
configuración y demanda SWB lanzará tantas instancias como sean necesarias y a su
tiempo, dará de baja las instancias necesarias según se requiera.
1
El diagrama anterior ilustra los servicios y las conexiones que existen en un despliegue de
SWBCloud con Dimension Data.





El acceso a los servidores es manejado por medio de una VIP, la cual
contiene el balanceador de carga.
El firewall contiene las reglas de acceso, configurables desde la opción
ACL de la red en la que se encuentran los servidores.
El servidor de administración y clientes se encuentran dentro de la misma
red.
MySQL data: Servicio de base de datos instalada en el servidor de
administración y será compartida con los clientes.
work/models: ruta que será compartida vía NFS a los servidores cliente en
donde encontrarán el contenido estático necesario para operar el portal.
Los servidores clientes, serán cargados con una imagen hecha con anterioridad para
levantar los servicios y obtener la información.
2
Creación de Red y Servidores en DimensionData
Procedimiento
Dentro de la administración de nubes de DimensionData:


Crear una Red (network)
Agregar nombre y descripción de la red en la que se va a trabajar.
Dar click en Deploy, se creará la red.


Dentro de esta red se configurarán manualmente dos servidores
swbAdmin y swbClient.
Para la creación de un servidor es necesario seleccionar el Sistema
operativo de la lista OS imágenes, que se desea utilizar. (La capacidad del
servidor, dependerá del tamaño del portal y de los recursos que se
destinen)
3

Al dar click sobre la imagen que deseamos cargar en nuestro servidor, se
desplegará la siguiente ventana:
4




El primer servidor se llamará swbAdmin, colocamos una descripción,
seleccionamos la red a la que va a pertenecer, en este caso test,
agregamos una contraseña. Y damos click en Deploy and Start
Para el servidor swbClient se utilizará la misma imagen del SO, en nombre
ira SwbClient, agregaremos una descripción, pertenece a la misma red
(test). Por ahora no es necesario iniciar el servidor, por lo que daremos
click en Deploy.
La lista de servidores aparecerá de la siguiente manera dentro de la red:

Las IPS resaltadas (Private IP), son las que utilizaremos para configurar los
servidores.
Realizar una conexión por VPN para comunicarnos al servidor creado


Conectarse a root, con el password dado al momento de darlo de alta.
Insertar los comandos, para actualizar e instalar el software requerido:
yum update -y
yum install java-1.7.0-openjdk-devel -y
yum install mysql-server
5

Crear las carpetas de almacenamiento en las que se distribuirá la
configuración.
mkdir /swb
mkdir /swb/datos
mkdir /swb/portal
mkdir /swb/software

Editar el valor de la variable de datadir en el archivo de configuración de
mysql, que se encuentra en /etc/my.cnf.

Configurar mysql para que inicie automáticamente al reinicio del sistema
chkconfig --level 2345 mysqld on

Levantar el servicio con el comando:
service mysqld start

Correr el script de secure installation, para asegurar y colocar la contraseña
de root:
/usr/bin/mysql_secure_installation

Crear la base de datos, que tengra como nombre swb
/usr/bin/mysqladmin -u root -p create swb
6

Entrar al administrador de mysql, y crear un usuario que tenga todos los
permisos sobre la base de datos creada anteriormente (swb).
/usr/bin/mysql -u root -p
CREATE USER 'swb'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON swb.* TO 'swb'@'%' WITH GRANT OPTION;
Instalación y configuración del ambiente para SWB

Descargar el paquete en la carpeta /swb/software
cd /swb/software
Puede conseguir el archivo de instalación de Tomcat en la dirección web
http://mirror.cogentco.com/pub/apache/tomcat/tomcat-7/v7.0.47/bin/apachetomcat-7.0.47.tar.gz. El archivo obtenido se transfiere a la ruta y/o carpeta donde
se descomprimirá dicho archivo.

Descargar swb.war en la misma carpeta
Descargar
el
archivo
de
http://www.semanticwebbuilder.org.mx/OS/wb/COSWB/swb_portal,
el
archivo
obtenido es “swb.war”, este archivo se puede descomprimir como .jar y
posteriormente el contenido se transfiere a la carpeta webapps dentro del Tomcat.

La instalación quedará en /swb/portal.
cd /swb/portal/
tar –xvzf ../software/ apache-tomcat-7.0.42.tar.gz
cd apache-tomcat-7.0.42/webapps/
rm –fr *
mkdir ROOT
cd ROOT
jar xvf /swb/software/swb.war

Agregar las variables de ambiente en los archivos de arranque te Tomcat
export CATALINA_OPTS=”- Dfile.encoding=ISO8859-1 -Xss228k -Xmx1024m -server"

Editar el archivo server.xml en el directorio /conf , cambiar el puerto 8080
de la conexión http al 80
7
Resultado

Y descomentar el servicio SSL del protocolo HTTP/1.1, cambiando el
puerto 8443 por el 443
8

Crear el certificado en el keystore, usar la contraseña “changeit”, con el
comando:
keytool –genkey –alias tomcat –keyalg RSA

Para evitar conflicto en los servicios es importante checar que el httpd se
encuentre apagado, y evitar que este se active en el momento de un
reinicio
service httpd stop
chkconfig httpd off
Instalación del servicio NFS
Como se mencionó anteriormente, los datos relacionados con el portal, serán transferidos
a los clientes vía NFS.
yum install nfs-utils nfs4-acl-tools rpcbind

Editar el archivo /etc/exports y agregar la línea
/swb/portal/apache-tomcat-7.0.47/webapps/ROOT/work/models *(ro,async)

Recargar el servicio, para que se lea el archivo de configuración, iniciar los
servicios y agregarlos a la lista de arranque
/sbin/service nfs reload
chkconfig rpcbind on
chkconfig nfs on
service rpcbind start
service nfs start
Configuración de la Base de Datos


Editar el archivo WEB-INF/clases/db.properties.
Descomentar y editar el pool de MySQL , con la información de usuario
creado anteriormente en mysql y comentar el pool de hsqldb
9
Con los datos de la base de datos creada anteriormente:
Swb.url = jdbc:mysql://ip_servidor_administrador:3306/swb
swb.maxconn=80
swb.user=swb(usuario_creado)
swb.password=password(database_password)
Resultado
Configuración del Servidor de Administración SWB

Para el administrador la información en /WEB-INF/clases/web.properties tiene que
ser la siguiente
swb/clientServer=SAS
swb/cloudImplementation= org.semanticwb.dimension.DimDataServicesImp
swb/regionEndPoint= api.opsourcecloud.net
(dirección_endpoint_DimensionData)
10

Levantar la instancia de SWB
cd /swb/portal/apache-tomcat-7.0.42/bin/
./startup.sh
Configuración del Servidor Cliente

Dar click en la lista de servidores en el servidor creado como swbClient, e iniciar el
servidor.

Realizar las configuraciones necesarias:
 Actualizar repositorios
 Instalar la última versión de java
 Apagar el servicio httpd
 Crear las carpetas para la instalación
 Descargar apache-tomcat y swb.war
 Descomprimir en las rutas indicadas
 Configurar el web.properties
swb/clientServer = SAC
Agregar la ip del servidor en la opciónde #URL de la maquina de
administración
swb/serverURL=http://ip_servidor:8080
Resultado
11
Configuración de LoadBalancer
Agregar la ip del servidor en la opción swb/serverMessageAddress en el archivo web.properties
12
Configuración del Monitor de desempeño

Probar si el comando “sar” está instalado, en caso contrario instalar sysstat
yum install sysstat

Configurar las opciones de sysstat, para que la información se recolecte cada 5
minutos, y comentar la línea de la recopilación diaria.
El archivo de configuración se encuentra en /etc/cron.d/sysstat

Agregar el script de configuración de inicio de tomcat crear el archivo en
/etc/init.d/tomcat
#!/bin/bash
#
# tomcat
#
#
# chkconfig: - 68 37
# description: Tomcat Server.
# processname: tomcat
# Source function library.
. /etc/init.d/functions
RETVAL=$?
CATALINA_HOME="/swb/portal/apache-tomcat-7.0.47"
case "$1" in
start)
if [ -f $CATALINA_HOME/bin/startup.sh ];
13
then
echo $"Starting Tomcat"
$CATALINA_HOME/bin/startup.sh
fi
;;
stop)
if [ -f $CATALINA_HOME/bin/shutdown.sh ];
then
echo $"Stopping Tomcat"
$CATALINA_HOME/bin/shutdown.sh
fi
;;
*)
echo $"Usage: $0 {start|stop}"
exit 1
;;
esac
exit $RETVAL

Dar permisos al script, y dar de alta el servicio para que reinicie automáticamente.
chmod a+x tomcat
chkconfig --add tomcat
chkconfig --level 123456 tomcat on

Crear el script de configuración /manager.sh
#! /bin/bash
#
sar | grep all | grep '^Average' -v | tail -5 | awk '{print $1 $2 " " $4+$5+$6+$7+$8
" " $9}'

Dar permisos al script
chmod a+x manager.sh

Instalar el paquete xinetd
yum install xinetd
14

Agregar el archivo de configuración de servicio chkstatus en
/etc/xinetd.d/chkstatus
Con el siguiente contenido:
service chkstatus
{
socket_type = stream
id
= chkstatus
type
= UNLISTED
protocol
= tcp
port
= 666
wait
= no
user
= root
server
= /manager.sh
log_type
= FILE chkstatus
}

Instalar los paquetes de NFS para la transferencia de archivos correspondientes al
sitio (../work/models)
yum install nfs-utils nfs4-acl-tools rpcbind

Iniciar los servicios y agregarlos a la configuración de arranque
chkconfig rpcbind on
chkconfig nfs on
service rpcbind start
service nfs start

Eliminar el contenido de la carpeta en donde se va a montar la información del
administrador.
cd /swb/portal/apache-tomcat-7.0.47/webapps/ROOT/work/models/
rm –fr *

Configurar los montajes de arranque (fstab) para cargar los archivos por nfs en
caso de un reinicio. Agregar la configuración en el archivo /etc/fstab
15
ipServidorAdministrador:/swb/portal/apache-tomcat-7.0.47/webapps/ROOT/work/models
/swb/portal/apache-tomcat-7.0.47/webapps/ROOT/work/models
nfs defaults
00

Revisar el estado de las herramientas de VMware, debe mostrarse el siguiente
display, en caso contrario, actualizar las herramientas por medio del administrador
de la nube de dimensión data.
En caso que ese encuentren en estao “Not Running”, para reinstalarlas se pueden
obtener de la siguiente liga:
https://cf-na-east-01.opsourcecloud.net/v2/files/AF42E446-829A-11E2-A0CBA4BADB179EB9/content/inline/VMwareTools-8.6.5-621624.tar.gz
y ejecutar el archivo vmware-install.pl


Crearemos una Imagen clonando el servidor swbClient que aparecerá en la lista
de Customer Images , para lo que, en caso que se hayan hecho pruebas con la
instancia de swb, hay que darla de baja.
Abrir la ventana de administración del servidor y dar click en el botón de clonar,
esto agregará la imagen a la lista de Customer Images.
16
Configuración de la Red

Abrir la ventana de configuración de la Red, (engranaje azul) y dar click en la
opción de VIPs , agregaremos servidores reales, para agregarlos a un load farm y
con esta crear un balanceador de cargas.
En caso que ese encuentren en estado “Not Running”, para reinstalarlas
se pueden obtener de la siguiente liga:
https://cf-na-east-01.opsourcecloud.net/v2/files/AF42E446-829A-11E2-A0CBFecha de Elaboración: Enero 2014
17
A4BADB179EB9/content/inline/VMwareTools-8.6.5-621624.tar.gz

En la opción de Real Servers, agregar los servidores antes configurados, de
acuerdo al nombre y la IP, seleccionando el Status en In Service
Posteriormente se eliminará el servidor real de esta lista tanto del Farm, se utiliza
esta configuración para poder crear el balanceador de cargas que será poblado
por los servidores clientes.

Agregar un Probe, para comprobar el estado del sistema, con nombre swb.
18

En la pestaña de Server Farm, dar click en Add Server Farm. Con los
valores de:
Name: swbFarm
Predictor: Least connections
InitialRealServer: swbAdmin
RealServerPort : 80
InitialProbe: swb
swb
19


Dar click en submit.. Iremos a la pestaña de Persistance Profiles para hacer
que el balanceo tenga “stickiness”, seleccionando el Farm creado, con tipo
HTTP Cookie , definiendo un nombre a la cookie de dmd_cookie y con
tipo no cookie insert.
Crear el load balancer en la pestaña de VIPs , con el Target Type de Persistance
Profile y con Target del perfil antes creado (swbProfile)
20



Creado el loadBalancer, debemos vaciar el Server Farm y el Pool de RealServers,
regresando a las pestañas correspondientes.
Primero eliminaremos el servidor real del serverFarm, dando click en el nombre del
Farm creado y eliminar los servidores reales que estén en la lista, para dejarla
vacía como muestra la imagen.
El siguiente paso es eliminar el servidor real creado, únicamente presionando la
(x) que se encuentra al final de la fila. Para dejar la lista vacía.
21
Como se había mencionado anteriormente, la lista de servidores reales
dentro del Server Farm y la de Real Servers como tal, deben de estar vacías al
momento de iniciar el servicio, ya que estás serán actualizadas con los servidores
que lanzará la aplicación de SWB.

Regresar al menú de administración de la red y configuraremos la lista de ACLS
de entrada de tráfico.
Configuración SWB plugin
Accesamos a la administración de SemanticWebBuilder, el usuario admin, debe de tener
el rol de super usuario para poder ver las opciones de configuración de cloud.
22
Se abrirá una nueva pestaña con el nombre de configuración Cloud, la cual pedirá los
datos de acceso.
El User y Password, son referentes a la cuenta de dimensionData Cloud, con los que se
accesa a la administración de servidores en el portal https://cloud-na.dimensiondata.com
Al enviar el acceso con los datos correctos, aparecerá una nueva forma para seleccionar
los datos para la configuración.
Nombre de la red (la red en la que se encuentra el servidor swbAdmin)
Image Name (nombre de la imagen de los servidores clientes)
Max Instances to launch (el número máximo de servidores que se podrán lanzar y agregar
al balanceador de cargas)
23
Si los datos son correctos, se desplegará una segunda forma, para cotejar el nombre del
server Farm configurado,el procentaje máximo para cada servidor, y el nombre base que
llevará cada servidor lanzado por la herramienta.
Al enviar la segunda configuración se comprobarán los datos y aparecerá el botón lanzar,
dando click, se lanzará el primer servidor con las características seleccionadas, y
comenzará el monitoreo de tráfico.
24

DimensionData Cloud - SemanticWebBuilder

Transcripción

Documentos relacionados

Instalación de SWB Portal

instalación inicial semanticwebbuilder (swb) en sun glassfish