Infraestructura distribuida para la construcción de paquetes Debian

Transcripción

Infraestructura distribuida para la
construcción de paquetes Debian
José Luis Sanroma Tato
Introducción
Problema
Antecedentes Objetivos
Desarrollo
Contenidos
1. Introducción
2. Problema
3. Antecedentes
4. Objetivos
5. Desarrollo
6. Conclusiones
2
Introducción
Problema
Desarrollo
Motivaciones
●
Redes
●
Proyecto de software Libre
●
Estudiar y conocer más acerca de Debian GNU/Linux
●
Aprender a empaquetar y distribuir software
3
Introducción
Problema
Desarrollo
Debian
4
Introducción
Problema
Desarrollo
Debian
Software Libre
5
Introducción
Problema
Desarrollo
Debian
Software Libre
Gratuito
6
Introducción
Problema
Desarrollo
Debian
Software Libre
Gratuito
Mantenido por voluntarios
7
Introducción
Problema
Desarrollo
Debian
Software Libre
Gratuito
12 arquitecturas
8
Introducción
Problema
Desarrollo
Debian
Gratuito
Software Libre
12 arquitecturas
Madre de muchas distros
9
Introducción
Problema
Desarrollo
¿Por qué empaquetar software?
10
Introducción
Problema
Desarrollo
¿Por qué
hay un problema?
11
Introducción
Problema
Desarrollo
Laboratorio ARCO
●
Distintas arquitecturas (i386, amd64, arm ,etc)
●
No hay infraestructura dedicada
●
●
●
Computadores no disponibles
Sin saber cuando estarán disponibles
Necesidades especiales
12
Introducción
Problema
Desarrollo
Debian en sus inicios
13
Introducción
Problema
Desarrollo
Debian en sus inicios
●
Developers vigilaban las nuevas versiones
●
Intel y m68k
●
Listas de correo
14
Introducción
Problema
Desarrollo
Debian Autobuilder Network
●
Red de autocompiladores
●
Gestiona construcción para otras aquitecturas:
●
Varias máquinas con buildd:
–
Encargado de coger los paquetes del repositorio y
reconstruirlos
–
Compuesto por:
●
●
●
Wanna-build
Buildd
Sbuild
15
Introducción
Problema
Desarrollo
DAN: wanna-build
●
Coordina la reconstrucción
●
Cada arquitectura tiene una base de datos
●
Ftp-master y secutity-master
●
Estados:
needs-build
failed
building
not-for-us
uploaded
installed
dep-wait
16
Introducción
Problema
Desarrollo
DAN: wanna-build
●
●
needs-build: nueva versión del paquete
=>rebuild
building: una máquina ha cogido el paquete para
contruirlo
●
uploaded: se sube el paquete
●
dep-wait: faltan build-deps
●
failed: falla la construcción
●
installed: es aceptado en el archivo
17
Introducción
Problema
Desarrollo
DAN: buildd
●
●
Comprueba periodicamente las bases de datos
de wanna-build
Si hay algún cambio llama a sbuild para
construir los paquetes
18
Introducción
Problema
Desarrollo
DAN: sbuild
●
●
●
Responsable de la construcción en entornos
limpios
Se asegura que las dependencias de
construcción estén instaladas
Utiliza las herramientas de Debian para el
proceso de construcción
19
Introducción
Problema
Desarrollo
Problema de usar DAN
●
Máquinas dedicadas a la construcción de
paquetes para servirlos en los repositorios
oficiales.
●
Sigue la Debian Policy
●
Estructura dificil de configurar y mantener
●
Excede las necesidades
●
Puede haber otras necesitades:
–
Versiones específicas de paquetes
20
Introducción
Problema
Antecedentes
Objetivos
Desarrollo
¿Qué se necesita?
●
Infraestructura distribuida para construir
paquetes en un repositorio
●
Automatización en la construcción
●
Soporte para multiples arquitecturas
●
Fácil de instalar, configurar y mantener
●
Información frente a fallos
21
Introducción
Problema
Desarrollo
Arquitectura del sistema
22
Introducción
Problema
Desarrollo
Arquitectura del sistema
Developers: suben los paquetes al repo
Repositorio: Sirve los paquetes
Cliente: Hace peticiones de construcción
Manager: Dado un paquete genera su árbol de dependencias
Workers: Realizan la construcción en entornos aislados
23
Introducción
Problema
Desarrollo
Sistema base
24
Introducción
Problema
Desarrollo
Sistema base
●
Construcción de un entorno mínimo para
simular una red
●
1 Máquina virtual de i386 y otra amd64
●
Zeroc Ice
●
Hello world!
●
Libvirt
25
Introducción
Problema
Desarrollo
Sistema base
amd64
i386
26
Introducción
Problema
Desarrollo
Entorno limpio para construir paquetes
27
Introducción
Problema
Desarrollo
●
●
Las dependencias ensucian el sistema
–
Paquetes innecesarios
–
Pueden convertir al sistesma en inestable
En Debian:
–
pbuilder
–
Deb-o-matic
–
Otros.
28
Introducción
Problema
Desarrollo
●
Pbuilder
–
Probado y funciona
–
Construye paquetes para varias ramas
–
No construye para multi arquitectura (se necesitan
otras arquitecturas
29
Introducción
Problema
Desarrollo
●
Deb-o-matic
–
Se basa en pbuilder
–
Soporta plugins
–
Subida automática a repositorio
–
Firmado de paquetes
30
Introducción
Problema
Desarrollo
●
Máquinas virtuales con sistema mínimo
31
Introducción
Problema
Desarrollo
●
Máquinas virtuales con sistema mínimo
–
Se puede detener la construcción: snapshots
–
Da soporte a más arquitecturas: qemu
–
Tarda más en la construcción
–
El espacio no es problema
–
Instalación automática (preseeding)
–
Construcción multi arquitectura en una misma máquina
–
No tienen Ice
32
Introducción
Problema
Desarrollo
33
Introducción
Problema
Desarrollo
34
Introducción
Problema
Desarrollo
1) iniciar
6) instalar build-deps
2) update
7) construir paquete
3) upgrade
8) recuperar estado
4) crear snapshot
9) borrar snapshot
5) obtener fuente
10) apagar
35
Introducción
Problema
Desarrollo
Persistencia
36
Introducción
Problema
Desarrollo
Persistencia
●
Zeroc Ice
–
Freeze:
●
●
Background Save Evictor
Transactional Evictor
37
Introducción
Problema
Desarrollo
Persistencia: background save evictor
●
Guarda sirvientes en un mapa
●
Escribe el estado de forma asíncrona
38
Introducción
Problema
Desarrollo
Persistencia: Transactional evictor
●
Transacciones
●
Se lleva a cabo inmediatamente o se deshace
●
Más lento
●
Recuperable frente a fallos
●
Unidad atómica: 1 paquete
39
Introducción
SL
Problema
Desarrollo
start
update
upgrade
createSnapshot
source
buildDependencies
buildPackage
sign
upload
revertSnapshot
deleteSnapshot
turnOff
40
Introducción
Problema
Desarrollo
Patrones de diseño
●
Soluciones bien conocidas y probadas
●
Reutilización para otros propósitos
●
Buena solución al problema
●
Este caso :
–
Composite
–
Command
41
Introducción
Problema
Desarrollo
Patrón composite-command
●
Composite pattern
–
Patrón de diseño estructural
–
Representa jerarquías de objetos
–
Estructura en forma de árbol para dependencias
42
Introducción
●
Problema
Desarrollo
Command pattern
–
Encapsula peticiones como objetos
–
Operación «restaurar»
–
Operaciones para construir los paquetes
43
Introducción
Problema
Desarrollo
44
Introducción
SL
CompositeCommand
Problema
Desarrollo
start
update
upgrade
createSnapshot
source
buildDependencies
buildPackage
sign
upload
revertSnapshot
deleteSnapshot
turnOff
SimpleCommands
45
Introducción
Problema
Desarrollo
Dependencias de construcción
46
Introducción
Problema
Desarrollo
Dependencias de construcción
●
P1
P1
●
P2
P2
P3
P3
P4
P4
P5
P5
●
Las build-dep deben estar
instaladas
Si no existen hay que
construirlas
Estructura arbórea y
jerárquica que representa las
build-dep
47
Introducción
Problema
Desarrollo
Manager para generar dependencias
●
Build-dep instaladas antes de construir el
paquete
●
Build-dep tienen a su vez otras build-dep
●
DFS para generar las dependencias
●
Se recorre el árbol y se envían a los workers en
recorrido inverso
48
Introducción
Problema
Desarrollo
P1
P1
P2
P2
P3
P3
P4
P4
P5
P5
49
Introducción
Problema
Desarrollo
Conclusiones
50
Introducción
Problema
Desarrollo
Conclusiones
●
●
Generación de paquetes multi arquitectura
●
Sabemos los computadores disponibles
(IceGrid)
●
Transaccional => tolerable a fallos
●
Reutilizable para otros propósitos
51

Infraestructura distribuida para la construcción de paquetes Debian

Transcripción

Documentos relacionados

Tato El escolar.cdr

tam francorum quam aliorum omnium et cum uoce et caracterio

Leer nota

I Oo INFORMACION Domingo, 28 de abril 1991UULTURA