recomendación musical

IIIA - CSIC
Sistemas inteligentes de
recomendación musical
en el marco de la
web social
Claudio Baccigalupo – Julio 2008
Escucha lo que quieras
“The iTunes Store is the world’s most popular online music, TV
and movie store with a catalog of over six million songs.”
– Apple Inc.
Press Release, May 1st, 2008
Escucha cómo y dónde quieras
“In seven years, every song ever recorded in the world will fit
into our pockets.”
– Sukhinder Singh Cassidy
Google Sales President, Asia Pacific and Latin America Operations
¿Qué vas a escuchar?
“Kids can spend more time trying to figure out what to listen to
[...], than actually spending quality time listening to good music.”
– Peter Crabb
Assistant Professor of Psychology, Penn State University
Recomendaciones musicales en la web
¿Por qué nos gusta la música?
John A. Sloboda
“The Musical Mind”
Daniel J. Levitin
“This is your brain on music”
¿Por qué nos gusta la música?
Explicación neurológica
“An exquisite orchestration of brain regions, involving both the
oldest and newest parts of the human brain, and regions as far apart
as the cerebellum in the back of the head and the frontal lobes.”
– Daniel J. Levitin
Associate Professor of Psychology, McGill University
¿Por qué nos gusta la música?
Explicación sociológica
“Musical preferences also have a large social component based on
our knowledge of the singer or musician, on our knowledge of what
our family and friends like, and of what the music stands for.”
– Daniel J. Levitin
Associate Professor of Psychology, McGill University
Recomendaciones musicales en la web
Análisis de contenido
Análisis social
Programa
1. Análisis de contenido y recomendaciones musicales
“Escuche este tema porque suena como este otro.”
2. Análisis social y recomendaciones musicales
“Escuche este tema porque alguien lo relacionó con este otro.”
3. Dos aplicaciones web de recomendación musical
“Que hice en tres años de doctorado en inteligencia artificial.”
4. Conclusiones, demostraciones, consejos
“Todo lo que siempre quiso saber pero no lo expliqué… ¡pregúntelo!”
Programa
1. Análisis de contenido y recomendaciones musicales
“Escuche este tema porque suena como este otro.”
2. Análisis social y recomendaciones musicales
“Escuche este tema porque alguien lo relacionó con este otro.”
3. Dos aplicaciones web de recomendación musical
“Que hice en tres años de doctorado en inteligencia artificial.”
4. Conclusiones, demostraciones, consejos
“Todo lo que siempre quiso saber pero no lo expliqué… ¡pregúntelo!”
Entender la música
Timbre
Tempo
Ritmo
Forma
Tono
Reverberación
Volumen
Compases Melodías
Claves
Armonías
Temas Artistas Géneros
Similitudes Gustos
Entender la música
Timbre
Tempo
Ritmo
Forma
Tono
Reverberación
Volumen
“fraseo melódico repetitivo”
“tiempo rápido en 4/4”
“tonalidad en clave mayor”
“melodía centrada en la voz”
Sistema
semiautomático
Temas Artistas Géneros
Similitudes Gustos
Entender la música
Timbre
Tempo
Ritmo
Forma
Sistema inteligente
y automático de
análisis de
contenido musical
Tono
Reverberación
Volumen
Temas Artistas Géneros
Similitudes Gustos
Mel Frequency Cepstral Coefficients
Señal sonora
Clusters de MFCC
Cortar en breves fragmentos (ej.: 20ms)
Calcular la transformada discreta de Fourier
Convertir la amplitud en escala logarítmica
Aplicar un filtro en escala mel
Acoustic
Rock
Chemical
Beats
Guardar los primeros coeficientes (ej.: 12)
MFCC
Vocal
Jazz
Symphonic
Programa
1. Análisis de contenido y recomendaciones musicales
“Escuche este tema porque suena como este otro.”
2. Análisis social y recomendaciones musicales
“Escuche este tema porque alguien lo relacionó con este otro.”
3. Dos aplicaciones web de recomendación musical
“Que hice en tres años de doctorado en inteligencia artificial.”
4. Conclusiones, demostraciones, consejos
“Todo lo que siempre quiso saber pero no lo expliqué… ¡pregúntelo!”
Filtrado colaborativo
Björk, Mogwai,
Portishead,
Massive Attack,
Goldfrapp
Artista recomendado:
?
Filtrado colaborativo
Björk, Mogwai,
Portishead,
Massive Attack,
Goldfrapp
Artista recomendado:
Sigur Rós
Radiohead,
Björk, Sigur Rós,
Mogwai
Sepultura,
Pantera, Anthrax,
Metallica
Gabrielle,
Des’ree, En Vogue,
Beyoncé
Portishead,
Coldplay, R.E.M.,
Placebo
Filtrado colaborativo: problemas
Puede deducir mal
Filtrado colaborativo: problemas
Puede ser muy genérico
Filtrado colaborativo: problemas
Puede ser hackeado
Concurrencias musicales
Analizando concurrencias de
objetos musicales
(canciones, artistas, géneros) en
Revistas
Radio
Fiestas
Locales
Páginas web
Playlists
se obtienen relaciones
socialmente significativas
aplicables para generar
recomendaciones musicales
Concurrencias musicales en la web
1,8M
páginas
Gracias a la llamada “web 2.0”
es posible conocer con exactitud
el comportamiento de los usuarios
en el marco de las redes sociales
4,6M
páginas
Análisis sociales en la web
playlists, favoritos, tags,
eventos, amigos
playlists, tags,
listas de escucha
playlists, subscripciones,
favoritos, contactos
Análisis sociales en la web
Toby Segaran
“Programming Collective Intelligence”
Programa
1. Análisis de contenido y recomendaciones musicales
“Escuche este tema porque suena como este otro.”
2. Análisis social y recomendaciones musicales
“Escuche este tema porque alguien lo relacionó con este otro.”
3. Dos aplicaciones web de recomendación musical
“Qué hice en tres años de doctorado en inteligencia artificial.”
4. Conclusiones, demostraciones, consejos
“Todo lo que siempre quiso saber pero no lo expliqué… ¡pregúntelo!”
Aplicación #1
Generación automática de playlists
http://labs.strands.com
Generación automática de playlists
http://labs.strands.com
Generación automática de playlists
1. West End Blues (Louis Armstrong)
2. Heebie Jeebies (Louis Armstrong)
3. Sing Sing Sing (Benny Goodman)
4. Take The A Train (Duke Ellington)
Billie’s Bounce
(Charlie Parker)
5. Oh, Lady Be Good (Ella Fitzgerald)
6. Billie’s Bounce (Charlie Parker)
7. I’ll Remember April (Frank Sinatra)
8. All Blues (Miles Davis)
9. All Blues (Dee Dee Bridgewater)
10. Summertime (Chet Baker)
Generación automática de playlists
1. West End Blues (Louis Armstrong)
2. Heebie Jeebies (Louis Armstrong)
3. Sing Sing Sing (Benny Goodman)
patrón en 1 playlist
4. Take The A Train (Duke Ellington)
Billie’s Bounce
(Charlie Parker)
5. Oh, Lady Be Good (Ella Fitzgerald) patrón en 3 playlists
6. Billie’s Bounce (Charlie Parker)
7. I’ll Remember April (Frank Sinatra)
8. All Blues (Miles Davis)
9. All Blues (Dee Dee Bridgewater)
10. Summertime (Chet Baker)
patrón en 1 playlist
patrón en 2 playlists
Playlists: búsqueda en árboles
T1
1.030.068 playlists
Calcula los mejores patrones
T1 | T2 | T3
T1 | T4
T5 | T1 | T6
T7 | T1
Calcula los mejores patrones
T7 | T1 | T2 | T3
T1 | T2 | T3 | T8
…
T1 | T2 | T3 | T9
Playlists: razonamiento basado en casos
T1
1.030.068 playlists
RETRIEVE: Extrae un subconjunto de ‘buenas’ playlists
50 playlists
REUSE: Calcula los mejores patrones
T1 | T2 | T3
T1 | T10
T1 | T11
…
T7 | T1
Generación automática de playlists
Aspectos positivos:
El usuario sólo necesita indicar una canción
La playlist generada es una secuencia musicalmente
ordenada, en relación a las playlists de MusicStrands
Aspectos negativos:
La playlist no se puede escuchar
La playlist no es personalizada
La aplicación no es ni social ni interactiva
Aplicación #2
Poolcasting: social web radio
¿Qué es Poolcasting?
Un canal radio en Poolcasting
Los participantes crean canales públicos
Los participantes se relacionan
Los participantes votan las canciones
Los participantes contribuyen con música
El algoritmo de selección musical
Librerías compartidas
Pool de música
Canal Rock
…
Everybody Knows
(Leonard Cohen)
You’re in the air
(R.E.M.)
Woman in Chains
(Tears For Fears)
?
Participantes
El algoritmo de selección musical
Librerías compartidas
Pool de música
Canal Rock
…
Everybody Knows
(Leonard Cohen)
You’re in the air
(R.E.M.)
Recupera canciones candidatas
musicalmente asociadas con
la última canción reproducida
Participantes
Woman in Chains
(Tears For Fears)
?
El algoritmo de selección musical
Librerías compartidas
Pool de música
Canal Rock
…
Everybody Knows
(Leonard Cohen)
You’re in the air
(R.E.M.)
Recupera canciones candidatas
musicalmente asociadas con
la última canción reproducida
Preferencias de
los oyentes
Participantes
Woman in Chains
(Tears For Fears)
Carga y reproduce la canción
candidata preferida por el
grupo de oyentes actuales
Missing
(Calexico)
La arquitectura de Poolcasting
playlists
metadata
MUSIC POOL
MUSICAL ASSOCIATIONS
PREFERENCES
CHANNELS
knowledge to
schedule
ratings and
play counts
Stream Generator
audio signal
Song Scheduler
Library Parser
Streaming Server
upload
song
share library
rate songs
OGG stream
(256 Kbps)
create channel
MP3 stream
(64 Kbps)
Web Interface
I
CURRENT LISTENERS
list of
listeners
available
songs
list of
shared songs
Database
N
Personal Library
T
E
Participant
R
N
E
T
Media
Player
Participant
Programa
1. Análisis de contenido y recomendaciones musicales
“Escuche este tema porque suena como este otro.”
2. Análisis social y recomendaciones musicales
“Escuche este tema porque alguien lo relacionó con este otro.”
3. Dos aplicaciones web de recomendación musical
“Que hice en tres años de doctorado en inteligencia artificial.”
4. Conclusiones, demostraciones, consejos
“Todo lo que siempre quiso saber pero no lo expliqué… ¡pregúntelo!”
Mis recomendaciones
Hay muchos datos sociales allí fuera que os esperan
Aprended a programar con lenguajes y API web
Investigad los algoritmos que os pueden ayudar
Tomad inspiraciones, pero sed originales
Pensad en el objetivo de la recomendación, no en el
lenguaje de programación (Lisp, Perl, Ruby, …)
No penséis sólo en vender, sino en innovar en lo que
os gusta y motiva (música, eventos, películas, …)
Mi recomendación
“The beauty of the Internet is that it connects people.
The value is in the other people. If we start to believe that the
Internet itself is an entity that has something to say, we’re
devaluing those people and making ourselves into idiots.”
– Jaron Lanier
Computer scientist, composer, visual artist, and author
IIIA - CSIC
Preguntas?
http://www.iiia.csic.es/~claudio
Claudio Baccigalupo – Julio 2008