exit

Social Sciences and Humanities   > Home   > Art and Science   > Issue 1   > Article

Computational Creativity: Compose the Music for a Movie using only its Automatically Extracted Brightness Curve

Créativité assistée par ordinateur : composer la musique d’un film en utilisant uniquement sa courbe de luminosité extraite automatiquement


Felipe Ariani
Aix-Marseille Univ
France

Marcelo Caetano
Aix-Marseille Univ
France

Javier Elipe Gimeno
Aix-Marseille Univ
France

Ivan Magrin-Chagnolleau
Aix-Marseille Univ
France



Published on 27 January 2023   DOI : 10.21494/ISTE.OP.2023.0924

Abstract

Résumé

Keywords

Mots-clés

Since its conception, the computer has found applications to accompany human creativity. Today, the debate about computers and creativity involves several challenges, such as understanding human creativity, modeling the creative process, and programming the computer to exhibit behavior that appears to be creative to some extent. In this paper, we are interested in how the computer can be used as a tool to promote creativity in a musical composition. We automatically extracted the brightness curve from a silent movie and then used it to compose a piece of music to accompany the movie. We extracted several parameters from the brightness curve, and applied compositional rules from these parameters to write the instrumental music for the film. The final composition has a synchronicity and aesthetic fit with the film that are surprising. This compositional process also allowed for a degree of aesthetic freedom that would otherwise have been impossible.

Dès sa conception, l’ordinateur a trouvé des applications pour accompagner la créativité des humains. De nos jours, le débat sur les ordinateurs et la créativité implique plusieurs défis, tels que comprendre la créativité humaine, modéliser le processus créatif, et programmer l’ordinateur pour qu’il présente un comportement qui semble être créatif dans une certaine mesure. Dans cet article, nous nous intéressons à la manière dont l’ordinateur peut être utilisé comme un outil favorisant la créativité dans une composition musicale. Nous avons extrait automatiquement la courbe de luminosité d’un film muet et l’avons ensuite utilisée pour composer une pièce musicale pour accompagner le film. Nous avons extrait plusieurs paramètres de la courbe de luminosité, et nous avons appliqué des règles de composition à partir de ces paramètres pour écrire la musique instrumentale du film. La composition finale présente une synchronicité et un ajustement esthétique avec le film, qui sont surprenants. Ce processus de composition a aussi permis un degré de liberté esthétique qui aurait été autrement impossible.

Computer-Aided Creativity Computational Creativity Musical Composition Music for Film Image Sonification OuLiPo

Créativité assistée par ordinateur Créativité computationnelle Composition musicale Musique à l’image Sonification d’images OuLiPo