Terwijl wij mensen zwemkleding klaar probeerden te worden was ons algoritme ook bezig om in summer shape te raken. Wat gebeurt er wanneer je een zelflerend algoritme naar een niet-menselijk bootcamp stuurt vraag je je af? Loop even mee naar onze Onderzoeksafdeling voor het antwoord. Opgepast: een nieuw liedje Chordify’en voelt nooit meer hetzelfde na het lezen van dit artikel.
Wist je dat 99.9998% van alle songs die je met Chordify vindt niet-menselijke annotaties zijn? Jawel! Het is Machine Learning technologie van de bovenste plank die hier de show steelt. Er komen vrijwel geen stervelingen meer aan te pas. Het enige wat het algoritme nodig heeft is een stevige training zo nu en dan. Voordat we uitleggen wat een computer-science-bootcamp inhoudt vertellen we je graag wat het algoritme nou precies doet. Geen paniek als je geen kunstmatige intelligentie hebt gestudeerd: het is een lekker versimpelde uitleg.
Wat gebeurt er als je op de knop “Chordify now” drukt?
Wat speelt zich af onder de motorkap als je een liedje zoekt op Chordify? Als het nummer al eerder is gechordified dan worden de akkoorden uit de database gehaald waar akkoordprogressies van miljoenen liedjes liggen opgeslagen. Als de akkoorden van dit specifieke liedje daar nog niet blijken te liggen, verschijnt de “Chordify now” knop. Als je die indrukt kickstart je de algoritme-motor die direct het nummer gaat luisteren om de akkoorden te berekenen op basis van het audiosignaal. Dit betekent dat de diepe neurale netwerken achter de schermen continu naar miljoenen liedjes luisteren en een oneindige stroom akkoorden uitspugen die verschijnen op het juiste moment. Om de akkoorden synchroon met het liedje te laten lopen heb je de beat nodig. Of eigenlijk; de beattracker. We presenteerden de beattracker voor het eerst op ISMIR 2019 aan wetenschappers vanuit de hele wereld.
Down beattracker
Nu weten we dat het Chordify algoritme is gebaseerd op diepe neurale netwerken; een akkoord-netwerk en een beat-netwerk. Samen zorgen ze ervoor dat de akkoorden synchroon lopen met het liedje. De beattracker regelt dat de akkoorden netjes meespringen met de muziek, net zoals als je het zelf zou meeknikken, alleen dan zonder dat je een fysiek hoofd nodig hebt. Wat deze beattracker zo speciaal maakt is dat het niet alleen meeknikt, maar dat het ook het begin van elke maat herkent en deze markeert als 1 (2, 3, 4). De 1 noemen we de downbeat. De training die deze zomer plaatsvond stond helemaal in het teken om de downbeat te verbeteren.
4238 nummers in 4 dagen
Goed, het algoritme ploegt zich dus elke dag door duizenden en duizenden liedjes. Het loopt z’n rondjes op een gestaag tempo. Om de algemene kwaliteit te verbeteren (oftewel de nauwkeurigheid van de akkoorden en het ritme) komen er dus trainingsprogramma’s om de hoek kijken. Tijdens dit trainingskamp kreeg het algoritme les van een speciale server die vier dagen non-stop zo’n 4238 liedjes draaide. Door hier naar te luisteren leerde het Chordify algoritme beter de downbeat herkennen.
Mens versus machine
Het leerproces bestaat uit een vergelijking tussen wat het netwerk automatisch genereert en de resultaten afkomstig uit menselijke handgemaakte annotaties. Met andere woorden; in hoeverre haalt kunstmatige intelligentie het bij menselijke intelligentie? Nadat de vergelijking gemaakt is, wordt de informatie teruggestuurd door het netwerk in tegenovergestelde richting waarbij alle knooppunten worden aangepast zodat het netwerk dichter bij de juiste resultaten uitkomt. Deze zomer ging het allemaal om het nauwkeuriger herkennen van de downbeat.
Betere downbeats voor iedereen
Nu je de basis van neurale netwerken door hebt en weet waar de kwaliteitsverbeteringen vandaan komen voelt de ‘Chordify now’ knop misschien iets magischer dan voorheen. Allicht vallen de verbeteringen niet elke keer op wanneer je Chordify gebruikt, maar het zijn de technologische details die het verschil maken op de lange duur: het scherper maken van het algoritme en de akkoorden zodat jij elk liedje dat je wilt ook daadwerkelijk kunt leren spelen. Happy jamming!
