Les yeux encore lourds de sommeil, les ornithologues admirèrent les pâles rayons du soleil levant peignant d’or les rares brumes nappant encore le sol d’un chemin forestier tout humide de rosée, avant de se laisser charmer par les chants d’oiseaux, fort nombreux, fort riches et forts variés à cette heure matutinale. Le chœur de l’aube s’étant tu, il était temps de se mettre au travail…

Quand on débute dans l’apprentissage de l’ornithologie, la première difficulté consiste à reconnaître et à dire le nom les oiseaux rencontrés : Grive litorne, Buse variable, Rouge-gorge familier, Fauvette pitchou… Et l’on doit apprendre, patiemment, les critères utiles à cette identification : la taille de l’oiseau, son plumage, son allure, son vol, son habitat… et son chant.

Les ornithologues chevronnés, en effet, savent reconnaître les oiseaux avant que de les voir, et même, parfois, sans jamais les voir du tout. Comme ils brillent d’admiration, les yeux du débutant, quand le spécialiste annonce avoir entendu une Rousserole effarvate, une Locustelle luscinoide, ou un Gorgebleu à miroir. Ne sont-ils pas un peu sorciers , ces gens-là ?

Et le débutant s’entraîne sur le terrain, à reconnaître à la vue ou à l’ouïe, les oiseaux de sa région, et il travaille à la maison, sur ses livres et son ordinateur. Et puis, un jour, il fait la connaissance d’un professeur patient, talentueux, et disponible autant que de besoin, une sorte d’enchanteur, dont le nom, ô merveilleuse coïncidence, est Merlin ! J’ai déjà parlé de ce professeur épatant, qui prend place dans les ordinateurs, les tablettes et les téléphones, afin d’apporter son expertise sur le terrain. Merlin, donc, aide à la reconnaissance visuelle et auditive des oiseaux rencontrés. Et c’est cette reconnaissance des chants d’oiseaux que je souhaiterais aborder aujourd’hui.

Imaginez !  Vous êtes sur un chemin forestier, à l’aube. À votre droite, des bois; à votre gauche une clairière. Vous entendez deux oiseaux dans le bois et un oiseau dans la prairie. Merlin est ouvert sur votre téléphone, et vous cliquez sur le gros bouton « Sound ID » : chaque fois qu’un oiseau vocalise, sa photo et son nom apparaissent, et les informations se mettent à jour, au fil du temps. Et ainsi vous apprenez que les chanteurs de la forêt sont une Sitelle torchepot et une Fauvette à tête noire, quand celui du pré, là-bas, sur son piquet, est un Tarier pâtre. Et vos jumelles confirment l’identification sonore. C’est magique, c’est Merlin !

Sound ID permet aux utilisateurs d’utiliser leur téléphone pour écouter les oiseaux autour d’eux et voir s’afficher, en direct, l’identité de ceux qui chantent (image et nom), et ce pour 1 054 espèces d’oiseaux, avec une couverture complète des États-Unis, du Canada, de l’Europe, du Paléarctique occidental, ainsi qu’une couverture des espèces les plus communes et les plus répandues dans les régions néotropicales et en Inde. Sound ID fonctionne en local, sans qu’il soit nécessaire de disposer d’une connexion à l’internet. 

Mais comment cette identification sonore fonctionne-t-elle ? Quelle est donc cette diablerie ?

Lorsque le téléphone lance un enregistrement sonore, Merlin le convertit, au fil de l’eau en une image appelée spectrogramme. Ce spectrogramme représente les fréquences sonores qui apparaissent dans l’enregistrement, en fonction du temps. L’image du spectrogramme est ensuite traitée par un réseau neuronal convolutif profond. Ce modèle a été entraîné à identifier les oiseaux sur la base de 140 heures d’enregistrements audio contenant des sons d’oiseaux, en plus de 126 heures d’enregistrements audio contenant des sons de fond non liés aux oiseaux, tels que des sifflements et des bruits de voiture. Pour chaque clip audio, un groupe d’experts en identification sonore de la bibliothèque Macaulay et de la communauté eBird a trouvé les moments précis où les oiseaux émettaient des sons, et a étiqueté ces sons avec les espèces d’oiseaux correspondantes. Le modèle peut utiliser cette supervision détaillée des experts pour apprendre à prédire correctement les espèces qui apparaissent dans ces clips audio annotés, dans le but de généraliser cette connaissance et prédire quels oiseaux apparaissent dans des enregistrements audio jamais entendus auparavant.

Une fois la base de données de sons constituée,  le modèle est entraîné à l’aide d’un algorithme de rétro-propagation du gradient. Lorsque le modèle « entend » un extrait sonore, il fait une prédiction basée sur la transformation du spectrogramme de l’extrait sonore par une série d’opérations mathématiques impliquant des millions de nombres (appelés poids). L’algorithme de rétro-propagation du gradient détermine comment ajuster la valeur de chaque poids pour que les prédictions du modèle correspondent à celles des experts en identification sonore. Ce processus de mise à jour des poids constitue la partie « apprentissage » de l’apprentissage automatique.

La construction du modèle d’identification des sons est donc un processus itératif, impliquant un va-et-vient entre les experts en identification des sons, les membres de l’équipe d’apprentissage automatique et les personnes qui fournissent un retour d’information basé sur les tests de l’application sur le terrain. Trois équipes, donc !

Après avoir évalué les performances d’un modèle formé, des ajustements sont apportés à l’algorithme d’apprentissage, et il est demandé aux experts en identification sonore d’étiqueter davantage de clips audio et essayons de localiser les erreurs humaines dans les données précédemment étiquetées.

Merlin n’est pas le premier à utiliser des réseaux neuronaux convolutifs profonds pour identifier les oiseaux par leurs sons. En fait, Merlin s’inspire d’un certain nombre d’autres projets, notamment BirdNET et BirdVox. Il existe de nombreuses autres approches de l’identification des sons d’oiseaux au fil des ans, qui sont le résultat de concours d’ingénierie tels que BirdClef et DCASE, parmi beaucoup d’ autres. Des techniques similaires ont été utilisées pour surveiller l’activité des chauves-souris, et pour trouver des modèles dans les chants de baleines.

Les modèles antérieurs d’identification des sons d’oiseaux ont généralement été formés à l’aide de données dont le niveau de résolution temporelle était plus grossier. Par exemple, un modèle peut entendre un enregistrement de 30 secondes d’une Sittelle torchepot, mais ne pas savoir quand la sittelle chante dans l’enregistrement. Cela peut poser problème : si d’autres espèces chantent dans le même enregistrement, le modèle considérera à tort que toutes les espèces présentes dans l’enregistrement sont des Sittelles torchepot, ce qui entraînera des propositions erronées. L’outil d’identification sonore de Merlin est formé à l’aide de données audio intégrant les moments précis où chaque oiseau vocalise. Le processus de génération de ces données demande beaucoup de travail, car il exige des experts en identification sonore qu’ils écoutent attentivement chaque fichier audio. Grâce à ces efforts, le modèle a la possibilité d’apprendre une représentation plus précise des sons correspondant à chaque espèce (et des sons ambiants). Des recherches récentes confirment que des étiquettes temporellement fines peuvent contribuer à améliorer les performances de la classification audio.

Les enregistrements audio inclus dans Merlin tentent de couvrir toute la gamme de variations des émissions sonores de chaque espèce, et sont sélectionnés et édités par l’équipe de la bibliothèque Macaulay et ses partenaires. 

Enfin, il est bon de savoir que tout un chacun peut aider Merlin Sound ID à enrichir sa base de données en enregistrant des oiseaux sur son téléphone, en les téléchargeant sur les listes de contrôle eBird et en étiquetant les espèces audibles dans l’enregistrement. Les conseils de la bibliothèque Macaulay en matière d’enregistrement sur smartphone sont un excellent point de départ pour ceux qui désireraient participer à cette aventure !

Finalement, et pour résumer, on peut dire que Merlin est aux oiseaux ce que Shazam est à la musique !

SOURCES

1. Behind the Scenes of Sound ID in Merlin. Benjamin Hoffman and Grant Van Horn 22 Jun 2021
2. Voir une vidéo de démonstration de l’application
3. Site internet de Merlin
4. Site internet de eBird