Une affaire de plagiat qui oppose un jeune artiste luxembourgois et une artiste renommée siné-américaine fait le tour des médias luxembourgeois et internationaux depuis plusieurs semaines. Le 19 septembre prochain, la justice luxembourgeoise entendra les avocats de chaque partie dans le litige qui les oppose. «Le moment sera jouissif», a fait savoir maître Gaston Vogel, l’avocat de l’artiste luxembourgeois.
Comme je suis fasciné par l’évolution fulgurante de l’intelligence artificielle (AI), basée sur des réseaux neuronaux appliqués à l’apprentissage profond des machines, j’ai exploré un modèle AI récent spectaculaire qui permet de créer des images et oeuvres d’art à partir d’une description en langage naturelle. Il s’agit du modèle DALL-E2 présenté en avril 2022 par la société commerciale OpenAI.
Dans l’édition du 14 juillet 2022 du magazine renommé IEEE Spectrum, l’éditrice Eliza Strickland a publié une contribution intitulée DALL-E 2’s Failures Are the Most Interesting Thing About It. Comme une image vaut mieux que qu’un long texte, je me permet d’illustrer les performances de ce modèle AI par deux oeuvres réalisées à la demande de l’IEEE.
L’image en haute résolution ci-dessous est le résultat de la requête soumise au modèle DALL-E2 avec la description “A Picasso-style painting of a parrot flipping pancakes“.
Le deuxième exemple avec la description “New Yorker-style cartoon of an unemployed panda realizing her job eating bamboo has been taken by a robot” est encore plus impressionnant.
New Yorker-style cartoon of an unemployed panda realizing her job eating bamboo has been taken by a robot credit IEEE Spectrum July 2022
Création et exploitation du modèle DALL-E2
Le modèle neuronal DALL-E2 a été entraîné avec environ 650 millions d’images, extraites d’Internet et étiquetées avec une description du contenu. Le modèle n’est pas public et jusqu’à présent seulement quelques chercheurs sélectionnés ont eu accès pour l’évaluer. Mais OpenAI vient d’annoncer le 20 juillet 2022 qu’un million d’usagers, qui s’était inscrit sur une liste d’attente, sera invité dans les prochaines semaines pour tester une version beta publique.
Chaque usager aura un crédit d’accueil gratuit de 50 points pour générer 50 images et chaque mois 15 points gratuits supplémentaires seront ajoutés. En outre des crédits de 115 points pour créer 115 images peuvent être achetés pour 15 dollars. Les images générées peuvent être utilisées à des fins commerciales.
OpenAI a installé certaines barrières pour empêcher la création de contenus violents, racistes ou pornographiques. En outre il n’est pas possible de générer des visages humains réalistes.
Les répercussions de l’utilisation de cette technologie à grande échelle sur les agences de communication et sur des professions d’art visuel seront significatives et vont également toucher l’industrie afférente au Grand-Duché de Luxembourg. Il est probable que l’utilisation de ces images synthétiques soit à l’origine d’autres affaires de plagiat qui vont se plaider devant les tribunaux au Luxembourg. L’appréciation d’un plagiat sera encore plus difficile, car il faut démontrer que des images spécifiques à attribuer à un auteur particulier ont été utilisées pendant l’entraînement du modèle et sont à l’origine d’un trait particulier de l’image générée par l’AI. Je parie que maître Gaston Vogel va vivre d’autres moments jouissifs.
Modèle Imagen de Google
Google a présenté le 23 mai 2022 un modèle similaire, appelé Imagen, dans une publication de recherche sur ArXiv. On peut voir des exemples sur le site web Imagen. Contrairement à OpenAI, Google ne s’est pas encore prononcé au sujet de la commercialisation de son modèle, mais prétend que les performances de son modèle sont supérieures à celui d’OpenAI.
Mes images réalisées avec DALL-E mini
Comme je ne fais pas encore partie des usagers beta invités par OpenAI, je me suis limité à tester le modèle DALL-E mini, développé par Boris Dayma. Publié d’abord sur la plateforme AI communautaire géniale HuggingFace, le modèle public DALL-E mini, devenu viral, vient d’être transféré sur un site propre www.craiyon.com. Ce modèle n’a pas la résolution ni la performance de son tuteur, mais les résultats permettent d’apprécier le pouvoir de disruption de cette nouvelle technologie AI. Tout comme l’original, DALL-E mini ne créé pas de visages réalistes pour éviter des abus.
Lors de la soumission d’une description dans la barre de titre de l’application Craiyon, 16 images en faible résolution sont générées et les 9 meilleurs résultats sont affichés. La galerie ci-après présente quatre requêtes associées au nom de l’artiste Jingna Zhang. À vous de juger s’il s’agit de plagiats.
click to zoomclick to zoomclick to zoom
Testeur beta
Le 15 août 2022 OpenAI m’a informé que ma candidature pour participer aux tests de DALL-E2 a été acceptée.
Je n’ai donc pas hésité à faire de suite les premiers essais. Le titre soumis pour la première image était “cartoon of an elephant and a giraffe riding a bicycle on the beach“. J’ai saisi le texte “a painting of the ark Noe in the style of Renoir” pour créer la deuxième image. Parmi les quatre images générées avec la résolution 1024 x 1024 pixels pour chaque description, j’ai choisi les oeuvres d’art suivants qui me plaisent le mieux.
Image générée par DALL-E2 de OpenAI avec la description “cartoon of an elephant and a giraffe riding a bicycle on the beach“Image générée par DALL-E2 de OpenAI avec la description “a painting of the ark Noe in the style of Renoir“
Je me propose de créer dorénavant au moins une image par jour et de les partager sur les réseaux sociaux. Le 16 août 2022 j’ai publié les neufs premières créations sur mon compte Instagram.
Fake News, Photo Retouching, Deepfake a Voice Clonig sinn Begrëffer, déi een zënter e puer Joren ëmmer méi oft héiert.
Coqui.ai, eng Start-Up aktiv am Beräich vun der Sproochsynthees (TTS) a Sproocherkennung (STT), déi ufanks 2021 vun fréieren Mataarbechter vum Mozilla-Voice-Projet gegrënnt gouf, huet virun e puer Deeg eng flott Voice-Cloning-Applikatioun presentéiert.
Domat kann jiddereen seng eege Stëmm benotzen fir Texter a syntheetesch Sprooch ëmzewandelen.
Audio Datei ophuelen oder oplueden
Et brauch een dozou eng Audio-Datei vun maximal 30 Sekonnen, déi een um Website vun Coqui.ai kann ophuelen oder oplueden. Ech hunn dat haut emol ausprobéiert, mat menger eegener Stëmm an mat där vum Charel, ee vu mengen Enkelkanner.
Nodeems déi kënstlech TTS-Stëmm generéiert gouf, kann een se direkt ausprobéieren. Den Sproochsynthees-Modell schwätzt bis elo nëmmen Englesch, wat et e bësschen méi schwéier mécht fir d’original Stëmmen erëmzekennen.
Text mat Stëmm syntheetesch generéieren
Als Text hunn ech den Ufank vun deem bei Linguisten beléiwten Epos vum “Nordwand and der Sonn” benotzt:
The North Wind and the Sun were disputing which was the stronger, when a traveler came along wrapped in a warm cloak. They agreed that the one who first succeeded in making the traveler take his cloak off should be considered stronger than the other.
Den Tempo vun der generéierter Sprooch kann normal, schnell oder lues gewielt ginn.
Dem Charel seng Stëmm
Hei ënnen drënner kënnen mer dem Charel seng Opnam lauschteren an eis de Signalverlaf mam Audacity Programm ukucken.
Audio source Charel : 29 secondes
An hei ass dem Charel seng TTS-Stëmm an den entspriechenden Signalverlaf. Fantastesch!
Il y a plusieurs années j’avais testé à l’aide de photos de mes petits-enfants les services de reconnaissance de personnes et de motifs, disponibles sur le web, basés sur l’intelligence artificielle. Pour les GAFAM (Google, Apple, Facebook, Amazon et Microsoft) ces services sont devenus aujourd’hui des produits commerciaux lucratifs. Les start-up’s actives à l’époque dans ces domaines ont presque toutes été acquises entretemps par les géants du web, auxquels il faut ajouter IBM (GAFAMI).
La liste de mes anciennes contributions à ce sujet est relevée ci-après:
La reconnaissance faciale est un moyen d’identifier ou de confirmer l’identité d’un individu grâce à son visage. Les systèmes de reconnaissance faciale peuvent servir à l’identification de personnes sur des photos, dans des vidéos ou en temps réel.
La reconnaissance faciale est devenue aujourd’hui un outil de la vie quotidienne : pour débloquer son mobile, pour retrouver des personnes sur les réseaux sociaux, pour gérer sa collection de photos numériques sur son ordinateur, sa station-disque ou dans le nuage (cloud).
J’ai sauvegardé sur ma station-disque Synology des dizaines de milliers de photos que je gère avec les applications PhotoStation et Moments. Il s’agit de photos récentes prises avec des appareils photographiques digitaux ou avec des mobiles, des diapositives ou négatives numérisés, d’anciennes photos scannées (avec un scanner ou avec Google PhotoScan) ou des images synthétiques respectivement des copies-écran.
La majorité des logiciels de gestion d’une collection de photos dispose aujourd’hui d’une application de reconnaissance faciale intégrée performante. Synology ne fait pas d’exception. Les images suivantes montrent les résultats de recherches de quelques anciens collaborateurs, collègues et amis, de mes anciens directeurs, de membres de ma famille.
Cliquez pour agrandir
Il est évident qu’il faut entrer le nom d’une personne la première fois qu’une photo avec un nouveau visage est enregistrée. Mais à partir de ce moment, la reconnaissance des personnes se fait automatiquement lors de chaque nouvelle sauvegarde d’une photo, avec une précision étonnante. Il peut s’agir de portraits, de photos plan buste, de cadrages plein pied et même de photos de groupe avec plusieurs dizaines d’individus. Il est même possible de regrouper automatiquement des mannequins, des sculptures de bustes, des peintures, même s’il s’agit de visages différents.
Si l’application ne réussit pas à identifier un visage, elle présente les photos afférentes avec la question “Who’s This?” On peut alors répondre en indiquant le nom correct et le tour est joué. Les raisons d’une identification non-réussie sont multiples : Des nouveaux-nés dont le visage change en permanence les premiers mois, des personnes costumées (carnaval) ou masquées (Covid) comme Thomas, Charles et Capucine, des personnes avec ou sans lunettes comme Frank, des personnes sans identification manuelle initiale comme Isabelle, des statues de pharaons sans noms.
Reconnaissance de motifs et d’objets
Une application d’intelligence artificielle (AI) intégrée dans les logiciels de gestion de photos, plus spectaculaire encore que la reconnaissance faciale, constitue la reconnaissance automatique des motifs et objets représentés sur les photos d’une collection, accompagnée d’une classification automatique dans des albums virtuels. L’utilisateur n’a pas besoin d’intervenir dans ce processus. L’entraînement des modèles AI se fait par les développeurs des logiciels à partir de bases de données publiques contenant des millions d’images annotées.
La base de données d’images avec étiquettes la plus fameuse est ImageNet. Lancée en 2006 par la chercheuse Fei-Fei-Li, spécialiste de la vision par ordinateur, la base de données ImageNet a été étendue progressivement et comprend actuellement plus que 14 millions d’images.
Au début mes photos ont été classées automatiquement par grandes rubriques : enfants, animaux, paysages, architectures. etc. J’ai considéré cette option comme gag intéressant. Avec chaque nouvelle mise à jour le logiciel est devenu plus performant. Pour les animaux des sous-catégories ont été créées: tortues, escargots, lapins, poissons, chevaux, moutons, chats etc. Actuellement l’AI commence à différencier les races des chiens. Aujourd’hui la classification automatique est un outil précieux pour moi pour rechercher des souvenirs.
Au niveau de l’alimentation, le programme fait la distinction entre pizza, paëlla, menu italien, dessert etc.
Cliquez pour agrandir
Identification de desserts non comestibles
Si on regarde l’image de couverture sélectionnée par l’AI pour la rubrique Dessert, on constate qu’il s’agit en réalité du livre “2. Schoulheft” de Capucine. J’ai constaté que parmi toutes les catégories c’est dans la rubrique “Dessert” que l’AI de Synology se trompe le plus souvent. Les copies-écran suivantes montrent quelques exemples: une oeuvre d’art peinte par un enfant, un tablier de jeu de moulin, deux poussins dans un carton, un jouet FisherPrice, une collection de minéraux, un bonhomme de neige, un caméléon télécommandé.
Je retire toutefois mon chapeau pour la reconnaissance par l’AI que les quatre photos de Capucine, avec des framboises sur les doigts, représentent un dessert.
Cliquez pour agrandir
Mais l’AI de Synology n’est pas la seule à se tromper avec des photos de menus. Il y a deux ans Google avait pris l’initiative automatique de créer un vidéoclip intitulé “Bon appétit” avec mes photos prises en 2019 avec mon iPhone. Parmi les dégustations figuraient des photos de têtards, du moisi dans un pot de confiture, des jouets de dinosaures qui sortent d’un oeuf et de plats garnis par mes petits-enfants avec des coquillages, fleurs et feuilles d’arbustes.
Mot de la fin
Malgré ces quelques erreurs qui font rire, les performances de l’intelligence artificielle progressent à grands pas et les résultats sont de plus en plus impressionnants.
Dans l’attente de l’élimination de quelques bogues dans les modèles de synthèse vocale (TTS) par la communauté Coqui.ai, aux fins de progresser avec mon projet de création d’une voix TTS luxembourgeoise, je me suis focalisé les dernières semaines sur la reconnaissance automatique de la parole luxembourgeoise (STT: Text to Speech ou ASR: Automatic Speech Recognition).
Pour entraîner un modèle STT avec des réseaux neuronaux, il faut disposer d’une base de données audio avec les transcriptions de la parole enregistrée. Au début 2022 j’avais finalisé une base de données avec les enregistrements de quatre oratrices (au total 1005 échantillons) pour l’entraînement d’un modèle TTS luxembourgeois avec quatre voix. Entretemps j’ai complété cette base avec des enregistrements publics de trois orateurs (1.676 échantillons) et je l’ai étoffé avec les enregistrements audio du dictionnaire luxembourgeois LOD (24.678 échantillons).
Ainsi j’ai pu constituer deux ensembles de données avec 2.880, respectivement 27.072, échantillons qui se prêtent pour l’entraînement de modèles TTS et STT. Je vais prochainement publier ces bases de données LB-2880 et LB-27072 sur mon compte Github.
Les deux ensembles sont segmentés en trois volets. Le plus large (train.csv) est utilisé pour l’entraînement du modèle, le deuxième (val.csv) sert à mesurer le progrès de l’entraînement après chaque cycle d’itérations (époque) et le troisième (test.csv) permet de tester la performance du modèle à la fin de l’entraînement. Les détails sont indiqués dans le tableau qui suit:
Base de données
LB-2880
LB-27072
Durée totale
ca 7 heures
ca 13 heures
échantillons train
2560
25600
échantillons val
192
1344
échantillons test
128
128
Transfert d’apprentissage
Convaincu que le seul moyen pour réussir l’entraînement d’un modèle STT luxembourgeois consiste à se baser sur un large modèle pré-entraîné dans une autre langue, je me suis tout de suite concentré sur cette option de transfert d’apprentissage. Les résultats impressionnants que le Pr Peter Gilles a obtenu sur base du modèle wav2vec2-XLS-R-300m créé par Meta AI (Facebook) ont renforcé ma conviction.
Coqui.ai a mis un modèle pré-entraîné en langue anglaise à disposition de la communauté. Comme la langue luxembourgeoise utilise un alphabet plus large que l’Anglais avec les caractères accentués suivants
il faut supprimer la dernière couche de neurones du modèle pré-entraîné anglais pour pourvoir l’entraîner avec une base de données luxembourgeoise. Le hyper-paramètre de configuration ‘--drop_source_layers 1‘ permet de remplacer la dernière couche avec une nouvelle couche, initialisée avec l’alphabet luxembourgeois.
Hélas les premiers résultats ne répondaient pas du tout à mes attentes et les métriques affichées étaient plus mauvaises que celles obtenues lors de mes premiers tests, effectués à partir de zéro au début de l’année.
Modèles HuggingFace
Pour exclure que la qualité de ma base de données soit insuffisante, j’ai essayé de reproduire l’entraînement du premier modèle STT luxembourgeois sur HuggingFace avec mes propres données. Comme l’utilisation du modèle géant wav2vec2-XLS-R-300m, qui a servi de base pour le premier modèle, dépassait avec 300 millions de paramètres la capacité de traitement de mon ordinateur desktop, ainsi que celle de mon compte Pro sur la plateforme Google Colab, j’ai choisi un modèle pré-entraîné plus simple sur HuggingFace, à savoir le modèle Wav2Vec2-XLSR-53.
Avec un résultat WER de 0,17 j’ai réussi à obtenir des valeurs de même niveau que celles rapportées par le Pr Peter Gilles. Je vais prochainement publier mon modèle résultant sur mon compte HuggingFace.
Modèle Coqui-STT
On peut se demander quel est l’intérêt de s’acharner sur d’autres modèles STT que ceux offerts en source ouverte sur la plateforme formidable HuggingFace qui constitue aujourd’hui la référence en matière de l’apprentissage automatique profond et la plus grande communauté d’intelligence artificielle (AI) sur le web.
La réponse n’est pas simple. Une raison est certainement la taille des modèles STT entraînés. Si la taille est de quelques Giga Bytes dans le premier cas, elle est de quelques dizaines de Mega Bytes dans le cas du modèle Coqui-STT, ce qui permet de le porter sur un mobilophone (iOS et Android) ou sur un nano-ordinateur mono-carte comme le Raspberry Pi. Une deuxième raison est l’adaptation plus simple à son propre environnement. La configuration fine du modèle Coqui-STT simplifie son optimisation pour une utilisation spécifique. Personnellement je suis d’avis que la majeure raison constitue toutefois la transparence des processus. Les recettes HuggingFace sont une sorte de boîte noire d’usine à gaz qui fournit des résultats spectaculaires, mais dont le fonctionnement interne est difficile à comprendre, malgré l’ouverture du code. Pour apprendre le fonctionnement interne de réseaux de neurones un modèle comme Coqui-STT est plus approprié. J’ai donc continué à explorer l’apprentissage automatique profond du modèle Coqui-STT à partir de zéro, avec la certitude que ma base de données est de qualité.
Comme le fichier de configuration Coqui-STT comporte 96 hyper-paramètres, j’ai essayé de comprendre le rôle de chaque hyper-paramètre. J’ai vérifié également l’influence de quelques hyper-paramètres clés sur l’entraînement du modèle à l’aide d’une base de données restreinte de 100 échantillons. Les résultats significatifs sont commentés ci-après:
Similarité des entraînements
La taille d’un réseau de neurones est déterminée par le nombre de couches, le nombre de neurones par couche et le nombre de connexions entre neurones. Le total constitue le nombre de paramètres du modèle, à ne pas confondre avec les hyper-paramètres qui spécifient la configuration du modèle. Les paramètres du modèle sont initialisés au hasard au début de l’entraînement. Pour cette raison chaque processus d’entraînement produit des résultats différents. Le graphique qui suit montre en trois différentes vues que les différences sont négligeables.
Nombre de couches
Le nombre de couches par défaut du modèle Coqui-STT est de 2048. Ce nombre est trop élevé pour une petite base de données. La figure suivante montre en deux vues l’évolution de l’entraînement en fonction du nombre de couches.
Nombre de lots
Les échantillons de la base de données pour entraîner le modèle STT sont répertoriés dans un fichier csv dans le format suivant:
wav_filename,wav_filesize,transcript
wavs/guy/walresultat-04.wav,232854,awer och net op eng spektakulär manéier obwuel a prozenter ausgedréckt ass de minus dach méi staark wéi a sëtz ausgedréckt
wavs/sara/Braun_042.wav,113942,ech hunn am bësch eng heemeleg kaz fonnt
wavs/jemp/WD-2007-jemp-07.wav,197962,wou en dag fir dag e puer vun deene fäll klasséiert
wavs/judith/marylux_lb-wiki-0138.wav,132754,florange ass eng franséisch uertschaft a gemeng am departement moselle a loutrengen
...........
Chaque ligne du fichier csv correspond à un échantillon et comporte le chemin et le nom d’un fichier audio, la taille de ce fichier et la transcription de l’enregistrement audio, en lettres minuscules et sans signes de ponctuation. Les échantillons sont regroupés par lots lors de l’entraînement. Une itération d’entraînement comprend le traitement d’un seul lot. Une époque comprend le total des itérations pour traiter tous les échantillons. Si la taille d’un lot est égal à un, le nombre des itérations est égal au nombre des échantillons. Dans le cas d’un lot de 10, le nombre des itérations est seulement un dixième du nombre des échantillons. Comme le temps de calcul d’une itération n’augmente presque pas avec l’accroissement de la taille d’un lot, le temps d’entraînement se réduit de la même manière. On a donc intérêt à spécifier une taille élevée des lots. Hélas, la taille des lots est fonction de la mémoire disponible du processeur graphique (GPU). Une taille trop élevée génère des erreurs “memory overflow” .
J’ai réalisé tous mes entraînements sur mon ordinateur desktop avec GPU NVIDIA RTX2070 avec des lots de 32, respectivement de 16 dans certains cas spécifiques.
Rapport entre entraînement et validation
Le graphique qui suit montre l’évolution de l’entraînement pour une base de données déterminée en fonction de la répartition des échantillons pour l’entraînement et pour la validation.
La segmentation de 93:7 que j’ai chois semble être appropriée.
Taux Dropout
Le mécanisme de “dropout” permet de réguler l’apprentissage d’un réseau de neurones et de réduire le “overfitting“. Il consiste à la suppression au hasard de connexions entre neurones pendant chaque itération à un taux spécifié dans la configuration. Le graphique suivant montre l’influence de ce taux sur l’entraînement. La valeur par défaut est de 0.05 et produit les meilleurs résultats.
Taux d’apprentissage
Le taux d’apprentissage (learning rate) est un hyper-paramètre important dans la configuration d’un modèle STT ou TTS. La valeur par défaut du modèle Coqui-STT est de 0.001. La figure qui suit montre l’influence de ce taux sur l’entraînement.
Une option de configuration intéressante proposée par le modèle Coqui-STT est la suite des hyperparamètres suivants:
Elle permet de modifier le taux d’apprentissage si la performance de l’entraînement ne progresse plus pendant trois époques. On parle de plateau dans la métrique affichée. J’ai utilisé cette option dans tous mes entraînements.
Augmentation des données
En général les modèles d’apprentissage automatique en profondeur sont très gourmands en données. Que faire si on ne dispose pas d’un nombre important de données pour alimenter un modèle ? On augmente les données existantes en ajoutant des copies modifiées des échantillons ! Dans le cas du modèle Coqui-STT on créé par exemple des fichiers audio modifiés avec les mêmes transcriptions. En changeant le volume, le ton, la cadence ou le spectre des enregistrements, on peut créer des échantillons supplémentaires.
L’outil data_augmentation_for_asr de Frederic S. Oliveira permet de générer aisément des nouveaux fichiers .wav et .cvs à ajouter à la base de données existante. J’ai réalisé des tests afférents en désignant ce processus comme augmentation externe. Le modèle Coqui-STT inclut une telle option sans recourir à un outil externe et sans augmenter le temps d’entraînement. L’hyper-paramètre suivant, ajouté au script d’entraînement,
permet par exemple de tripler le nombre des échantillons.
Suivant mes tests l’augmentation des donnés ne présente plus d’intérêt si le nombre des échantillons originaux dépasse quelques milliers.
Un type d’augmentation pour l’entraînement STT que je n’ai pas encore testé est la création d’échantillons synthétiques moyennant un modèle TTS luxembourgeois. C’est une piste que je vais encore explorer.
Résultats des entraînements avec les deux bases de données
LB-2880
La base de données LB-2880 comprend 2530 échantillons enregistrés par 4 oratrices et par 3 orateurs, ainsi que 350 mots du dictionnaire LOD. Le tableau qui suit relève les résultats pour des entraînements avec différents paramètres, pendant 30 époques chacun:
couches
lot
augmentation
meilleur modèle acoustique
WER
CER
LOSS
1024
16
sans
best_dev_1760
0.705
0.221
73,9
1024
16
interne
best_dev_2720
0,717
0.222
69,0
2048
16
sans
best_dev-1440
0.723
0.224
78.5
2048
16
externe
best_dev-2395
0.776
0.271
78.4
2048
16
interne
best_dev-3520
0.710
0.231
70,8
LB-27072
La base de données LB-72072 est identique à la base LB-2880, mais avec l’addition de 24.192 échantillons (mots) du dictionnaire LOD. Les résultats sont affichés ci-après:
couches
lot
augmentation
meilleur modèle acoustique
WER
CER
LOSS
1024
16
sans
best_dev-25600
0.729
0.253
94.2
2048
16
sans
best_dev-19200
0.732
0.247
97.2
2048
16
interne
best_dev-41600
0.870
0.338
92.8
Comparaison
Contrairement à mes attentes, l’inclusion de tous les mots du dictionnaire LOD ne produit pas un meilleur modèle STT, au contraire. Les métriques des modèles LB-27072 sont globalement moins performants que celles des modèles entraînés avec la base de données LB-2880. Je vais prochainement explorer si la base de données LB-27072 présente des avantages pour l’entraînement d’un modèle TTS.
Les performances des cinq modèles entraînés avec la base de données LB-2880 ne diffèrent pas sensiblement. Je me propose de retenir le modèle à 1024 couches et entraîné sans augmentation de données comme meilleur modèle acoustique.
Tensorflow Lite
Il est recommandé de convertir le meilleur modèle en format Tensorflow Lite (.tflite) pour pouvoir le déployer sur des systèmes à ressources restreintes comme des mobilophones. Le script pour exporter le modèle est le suivant:
Le modèle exporté a une taille de 12.2 MB. Je signale qu’il existe un standard ouvert pour les modèles AI, appelé ONNX (Open Neural Network Exchange), qui n’est pas encore supporté par Coqui-STT.
Modèle de langage
Un système de reconnaissance de la parole ne comporte pas seulement un modèle acoustique comme nous l’avons vu jusqu’à présent, mais également un modèle de langage qui permet de corriger et de parfaire les résultats du modèle acoustique. L’outil KenML représente actuellement l’état d’art dans la création d’un modèle de langage. HuggingFace et Coqui-STT supportent tous les deux cet outil, en combinaison avec le modèle acoustique.
Dans le cas du projet Coqui-STT, dont le code est exécuté dans un conteneur Docker, sans intégration de l’outil KenML, la réalisation du modèle de langage luxembourgeois demande quelques bricolages informatiques. J’ai toutefois réussi à créer un modèle de langage à l’aide de la base de données LB-27072. Ce modèle se présente comme suit et comprend un vocabulaire de 25.000 mots uniques.
A la fin de cet exposé il convient de comparer les performances de mon meilleur modèle acoustique Coqui-STT, combiné avec mon modèle de langage KenML, avec celles du modèle pgilles/wavevec2-large-xls-r-LUXEMBOURGISH-with-LM.
A ces fins j’ai sélectionné au hasard cinq échantillons qui ne font pas partie des entraînements effectués sur les deux modèles:
wavs/Braun_066.wav,233912,hues de do nach wierder et koum en donnerwieder an et huet emol net gereent
wavs/alles_besser-31.wav,168348,déngschtleeschtungen a wueren ginn automatesch och ëm zwee komma fënnef prozent adaptéiert
wavs/lb-northwind-0002.wav,82756,an der zäit hunn sech den nordwand an d’sonn gestridden
wavs/mbarnig-gsm-75.wav,104952,a wou den deemolege president et war e finnlänner
wavs/dictate_dict9-18.wav,182188,dobäi muss de bierger imperativ op allen niveaue méi am mëttelpunkt stoen
Les résultats sont présentés dans le tableau qui suit:
transcription source
reconnaissance HuggingFace
WER
reconnaissance Coqui-STT
WER
hues de do nach wierder et koum en donnerwieder an et huet emol net gereent
hues de do nach wierder et koum en donnerwieder an etude monet gereent
0.267
hues de do nach wierder et koum en donnerwieder an et huet mol net gereent
0.067
déngschtleeschtungen a wueren ginn automatesch och ëm zwee komma fënnef prozent adaptéiert
déng schlecht jungenawouren ginautomatech or zweker a déiert
1.0
angscht leescht engen a wueren ginn automatesch och am zwee komma fanne prozent adapter
0.500
an der zäit hunn sech den nordwand an d’sonn gestridden
an der zäit hunn sech de nocturnen zon gestridden
0.4
an der zeitung sech e nach finanzen lescht rieden
0.700
a wou den deemolege president et war e finnlänner
wou den deemolege president war e finnlänner
0.222
a wou den deemolege president et war finn aner
0.222
dobäi muss de bierger imperativ op allen niveaue méi am mëttelpunkt stoen
dobäi muss de bierger imperativ op alle nivo méi a mëttepunkt stoen
0.333
do bei muss de bierger imperativ op allen niveaue ma am et e punkt stoen
0.500
Conclusions
Il semble que le modèle HuggingFace fait moins d’erreurs, mais je pense qu’il faut faire plus de tests pour évaluer correctement la performance des deux modèles. Les résultats me réconfortent de continuer l’exploration du modèle Coqui-STT avec un apprentissage à partir de zéro. Je me propose de suivre les pistes suivantes:
étendre ma base de données LB-2880 avec la création d’échantillons supplémentaires à partir d’enregistrements audio de RTL Radio pour parfaire mes modèles Coqui-STT et Coqui-TTS
porter le modèle Coqui-STT sur iPhone
examiner la possibilité d’extension de ma base de données STT moyennant des échantillons synthétiques créés à l’aide de modèles TTS luxembourgeois
explorer l’utilisation de l’augmentation des données et d’échantillons synthétiques sur mon modèle HuggingFace
Application interactive de démonstration
J’ai publié le 31 juillet 2022 une application interactive lb-de-en-fr-pt-COQUI-STT de mon modèle sur la plateforme d’intelligence artificielle Huggingface. Veuillez utiliser un navigateur Chrome pour explorer la démo.
La présente contribution est un sous-chapitre de mon projet de livre au sujet de l’histoire des technologies de l’information et de la communication (TIC) au Luxembourg.
Introduction
Les jeux électroniques ne constituent non seulement des loisirs numériques, mais des vraies activités sportives, qui ne tarderont pas d’être intégrées dans les jeux olympiques, probablement dès 2028 à Los Angeles. eSport est l’abréviation de sport électronique et désigne la pratique sur Internet ou en LAN-Party d’un jeu vidéo, seul ou en équipe, par le biais d’un ordinateur, d’une console de jeux vidéo ou d’un smartphone. Certes l’eSport demande d’autres efforts physiques que la natation, le football, le marathon ou l’équitation, mais il comporte tous les ingrédients que le sport traditionnel : l’entraînement, l’hygiène de vie, les équipes, les compétitions, les fédérations, les ligues, les sponsors, les médailles, les joueurs professionnels, les spectateurs, les maillots etc.
Le premier tournoi eSport a eu lieu en 1997 et regroupait environ 300 concurrents autour d’un jeu unique : Quake. Le tournoi a été organisé par CPL (Cyberathlete Professional League), fondée par Angel Munoz.
Le Luxembourg a une riche histoire en sport électronique, mais peu connue par le grand public. En 2022, l’intéressé au sport électronique peut s’informer aisément sur l’évolution des compétitions qui se déroulent actuellement au Luxembourg. Le moyen le plus pratique est de regarder la vidéo hebdomadaire Panorama, produite par la société 11F depuis le début 2022.
Une autre source constitue la rubrique Gaming sur le site web de RTL, introduite en mars 2016. Finalement on peut faire une recherche avec les mots clé eSport ou Gaming sur les sites web de la presse écrite : Paperjam, Wort, Tageblatt, Quotidien, Essentiel, etc. Il existe en outre des sites web événementiels qui renseignent sur la scène des sports électroniques, comme mental.lu, moien.lu, supermiro.lu, etc.
Pour retracer l’histoire de l’eSport au Luxembourg, dès ses débuts, c’est moins évident. Grâce à mes archives privées et à la machine wayback sur Internet j’ai réussi à établir une chronologie des événements les plus importants et à identifier les pionniers de l’eSport au Luxembourg. J’ai segmenté l’histoire afférente en quatre parties qui se chevauchent toutefois dans la pratique :
1980 – 1999 : la préhistoire de l’eSport
2000 – 2009 : l’eSport se pratique hors ligne en réseau local
2010 – 2019 : l’eSport passe sur Internet à haute vitesse
> 2020 : l’eSport devient une nouvelle industrie à part entière
1980 – 1999 : la préhistoire de l’eSport
Abstraction faite de quelques séances de tennis jouées sur une console Atari au début des années 1980, mes vrais souvenirs sur l’eSport, qui remontent à la surface, se situent dix ans plus tard. Au début des années 1990 mes enfants invitaient régulièrement leurs amis autour d’un jeu mono-joueur, comme PacMan ou Tetris, exécuté sur mon ordinateur personnel Atari ST. Le plus rapide, ou celui qui obtenait le plus de points, était le vainqueur du jour.
Mono-jeux vidéo sur Atari 1040 en 1993
A l’époque certains pédagogues pensaient que le jeu vidéo constituait un facteur d’isolement pour les enfants. J’ai observé le contraire. Les parties comnunes de jeux vidéo favorisaient les contacts sociaux.
En 1992, Dan Steinmetz et Yves Thommes, originaires de la région d’Echternach, ont chassé ensemble les nazis dans le fameux jeu vidéo Wolfenstein 3D. En décembre 1993 le premier grand jeu multi-joueur DOOM a été lancé. Les deux copains ont passé de plus en plus de temps à jouer DOOM sur leurs ordinateurs, interconnectés avec un câble null-modem. Dans la suite deux autres copains, Patrick Morette et Jérôme Peeters, ont rejoint la communauté. Fin 1994 ils étaient donc quatre: badblood, doc holliday, mow et wotan, qui se retrouvaient chaque week-end pour jouer DOOM 2 et Warcraft 2.
En 1995 ils se sont nommés THE Wicked NET et ils décidaient d’étendre leurs activités, en dehors des jeux vidéo : musique, graphiques, films, programmes. Le collectif s’est élargi avec Frank Lazzarini (latz) et François Campill (scav).
Le 22 juin 1996 le fameux jeu vidéo de tir à la première personne (FPS), Quake, a été publié en version shareware par id Software, et un mois plus tard, en version commerciale par GT Interactive. A cette occasion les 6 copains ont organisé la première LAN-Party d’envergure au Luxembourg qui durait 10 jours.
Comme cet événement a connu un grand succès, THE Wicked NET à continué à organiser des LAN-Parties d’une durée de une à deux semaines, toutes les six semaines environ. A fur et à mesure des événements les meilleurs joueurs ont été admis comme nouveaux membres de la communauté.
En 1998 l’équipe a été renforçée davantage par l’adhésion du team “Show no Pain” de Mamer. Mais à la même époque les premiers fondateurs et membres du collectif quittaient le pays pour des raisons d’études.
Au mileu des années 1990, une autre communauté, les fans de la fédération des planètes unies, a fondé en 1994 l’académie Starfleet du Luxembourg (SFAL).
2000 – 2009 : l’eSport se pratique hors ligne en réseau local
A la fin des années 1990 et au début du nouveau millénaire, une LAN-Party se déroulait typiquement comme suit : l’organisateur invitait des participants potentiels à le rejoindre, à une date précise, pour jouer ensemble un (ou plusieurs) jeu vidéo et pour célébrer à la fin le meilleur joueur. Les participants amenaient leur ordinateur, ou leur console de jeu vidéo, ainsi que tout accessoire disponible, pour interconnecter les équipements dans un réseau local (LAN). En général l’organisateur disposait d’un minimum de matériel informatique, comme un concentrateur et des câbles réseau, aux fins d’assurer le bon fonctionnement du LAN. Comme une LAN-Party se déroulait en général pendant quelques jours sans interruption, souvent du vendredi soir jusqu’au dimanche après-midi, il fallait également apporter son sac de couchage et du ravitaillement pour boire et manger. L’événement se terminait souvent par une activité physique, par exemple le lancement d’un vieux clavier le plus loin possible. Les photos ci-après, prises lors de la LAN-Party HESE-1 à Kopstal en 2008 par les participants, racontent le déroulement en images.
Si les premiers LAN-Parties ont eu lieu dans la cave ou le garage des parents de l’organisateur, avec l’accroissement du nombre de participants elles se sont progressivement déplacées vers des locaux plus spacieux : écoles, centres culturels, auberges de jeunesse, halls d’exposition.
Jean-Claude Zeimet a présenté le 7 juin 2013 sa dissertation au sujet des élites de la scène culturelle de la jeunesse au Luxembourg, entre autres dans le domaine des LAN-Parties, pour l’obtention du degré de docteur de l’Université du Luxembourg en sciences sociales. Comme son étude traite les aspects qualitatifs des LAN-Parties, je vais me limiter à décrire les aspects factuels et quantitatifs de ces événements pour la période de 2000 à 2009.
Dans le chapitre sur la préhistoire de l’eSport nous avons fait connaissance du collectif THE Wicked NET qui est d’avis qu’il mérite le titre de vétéran des LAN-Parties au Luxembourg. Je partage cet avis. Au début des années 2000 cette communauté a continué à organiser des LAN-Parties jusqu’en 2006, mais à un rythme moins élevé : deux à trois événements par année. En 2020 quelques membres avaient mis en place le site web foobar.lu pour parler de tout et de rien, suivi en 2001 du site web gaming.lu, destiné à la communauté des joueurs vidéo au Luxembourg.
gaming.lu 2002gaming.lu 2004gaming.lu 2008Layouts du site web gaming.lu créé par THE Wicked NET
Le serveur qui était hébergé par Visual Online proposait au début plusieurs jeux en ligne comme Counterstrike, Quake III,Rocket Arena, Unreal Tournament etc. Les services offerts ont été étendus progressivement, le layout a été modifié plusieurs fois et le site est resté opérationnel jusqu’en 2014. Depuis 2019 le nom de domaine gaming.lu est redirigé vers videogames.lu.
Entre 2002 et 2003 le site web www.scene.lu fournissait des informations au sujet des LAN-Parties, l’année suivante les annonces ont également été insérées dans le site web allemand lansurfer.com. L’ équipe THE Wicked NET gérait temporairement le site web lanparty.lu à partir de 2005.
Site web lanparty.lu en 2005
Sur la machine wayback on trouve la liste de tous les membres du collectif THE Wicked NET au début des années 2000. Les six fondateurs sont appelés The Litch Kings, les suiveurs sont désignés par Our Minions :
The Litch Kings du collectif THE Wicked NET
Dan Steimetz (badblood)
Yves Thommes (doc holliday)
Patrick Morette (mov)
Jérôme Peeters (wotan)
Frank Lazzarini (latz)
François Campill (scav)
The Minions du collectif THE Wicked NET
Marco Moretto (moreno)
Claude Linden (yggi)
Alain Stoos (fixspoun)
Marc Letsch (fox)
Dan Scheer (blubber)
Martin May (hiro)
Claude Dondelinger (dondel)
Ben Kremer (jungle)
Pascal Klares (humanoid)
Nicole Morette (nic)
Albert Michel (exhuma)
Jean-Paul Daleiden (galen)
Collectif THE Wicked NET en 2014
A partir de 1998 Claude Pick (SuperJemp) et Serge Guth (MonStar) ont organisé les premières LAN-Parties FragCities à Stegen. Ils ont été assistés dans la suite par Patrick Schweig (Landaro) et Michel Meyers (Steltek), les créateurs de la première Luxembourg Computer Gaming League (LCGL).
L’organisation de la sixième édition de la LAN-Party FragCity à Stegen le 28 octobre 2000 est à l’origine d’un tournant dans l’organisation de ces événements. FragCity 6 était prévue pour 45 participants, mais fiinalement 65 joueurs arrivaient sur place, avec leur ordinateur sous le bras. Malgré le chaos et la température dépassant 30 degrés dans le local, l’événement était un succès. Les organisateurs décidaient alors de créer une organisation commune pour mieux gérer de tels défis. Le 28 décembre 2000 la ligue LCGL a été transformé en asbl, avec les membres suivants du premier comité :
Patrick Schweig (Landaro) : président
Jerry Kohn (Pegasus) : vice-président
Serge Draut (Ikki) : secrétaire
Claude Pick (Superjemp) : trésorier
Robert Grehten (Luther) : membre
lcgl.lu 2002lcgl.lu 2004Site web de la Luxembourg Computer Gaming Ligue
En dehors des LAN-Parties FragCity, le club LCGL avait organisé le 3 août 2001 la première édition de de_Lux.LAN à Clervaux, qui a été supportée par le Service National de la Jeunesse, Hewlett Packard et Cisco. Cet événement a été voté “best LAN-Party of the year”. L’expérience a été répétée dans les trois années suivantes. En 2006 le LCGL planifiait un événement mega, de_lux.LAN on the Rocks, avec 800 participants, du 17 au 19 septembre à la Rockhal à Esch-Belval, avec le support de nombreux sponsors. Un site web spécifique www.lanontherocks.lu avait été créé pour cette manifestation. Comme les inscriptions des joueurs restaient faibles, l’événement a été annulé fin juillet 2006 et le LCGL a arrêté ses activités.
Site web lanontherocks.lu août 2006
Les 20-21 octobre 2001, dans le cadre du Jamboree on the Air & Internet, les scouts de Monnerich avaient organisé une LAN-Party avec le matériel mis en place pour cet événement. L’expérience a été répétée dans les années suivantes et les Lan-Parties à Monnerich, organisées par le Minett LAN Fellowship (MLF), ont connu un grand succès, en accueillant également des participants sans adhésion au scoutisme.
En septembre 2002 Jerry Kohn (Pegaus), Guy Simon (locutus), Luc Fischer et Serge Rosen ont constitué l’association Computer Lan Club Minett (asbl CLCM : F984). Ce club a été actif jusqu’en 2006.
Georges Engelmann (georges), Francis Engelmann (Happy-Divi) et Christophe Anthon (BlackHat) ont créé en décembre 2002 la structure de développement web XLiners.org. En août 2003 ils ont lancé le projet lanzone.lu pour aider les organisateurs de LAN-parties dans leurs tâches.
Site web lanzone.lu en 2004
A côté de THE Wicked NET deux autres communautés avaient été créées à l’époque de la préhistoire eSport et sont entrées dans la scène des jeux vidéo en 2003.
Il s’agit d’abord du Master Computer Club Lëtzebuerg (MCCL : asbl F2793) qui a été fondée le 19 février 1998 par Gilbert Franzetti, Justin Stephany, Monique Schmitz-Schiltz et Patrick Schneider. Les premières pierres du MCCL avaient déjà été posées en janvier 1987 par Alain Theisen et Serge Linckels, en créant le Schneider Master Club. En 2003 et 2004 le MCCL a organisé trois éditions des NetGames à Hagen et à Steinfort.
Le deuxième acteur est l’association LiLux (asbl F2721), le Linux User Group Luxembourg. LiLux a été fondée le 25 juin 1998 par Thierry Coutelier, Pascal Guirsch, Alain Knaff, Alain Rassel, Jean-Paul Gedgen, René Schmit, Charles Lopez, Marcel Hofmann et Frank Segner. Entre 2003 et 2008 LiLux a organisé chaque année un festival Linux luxembourgeois au Lycée de Garçons à Luxembourg, pendant deux jours, qui comportait également une LAN-Party.
Marc Hansen, Patrick Lanners et Jean Chelius ont constitué le 22.12.2003 l’asbl Luxembourg Lan Community (LLC – F342 – www.llc.lu).
llc.lu 2003llc.lu 2004Site web llc.lu de la Luxembourg Lan Community
Dans certains lycées, notamment au Lycée Aline Mayrich (LAML) et à l’Athenée de Luxembourg (AL), des étudiants ont commencé à organiser des LAN-Parties à partir de 2004. Au LAML c’était le Schülerhelpdesk, au AL c’était le computer club ORCA qui étaient à l’initiative.
Site web ORCA en 2005
A partir de 2005 la scène d’organisation des LAN-Parties est devenue plus professionelle. Jeff Wernimont, Petz Melchior et Marc Gerard ont converti le team MLF (Minett LAN Fellowship) en collectif officiel pour organiser plusieurs LAN-Parties par an et pour offrir leur matériel de réseau à d’autres organisateurs.
En décembre 2005, Jerry Kohn (Pegasus), Sven Clement (iSnipeU) et Luc Oth (Th3 LuN4tIc) ont fondé la première fédération de sport électronique (LESF) sous forme d’une asbl (F1345). Elle a été active jusqu’en 2009 et a été radiée au registre de commerce en mars 2020.
Site web du LESF en 2006
Au milieu des années 2000 la scène des LAN-Parties a changé. L’augmentation des raccordements Internet à haute vitesse et la création de la LFES favorisaient les jeux en ligne et la naissance de l’eSport au Luxembourg. Quelques nostalgiques des LAN-Parties classiques ont créé de nouvelles associations et se sont regroupés dans le collectif The3rd pour organiser des événements dans l’atmosphère du passé. Notamment les éditions des LAN-Parties X-MAS et HESE (Hei elei. spill elei) gagnaient une certaine notoriété, mais le nombre des participants n’atteignait plus la barre des événements FragCity et de_lux.LAN.
L’asbl crew2k (F6084) a été fondée le 18 octobre 2006 par Laurent Mander, Olivier Huberty, Robert Hudeck, Yves Schmit, Kevin Otten, Max Wolter, Dany Haas, Chris Biersbach, Ben Schosseler et Rick Hammond. L’association a été radiée au registre de commerce en 2017 suite à une liquidation volontaire.
Site web crew2k.org en 2006
Une année plus tard c’était le tour de MTF Gaming. L’asbl (F7335) a été constituée le 18.6.2007 par Christian Frantz, Yannick Gilson et Christophe Gravé.
Le 14 avril 2010 Alain Bintener, Michel Reuter, Christian Biever, Claude Wolff et Jérome Schiltz ont fondé l’asbl (F8307) Computer Club Gemeng Koplescht (CCGK) qui est encore active aujourd’hui.
Tous ces acteurs passionnés, présentés ci-avant, ont organisé un nombre impressionant de LAN-Parties pendant la période de 1998 à 2010. A l’aide de la machine wayback sur Internet j’ai dressé le tableau ci-après, avec les événements les plus représentatifs :
Liste non-exhaustive des LAN-Parties organisées au Luxembourg entre 1998 et 2010
Quelques organisateurs et participants de la LAN-Party HESE 2 à Kopstal en 2009
Collage de photos prises par les participants des LAN-Parties HESE 2 et HESE 3 à Kopstal
2010 – 2019 : l’eSport passe sur Internet à haute vitesse
Tandis que le collectif The3rd continuait à organiser des LAN-Parties comme Hei elei, spill elei jusqu’en mars 2013 , les efforts entrepris par le gouvernement pour attirer des sociétés actives dans le développement et la commercialisation de jeux en ligne au Luxembourg portaient leurs fruits. Un des premiers était Jimmy Fischer qui a lancé en 2009 sa propre société de production 3WG (B149262) à Altwies. En 2012 il avait développé le jeu Santa Rush pour mobiles Android.
La liste qui suit montre, à côté du studio 3WG, d’autres sociétés qui ont installé une partie plus ou moins importante de leurs activités au Grand-Duché :
Le 13 décembre 2011 LU-CIX avait invité les professionnels du secteur ICT au premier Online Gaming Forum au Luxembourg. Cet événement fut un succès à tout point de vue. Ils étaient finalement plus de 250 à se rassembler lors de ce forum dans les locaux de RTL Group au Kirchberg. Une deuxième édition a eu lieu le 14 novembre 2012 à la LuxExpo.
Ces manifestations se sont adressées aux professionnels du secteur, mais il y avait le souhait des passionnés du sport électronique au Luxembourg de sensibiliser le grand public pour ces activités.
Le 19 avril 2015 Cédric Feyereisen, Sacha Ewen et Sven Molitor ont constitué l’asbl videogames.lu (F10498) ä Kopstal. La composition du comité a été modifiée plusieurs fois. A l’heure actuelle videogames.lu est géré par une équipe d’une trentaine de personnes.
Equipe videogames.lu en 2020
L’asbl Sweetspot (F10487) a été fondée le 12 août 2015 par Thommy Meyer, Darryl Poiré et Alexander Konior. Elle a notammment lancé la Central Smash Series au Luxembourg.
Quelques mois plus tard, Fabio De Aguiar et Dany Fernandes ont fondé en janvier 2016 lune agence spécialisée dans l’organisation de tournois de jeux vidéo, la société 11F qui a été renommée Deralu S.à.r.l. en juin 2021. Une première action était l’organisation du salon luxembourgeois Gaming Experience (LGX) en mars 2016 à Mondorf-les-Bains au Casino 2000 pendant deux jours. Il s’agissait d’un événement qui combinait une exposition avec des activités autour de tout ce qui se réfère aux jeux vidéo, planifié en collaboration avec Eli Lubambu, à l’époque responsable multimédia chez Saturn. C’était le début des festivals eSport. Pour sa première édition LGX avait réuni plus de 2500 visiteurs.
La même année 11F a organisé un salon gaming au centre commercial Belle Etoile pendant la période du 22 au 27 novembre 2016. Le highlight était une grande finale du jeu FIFA 2017 le dimanche dès 10 heures. En 2017 le salon a eu lieu du 21 au 25 novembre au nom de Orange Gaming Week.
Lors de la première édition de la foire SpringBreaks qui remplacait l’ancienne Foire de printemps, le premier salon SprinGames a eu lieu dans ce cadre du 22 au 26 mars 2017 à la LuxExpo the Box. Il s’agissait d’une zone 100% dédié au Gaming avec des jeux vidéo, du Cosplay et des tournois eSport sur scène, donc tout ce qui pouvait rendre les geeks et gamers heureux. Organisé entre autres par Sweetspot, 11F Gaming et l’agence de communication ID, les éditions 2 et 3 se sont déroulées du 21 au 25 mars 2018 et du 14 au 17 mars 2019. Après une absence à cause du Covid les dernières années, la SprinGames était de retour cette année du 10 au 13 mars 2022. Les trois vidéos référencées ci-après reflètent l’atmosphère de ces événements.
SprinGames 2017SprinGames 2018SprinGames 2019
La seconde édition et la troisième édition de LGX ont également eu lieu au Casino 2000, en mai 2017, respectivement en septembre 2018. L’artiste luxembourgeois De fette Petz um Netz, spécialiste du gaming-streaming, a réalisé la vidéo suivante au sujet du salon Gaming Experience 2017.
La grande nouveauté en 2018 était un concours de cosplay, une discipline qui consiste à se déguiser pour se transformer en un personnage de l’univers des séries d’animation japonaise ou du gaming. La session 2018 a été précédée en juin par un marathon de 24 heures sur le jeu Fortnite avec 220 participants.
En 2019 l’événement LGX a eu lieu à LuxExpoTheBox et rassemblait plus de 14.000 personnes lors des deux jours de l’événement.
LGX avait pris de l’ampleur. La surface d’exposition a été quadruplée et le salon s’ouvrait à trois nouveaux univers: la culture japonaise (anime, manga, figurines), la culture pop (cinéma, bandes dessinées) et les mondes imaginaires (science fiction, fantasy, cosplay). L’organisateur, la société 11F, avait organisé à cette occasion également 15 tournois eSport avec des prix pouvant atteindre 15.000 euros. Dans les compétitions on trouvait des jeux populaires comme FIFA 20, Fortnite, Street Fighter V, Mortal Kombat 11, Tekken 7 et Dragon Ball FighterZ, Mario Kart 8 Deluxe et Rocket League.
Lancement du Creative Industries Cluster Luxembourg en 2017 (photo Paperjam)
En 2018 Jérôme Becker était à l’initiative de la pétition No 1077, déposée le 18.7.2018 à la Chambre des Députés, qui avait comme objectif la reconnaissance officielle du sport électronique au Luxembourg par le Gouvernement. Au lieu des 4.500 signatures requises, le nombre de signatures électroniques comptées ne s’élevait qu’à 377, avant et après validation.
> 2020 : l’eSport devient une nouvelle industrie à part entière
Depuis 2020 le Luxembourg est pris de passion pour les grandes compétitions de sport électronique. Comme dans le sport classique, ces compétitions se déroulent pendant une saison en plusieurs étapes, avec des sélections, qualifications, éliminations, finales etc. En général les premiers matchs se font individuellement en ligne sur Internet, tandis que la finale est jouée dans un lieu public devant de nombreux spectateurs. Les images vidéo des compétitions sont diffusées sur Internet par streaming, le plus souvent sur la plateforme Twitch TV (acheté en 2014 par Amazon), accompagnées de commentaires exprimés par des passionnés compétents de l’eSport. Les compétitions sont organisées par des professionnels du secteur, en collaboration avec un partenaire de renom et avec le support de plusieurs sponsors. La sélection des jeux vidéo et des équipements de jeu (console, PC, mobile) se fait en fonction des actualités et des cibles de joeuers. Les prix attribués aux gagnants sont de taille. Pour s’inscrire et pour suivre le statut des compétitions, des sites web spécifiques sont mis en place, souvent en combinaison avec des serveurs Discord, conçus initialement pour les communautés de joueurs de jeux vidéo. A noter qu’il existe également des plateformes complètes de gestion de tournois eSport, comme Toornament, ou des plateformes pour la gestion de clubs, comme CluBee, qui offrent les bons outils aux organisateurs. Ces compétitions ont également favorisé la création de services associés comme des cafés, magasins et équipes de joueurs professionnels, spécialisés dans les jeux vidéo. La culture geek séduit les commerces est le titre d’un article publié en octobre 2021 au Paperjam. A noter qu’un pionnier de cette industrie de création d’accessoires des jeux vidéo, la société Tsume (B151925) implantée à Sandweiler qui fabrique des figurines en polyrésine, inspirées des jeux vidéo, est en train de devenir un des leaders mondiaux dans ce secteur. Les événements récents SprinGames 2022 au Kirchberg et LUXCON/EUROCON 2022 à Dudelange viennent de témoigner de la richesse de cette culture geek.
photo : Vincent Lescautphoto : Vincent Lescautphoto : Vincent Lescaut
Ci-après je vais résumer en ordre chronologique l’évolution de la scène eSport au cours des dernières années.
Au début 2019, les frères Joe et Kevin Hoffmann ont constitué la société à responsabilité limitée simplifiée FWRD S.à r.l.-S (B230850), active dans le domaine du sport et des loisirs, y compris l’eSport.
En février 2020, Nicolas Bouscarat a co-fondé la société Respawn (B242110) qui exploite le Gaming Café (respawn.lu), situé dans la rue du Fort Neipperg. Respawn est organisé en plusieurs styles, avec des tables sur mesure pour les jeux de société ou de rôle, un espace canapé-consoles dernière génération pour être à l’aise comme à la maison, des bornes d’arcade pour des jeux rétros ou encore une pièce pour les jeux de guerre avec figurine et une table pour les PC au premier étage.
En mars 2020, POST Luxembourg avait lancé la première ligue dédiée aux jeux vidéo dans le pays: la POST eSports League. Pour l’occasion, Post s’était associée à la société 11F. Un montant de 20.000 euros était partagé entre les gagnants qui s’affrontaient via trois jeux: League of Legends, FIFA 20 et Clash Royale. La première saison, qui s’était conclue au Kinepolis du Kirchberg en septembre 2020, avait attiré plus de 400 participants et 15.000 visiteurs virtuels sur Twitch lors des finales.
Quelques mois plus tard, une nouvelle fédération luxembourgeoise des sports électroniques (LESF) a été constituée comme asbl (F12890) en juin 2020. Elle est présidée par Joe Hoffmann, les autres fondateurs sont Kevin Hoffmann, Maxime Feretti, Kevin Quintela Morais, Gary Schuller et Yannick Raach. Dans les statuts de l’asbl on peut lire que les membres fondateurs, parmi eux la société FWRD SARL-S gérée par le président, ne sont pas révocables.
En septembre 2020 la LESF a été admise comme membre de la Fédération Internationale d’eSport (IeSF), une organisation mondiale basée en Corée du Sud, qui a été créée en 2008. Outre la promotion et la réglementation du eSport, l’IeSF organise depuis 2009 chaque année un championnat du monde. En 2021 le championnat mondial IeSF a eu lieu à Eilat en Israél. C’était la première fois qu’un athlète luxembourgeois à participé à un championnat eSport.
Nouveaux membres de l’IeSF admis en septembre 2020
En janvier 2022 la LESF a été admise en outre comme membre de la Fédération Européenne d’eSport (EEF), constituée en février 2020 à Bruxelles. Elle fait également partie de la Global Esports Federation, fondée en décembre 2019 à Singapore, qui a une orientation plus commerciale.
Fin 2020, Cliff Konsbruck, directeur de POST Telecom, a annoncé un partenariat avec le fournisseur de jeux vidéo français Blacknut. Dans l’article Cloud Gaming, le rush mondial, écrit par Thierry Labro dans le magazine Paperjam de novembre 2020, les atouts du partenariat avec Blacknut ont été mis en évidence.
En ce qui concerne la cinquième édition de LGX, elle a été annulée à cause du Covid et remplacée par LGX Online, un format 100% numérique qui s’est déroulé du 18 au 20 décembre 2020. Environ 5000 personnes ont participé à cette compétition. En 2021 un circuit esports 100% en ligne et gratuit, ouvert à tous les joueurs européens, avec un Cash Prize total de 10.000€, a été lancé sous le nom LGX Arena. De 1 à 2 tournois sont organisés tous les mois et toutes les compétitions sont streamées et commentées sur Twitch. Pour la deuxième saison, les tournois se focalisent sur les jeux de tir : Apex Legends, Counter Strike: Global Offensive (CS:GO), Valorant, et Call of Duty: Warzone.
Lors de pourparlers entre POST Telecom et LESF au sujet d’une collaboration éventuelle, aucun accord n’a été trouvé. La Fédération eSport s’est tournée alors vers Orange Luxembourg, un des concurrents de POST Telecom. Par communiqué de presse du 16 décembre 2020, Orange et LESF ont annoncé leur partenariat. En février 2021 les deux partenaires ont annoncé le lancement de la première e-ligue FIFA officielle au Luxembourg, en collaboration avec la Fédération luxembourgeoise de football.
Le troisième opérateur luxembourgeois, Tango, ne souhaitait pas être écarté du sport électronique au Luxembourg. Le 27 mars 2001, la compétition Tango High School Cup a démarré. Il s’agissait d’un tournoi, sous forme de huit coupes, qui s’adressait à tous les lycéens scolarisés au Luxembourg. Organisé par l’équipe professionelle d’eSport 4Elements (une filiale de la société FWRD (B230815 ; fwrd.gg), liquidée en septembre 2001), la compétition s’est terminée par une grande finale le 10 juillet 2021, avec l’équivalent de 10.000 euros de récompenses.
Comme il y avait un certain malaise au sein de la communauté eSport au Luxembourg à cause des activités commerciales de la fédération LESF, une deuxième fédération pour l’eSport, appelée Fédération Luxembourgeoise d’Esport (FLES ; F13180), a été fondée le 21 février 2021. Les membres se disent indépendants et affirment être des passionnés actifs des jeux vidéo depuis longtemps qui souhaitent fédérer et les amateurs et les professionnels du sport électronique au Luxembourg. Le comité actuel se compose des membres suivants :
Jeremy Chiampan (président), project manager de LGX
Lizi Meyers (vice-présidente)
Nathan Back (trésorier)
Noah Canais (secrétaire)
Max de Ridder (membre)
Thommy Meyer (membre)
Les membres participent aux organisations des événements LGX, Central Smash Series et SprinGames qui ont été pésentés ci-avant. Ils viennent de lancer le League of Legends Luxembourg Tour. La FLES a entamé une collaboration avec POST Telecom qui figure maintenant comme partenaire principal.
Au début 2021, la compétition eSport de POST Telecom a changé de format et a été renommée Post eSports Masters. Il y avait de nouveau 400 participants et plus que 25.000 spectateurs en ligne. La troisième saison a démarré en décembre 2021. Le jeu League of Legends a été remplacé par Rocket League. Depuis fin janvier 2022 les intéressés peuvent suivre chaque samedi dès 17h00 les meilleurs jeux sur la plate-forme Twitch.
La deuxième saison de la ligue Orange a débuté fin janvier 2022. Si pour la première ligue en 2021 seulement les 32 clubs de la division nationale et de la promotion d’honneur ont été admis, l’ensemble des membres de la FLF, soit 103 clubs, pourront prendre part au deuxième championnat.
Quant a Tango, la deuxième édition du High School Cup a commencé le 26 mars 2022, en partenariat avec FWRD, et avec le support de nombreux sponsors.
L’organisation des compétitions eSport par les trois opérateurs de télécommunications luxembourgeois est à l’origine d’une avalanche de fondation d’associations sans but lucratif dans le domaine des jeux électroniques par des teams de joueurs. Une liste représentative est fournie ci-après :
Brotherhood of the Red Lion (botrl ; F12261 ; 1.1.2019) Alexandre Godefroid, Richard Godefroid, Luis Miguel Belchior Miranda, Manuel Antonio De Cruz Barreiro, Lee Scholtes, Patrick Baumgartner, Toufik Loughlimi, André Feliciano Da Silva Rodrigues, Carlos Alberto Campos Moreira
Duxedom E-Sports (F12800 ; 16.3.2020) liquidation volontaire le 6.12.2021
Nocturnal E-Sports (F13101 ; 25.11.2020) : Sam Burquel, Sacha Doemer, Christophe Garcia, Sam Hochmuth, Kevin Kries, Liz Meyers, Sam Michels, Laetitia Santos Felix, Charles Albert Wolter
C1 Esports (F13313 ; 14.7.2021) : Sven Bill, Romain Rossi, Patrick Domnanovits, Jennifer Domnanovits
RelyOn Esports (F13332 ; 5.8.2021) : Metty Kapgen, Felix Schoellen, Pol Greischer, PolFrank Kremer, Christophe André Lech
Sentient Esports (F13416 ; 11.10.2021) : Sacha Weichel, Tamara Santos-Nobre Weichel, Patrick Bührer, Maja Rathmann
Royal Family Esports (F13431 ; 29.10.2021) : Nikola Bogdanovic, Shawn Gindt, Kenneth Roeser
Le mot de la fin
Lors d’une exploration du site web du réseau social professionnel LinkedIn, on découvre que de nombreux pionniers du sport électronique au Grand-Duché occupent aujourd’hui des fonctions de haut niveau dans l’industrie, les services et la recherche, dans le pays ou à l’étranger.
Luxembourg est probablement le seul pays qui disposait déjà d’une fédération de sport électronique au milieu des années 2000 et qui dispose à l’heure actuelle de deux fédérations eSport. Si on considère en outre que Daniel Araujo (Diffside45), de nationalité luxembourgeoise, a remporté la cinquième place au championnat mondial eFootball, qui a eu lieu à Eilat en Israel du 16 au 18 novembre 2021, il ne faut plus dire que l’eSport est en plein essor, sauf au Luxembourg.
En explorant l’histoire de l’évolution des nouvelles technologies, on découvre parfois des phénomènes qui se répètent, avec des similitudes stupéfiantes. C’est par exemple l’évolution des ordinateurs personnels à partir de 1980 et des téléphones mobiles vingt ans plus tard.
Dans les deux cas on avait au début une panoplie de différents constructeurs, avec des produits innovants, qui se partageaient le marché. Ensuite un nouveau entrant perturbait le marché de manière à évincer tous les anciens leaders et à couronner un deuxième acteur comme grand gagnant.
Dans le cas des ordinateurs personnels le nouvel entrant était IBM avec le lancement du PC en 1981. Mais comme de nombreux constructeurs ont développé dans la suite des compatibles PC, le grand gagnant était Microsoft, comme fournisseur des licences Windows, et IBM est sortie perdant. Parmi les constructeurs de la première heure seul Apple a survécu. Les autres comme Atari, Commodore, Sinclair etc ont tous disparu.
Dans le cas des téléphones mobiles le nouvel entrant était Apple avec le lancement de l’iPhone en 2007. Mais comme la majorité des fournisseurs de téléphones mobiles a adhéré ensuite au consortium OHA (Open Handset Alliance), le grand gagnant était Google qui était à l’initiative de cette alliance. Presque tous les constructeurs de téléphones mobiles de l’époque comme Nokia, Ericsson, Blackberry, Microsoft ont abandonné leurs propres systèmes d’exploitation (Symbian, Windows Mobile, …) ou ont cessé leurs activités de fabrication de mobiles.
Dans les deux cas Apple a réussi à sortir son épingle du jeu, toutefois avec des hauts et des bas dans l’histoire de la société. Mais la part de marché de Apple reste faible dans les deux domaines, sauf au Luxembourg. Au niveau mondial le Luxembourg range en deuxième position pour les ordinateurs Mac, après la Suisse, et au premier rang pour la pénétration des iPhones. En 2018 le nombre des appareils Apple dépassait même le nombre des appareils Android au Luxembourg, mais la part de marché a baissé dans la suite à 44%.
Le tableau qui suit donne un aperçu de la comparaison :
critère
ordinateurs
téléphones mobiles
architecture
Motorola RISC 68K
Intel CISC x64
OS propriétaire
OS commun
qualification
innovant & efficace
universel & complexe
innovant & varié
source ouverte
système
fermé
ouvert
fermé
ouvert
grands perdants
Atari, Commodore, Sinclair, …
IBM
Nokia, Ericsson, Blackberry, …
Microsoft
grands gagnants
Apple
Microsoft
Apple
Google
produit phare
Mac
Windows
iPhone
Android
part de marché global 2022
8%
92%
14%
86%
part de marché Luxembourg 2022
16%
84%
44%
56%
Quelles leçons tirer de cette analyse historique ?
Les produits les plus innovants n’ont pas nécessairement le plus grand succès.
L’union fait la force : il est difficile de se battre contre une alliance.
Suite à mes premières expériences avec l’apprentissage profond (deep machine learning) pour réaliser un système de synthèse vocale pour la langue luxembourgeoise, dont les résultats ont été publiés sur mon blog “Mäi Computer schwätzt Lëtzebuergesch“, j’ai constaté que le recours au seul corpus de données Marylux-648 ne permet pas d’entraîner un meilleur système que le modèle VITS, présenté le 6 janvier 2022. Il fallait donc étendre la base de données TTS (text-to-speech) luxembourgeoise pour améliorer les résultats.
Le ZLS (Zentrum fir d’Lëtzebuerger Sprooch) m’a offert sa collaboration pour enregistrer un texte d’envergure par deux orateurs, l’un féminin, l’autre masculin, dans son studio d’enregistrement. Comme un tel projet demande de grands efforts, j’ai proposé d’explorer d’abord tous les enregistrements audio, avec transcriptions, qui sont disponibles sur le web. Une telle approche est typique pour le Grand-Duché de Luxembourg : réaliser des grands exploits avec un minimum de moyens.
Une première source pour l’extension du corpus TTS constitue les dictées luxembourgeoises publiées sur le site web infolux de l’Institut de linguistique et de littératures luxembourgeoises de l’Université du Luxembourg, dirigé par Pr Peter Gilles. Avec l’accord aimable de tous les ayants droit, j’ai converti les fichiers audio et texte de ces dictées dans un format qui convient pour l’apprentissage profond, avec les mêmes procédures que celles décrites dans mon dépôt Github Marylux-648.
Pour faciliter l’apprentissage du corpus TTS luxembourgeois étendu, j’ai seulement retenu les dictées lues par des orateurs féminins. Heureusement c’est le cas pour la majorité des dictées. Les oratrices sont Caroline Doehmer, Nathalie Entringer et Sara Martin.
Les résultats sont les suivants:
10 Übungsdictéeën : 179 échantillons, 2.522 mots, ca 26 minutes
100 Sätz : 100 échantillons, 1.117 mots, ca 9 minutes
Walfer-Dictéeën : 78 échantillons, 1.177 mots, ca 9 minutes
Ensemble avec Marylux-648, la nouvelle base de données TTS comprend 1005 échantillons, avec quatre voix. J’appelle ce corpus “Luxembourgish-TTS-Corpus-4-1005”. Dans une première étape j’ai utilisé ces données pour entraîner le modèle COQUI-TTS-VITS-multispeaker à partir de zéro.
Entraînement TTS avec quatre voix à partir de zéro
Après 32.200 itérations, les métriques des performances du modèle, affichés régulièrement dans les logs lors de l’entraînement, n’ont plus progressé. Mais comme lebest_model.pth.tar, sauvegardé à cette occasion, n’est pas nécessairement le plus performant pour la synthèse de textes luxembourgeois inconnus, j’ai continué l’entraînement jusqu’à 76.000 itérations. Le checkpoint le plus avancé est dénommé checkpoint_76000.pth.tar.
Lors de la synthèse vocale, il faut spécifier non seulement le texte à parler, le fichier de configuration, le fichier du modèle TTS et le nom du ficher audio à sauvegarder, mais également la voix à utiliser pour la synthèse. Comme dans mes expériences précédentes, j’ai utilisé la fable “De Nordwand an d’Sonn” comme texte à synthétiser. A titre d’information j’indique un exemple de commande entrée dans le terminal linux pour procéder à la synthèse.
tts --text "An der Zäit hunn sech den Nordwand an d’Sonn gestridden, wie vun hinnen zwee wuel méi staark wier, wéi e Wanderer, deen an ee waarme Mantel agepak war, iwwert de Wee koum. Si goufen sech eens, datt deejéinege fir dee Stäerkste gëlle sollt, deen de Wanderer forséiere géif, säi Mantel auszedoen. Den Nordwand huet mat aller Force geblosen, awer wat e méi geblosen huet, wat de Wanderer sech méi a säi Mantel agewéckelt huet. Um Enn huet den Nordwand säi Kampf opginn. Dunn huet d’Sonn d’Loft mat hire frëndleche Strale gewiermt, a schonn no kuerzer Zäit huet de Wanderer säi Mantel ausgedoen. Do huet den Nordwand missen zouginn, datt d’Sonn vun hinnen zwee dee Stäerkste wier." --use_cuda True --config_path /media/mbarnig/T7/lb-vits-multispeaker/vits_vctk-January-21-2022_07+56AM-c63bb481/config.json --model_path /media/mbarnig/T7/lb-vits-multispeaker/vits_vctk-January-21-2022_07+56AM-c63bb481/checkpoint_76000.pth.tar --out_path /media/mbarnig/T7/lb-vits/vits_vctk-January-21-2022_07+56AM-c63bb481/walfer_checkpoint_76000.wav --speakers_file_path /media/mbarnig/T7/lb-vits-multispeaker/vits_vctk-January-21-2022_07+56AM-c63bb481/speakers.json --speaker_idx "VCTK_walfer"
Je vais présenter ci-après les auditions pour les différents cas de figure :
Voix “Judith”
Voix “Judith” : best_model à 32200 itérations (648 échantillons pour l’entraînement)Voix “Judith” : checkpoint à 76000 itérations (648 échantillons pour l’entraînement)
Voix “Caroline”
Voix “Caroline” : best_model à 32200 itérations (179 échantillons pour l’entraînement)Voix “Caroline” : best_model à 76000 itérations (179 échantillons pour l’entraînement)
Voix “Sara”
Voix “Sara” : best_model à 32200 itérations : (100 échantillons pour l’entraÎnement)Voix “Sara” : checkpoint à 76000 itérations : (100 échantillons pour l’entraÎnement)
Voix “Nathalie”
Voix “Nathalie” : best_model à 32200 itérations (78 échantillons pour l’entraînement)Voix “Nathalie” : checkpoint à 76000 itérations (78 échantillons pour l’entraînement)
Même si les résultats sont impressionnants à la première écoute, il ne s’agit pas encore de l’état d’art en matière d’apprentissage profond pour la création d’un modèle de synthèse vocale.
Entraînement TTS avec quatre voix et apprentissage par transfert
Un des atouts des réseaux neuronaux qui sont à la base de l’apprentissage profond des machines est l’apprentissage par transfert (transfer learning). Wikipedia le décrit comme suit :
L’apprentissage par transfert est l’un des champs de recherche de l’apprentissage automatique qui vise à transférer des connaissances d’une ou plusieurs tâches sources vers une ou plusieurs tâches cibles. Il peut être vu comme la capacité d’un système à reconnaître et appliquer des connaissances et des compétences, apprises à partir de tâches antérieures, sur de nouvelles tâches ou domaines partageant des similitudes.
Dans le cas de la synthèse vocale, l’apprentissage par transfert consiste à utiliser un modèle TTS, entraîné avec une large base de données dans une langue à ressources riches, pour l’entraîner dans la suite avec une petite base de données dans une langue à faibles ressources, comme le Luxembourgeois.
La communauté COQUI-TTS partage un modèle TTS-VITS anglais, entraîné avec le corpus VCTK pendant un million d’itérations et avec un large jeu de phonèmes IPA, y compris ceux que j’ai retenu pour mes modules de phonémisation luxembourgeoise gruut et espeak-ng. La base de données de référence VCTK comprend environ 44.000 échantillons, prononcés par 46 orateurs et 63 oratrices.
J’ai téléchargé ce modèle tts_models–en–ljspeech–vits et j’ai continué son entraînement avec ma base de données “Luxembourgish-TTS-Corpus-4-1005”. Le best_model.pth.tar a été sauvegardé à 1.016.100 itérations. Après mon interruption de l’entraînement, le dernier checkpoint a été enregistré à 1.034.000 itérations. Je présente ci-après seulement les auditions des synthèses réalisées avec ce checkpoint.
Voix “Judith”
Voix “Judith” : : checkpoint à 1.034.000 itérations (648 échantillons pour l’entraînement)
Voix “Caroline”
Voix “Caroline” : checkpoint à 1.034.000 itérations (179 échantillons pour l’entraînement)
Voix “Sara”
Voix “Sara” : checkpoint à 1.034.000 itérations : (100 échantillons pour l’entraÎnement)
Voix “Nathalie”
Voix “Nathalie” : checkpoint à 1.034.000 itérations (78 échantillons pour l’entraînement)
Spécifications techniques
Contrairement à ma première contribution “Mäi Computer schwätzt Lëtzebuergesch“, je n’ai pas présenté des détails techniques dans le présent rapport pour faciliter la lecture. Je vais toutefois publier prochainement les graphiques, métriques et autres caractéristiques techniques en relation avec les entraînements sur mon dépôt Github Luxembourgish-TTS-Corpus-4-1005. Avis aux amateurs des technologies de l’intelligence artificielle.
Conclusions
Les résultats obtenus avec l’apprentissage par transfert donnent envie à parfaire le modèle de synthèse vocale luxembourgeois. Plusieurs pistes restent à creuser :
création d’une base de données TTS luxembourgeoise multi-voix plus large avec les contenus audio et texte disponible sur le site web de RTL-Radio. Un grand Merci aux responsables de RTL qui m’ont autorisé à utiliser les ressources afférentes pour constituer un tel corpus.
utilisation d’un modèle TTS pré-entraîné avec une large base de données allemande, au lieu du modèle TTS anglais, pour l’apprentissage par transfert
utilisation d’un modèle TTS pré-entraîné multi-voix et multilingue pour l’apprentissage par transfert
perfectionnement du modèle de phonémisation luxembourgeoise
réalisation de tests avec d’autres architectures de modèles TTS
En parallèle à mes expériences de création d’un système de synthèse vocale luxembourgeoise, j’ai démarré les premiers essais avec un système de reconnaissance de la langue luxembourgeoise (STT : speech to text) avec transcription automatique, en utilisant mes bases de données TTS luxembourgeoises, converties dans un format approprié. Les premiers résultats sont encourageants.
Application interactive de démonstration
J’ai publié le 12 juillet 2022 une application interactive étendue multilingue et multivoix lb-de-en-fr-pt-COQUI-STT de mon modèle sur la plateforme d’intelligence artificielle Huggingface.
En 1960, J.C.R. Licklider a publié son fameux article au sujet de la symbiose homme-machine qui préfigurait l’informatique interactive. Huit ans plus tard, en 1968, il publiait, ensemble avec Robert W. Taylor, la contribution visionnaire The Computer as a Communication Device. Le dessin humoristique qui suit, réalisé à l’époque pour cette publication par Rowland B. Wilson, montre l’ordinateur OLIVER qui annonce à un visiteur que son patron n’est pas au bureau.
Dessin réalisé en 1968 par Roland B. Wilson pour la publication “The Computer as a Communication Device”
Toutefois il fallait attendre presque 40 ans avant que cette vision soit devenue une réalité. Aujourd’hui la reconnaissance de la parole humaine et la synthèse vocale sont des tâches quotidiennes effectuées par les ordinateurs. La parole devient de plus en plus importante pour la communication Homme-Machine.
Hélas la majorité des humains est encore écartée de la facilité de s’entretenir avec un ordinateur dans sa langue maternelle. Des interfaces vocales performantes sont disponibles depuis quelques années pour les langues les plus parlées : anglais, mandarin, hindi, espagnol, français, allemand, … Plus que la moitié de la population mondiale parle une des autres 7.000 langues qui existent sur la planète. Parmi ce groupe il y a de nombreuses langues à faibles ressources qui ne disposent pas de règles pour l’écriture ou pour la vocalisation.
Depuis l’antiquité les humains ont été fascinés par les technologies de synthèse vocale. J’ai raconté l’histoire de ces technologies dans mon livre Synthèse vocale mécanique, électrique, électronique et informatique. Un des systèmes TTS (Text-to-Speech) informatiques les plus universels et performants est MaryTTS de l’université de la Sarre, dont le développement remonte à l’année 2000. En 2015, la langue luxembourgeoise a été ajoutée à ce système sous le nom de Marylux. La base de données Marylux comporte un fichier audio enregistré en 2014 par Judith Manzoni sur base de phrases luxembourgeoises (63 minutes), françaises (47 minutes) et allemandes (22 minutes), avec les textes correspondants.
Pour donner une idée sur la qualité de la voix synthétique Marylux je vais présenter l’enregistrement original et la génération synthétique par MaryTTS de la fable d’Esope “Borée et le Soleil” en langue luxembourgeoise. Voici le texte de cette fable :
Den Nordwand an d’Sonn.
An der Zäit hunn sech den Nordwand an d’Sonn gestridden, wie vun hinnen zwee wuel méi staark wier, wéi e Wanderer, deen an ee waarme Mantel agepak war, iwwert de Wee koum. Si goufen sech eens, datt deejéinege fir dee Stäerkste gëlle sollt, deen de Wanderer forcéiere géif, säi Mantel auszedoen. Den Nordwand huet mat aller Force geblosen, awer wat e méi geblosen huet, wat de Wanderer sech méi a säi Mantel agewéckelt huet. Um Enn huet den Nordwand säi Kampf opginn. Dunn huet d’Sonn d’Loft mat hire frëndleche Strale gewiermt, a schonn no kuerzer Zäit huet de Wanderer säi Mantel ausgedoen. Do huet den Nordwand missen zouginn, datt d’Sonn vun hinnen zwee dee Stäerkste wier.
On peut écouter ci-après la parole enregistrée
Enregistrement original de la fable “Nordwand” par Judith Manzoni en 2014
et la parole synthétisée de ce texte avec MaryTTS :
Synthèse vocale de la fable “Nordwand” par le système MaryTTS en 2015 avec la base de données Marylux
Les figures suivantes montrent l’évolution du son dans le temps pour la première phrase de la fable, ainsi que les spectrogrammes correspondants :
Signal analogique : en haut : enregistrement (ground truth) ; en bas : synthèse vocaleSpectrogramme : en haut : enregistrement (ground truth) ; en bas : synthèse vocale
Synthèse vocale avec réseaux neuronaux
La technologie de synthèse Marylux reposait sur un modèle informatique utilisant une méthode de sélection d’unités. Cette technique est devenue obsolète aujourd’hui, suite à la progression fulgurante des technologies d’apprentissage approfondi des machines (deep machine learning) sur base de réseaux neuronaux.
Lors de la conférence Interspeech 2017 à Stockholm, Google a présenté un nouveau système de synthèse vocale appelé Tacotron qui repose sur la superposition de deux réseaux neuronaux. Les résultats étaient proches d’une prononciation par des humains. La publication académique afférente porte les noms de 14 auteurs.
Depuis cette date ce modèle a été perfectionné et de nouveaux modèles neuronaux TTS ont été développés : Tacotron2-DCA, Tacotron2-DDC, GlowTTS, Fast-Pitch, Fast-Speech, AlignTTS, Speedy-Speech, VITS, … En 2021 on a pu découvrir tous les quelques jours une nouvelle publication scientifique au sujet de TTS dans l’archive ouverte de prépublications électroniques ArXiv sur Internet.
Marylux-648
Pour entraìner un modèle TTS neuronal avec la base de données Marylux, enregistrée en 2014, j’ai ajusté les fichiers correspondants pour les adopter d’une façon optimale aux besoins de l’apprentissage automatique profond (deep machine learning). J’ai publié la nouvelle base de données publique sous le nom de Marylux-648-TTS-Corpus sur mon dépôt de développement Github. Il s’agit de 648 clips audio luxembourgeois, chacun ayant une durée inférieure à 10 secondes, et des transcriptions y associées. La durée totale est de 57 minutes et 31 secondes. Le lecteur intéressé est invité à consulter les détails sur Github.
Comme les modèles TTS neuronaux sont gourmands en données et entraînés en général avec des enregistrements audio d’une durée de plusieurs dizaines d’heures, j’ai exploré dans une première phase le potentiel et les contraintes de différents modèles TTS face à une base de données dont la durée totale n’atteint même pas une heure.
Avant de présenter les résultats de mes premiers tests, je vais décrire sommairement le cadre de mes expériences.
Modèles TTS neuronaux à source ouverte
Les modèles TTS neuronaux les plus courants peuvent être répartis en quatre grandes familles:
Tacotron
Glow
Forward-Feed
Vits
Pour les trois premières familles, la synthèse (inference) de la parole à partir d’un texte se fait en deux étapes. Le texte est d’abord converti en spectrogramme, puis transformé en signal audio avec un vocodeur (vocoder). Les vocodeurs les plus courants sont relevés ci-après:
Griffin-Lim
WaveNet
WaveRNN
WaveGrad
WaveGAN
HifiGAN
MelGAN
UnivNet
À l’exception du premier vocodeur (Griffin-Lim) qui est algorithmique, les autres vocodeurs sont également entraìnés avec des réseaux neuronaux sur base d’enregistrements audio, de préférence avec la même base de données que celle utilisée pour l’apprentissage du modèle TTS. Hélas les différents vocodeurs ne sont pas tous compatibles avec les différents modèles TTS.
La quatrième famille (VITS) dispose d’une architecture de bout-à-bout (end-to-end) avec vocodeur intégré.
A côté du type de modèle TTS et du type de vocodeur, on fait la distinction entre les caractéristiques suivantes:
support d’une seule langue avec une voix (mono-speaker)
support d’une seule langue avec plusieurs voix (multi-speaker)
support de plusieurs langues avec une voix (multilingual, mono-speaker)
support de plusieurs langues avec plusieurs voix (multilingual, multi-speaker)
En ce qui concerne le choix des modèles TTS et des vocodeurs pour mener mes tests, je me suis limité à l’utilisation de projets tiers à source-ouverte (open-source) et avec des licences libres de droits (MIT, CC, …). À côté de projets de développeurs individuels que je vais présenter dans la suite, je me suis notamment basé sur les développements réalisés par les communautés Coqui-TTS et Rhasspy.
Entraînement d’un modèle TTS avec une nouvelle base de données
L’entraînement d’un modèle TTS avec une nouvelle base de données peut se faire à partir de zéro (from scratch) ou à partir d’un modèle existant. Dans le deuxième cas on parle de transfert d’apprentissage (transfer learning) ou de fin réglage (fine tuning).
Les 648 échantillons de la base de données Marylux-648 sont d’abord mélangés (shuffling), puis répartis en 640 exemples pour l’entraînement proprement dit et en 8 exemples pour l’évaluation, effectuée après chaque cycle d’apprentissage. Les six phrases de la fable “De Nordwand an d’Sonn”, qui ne font pas partie du jeu d’apprentissage, sont utilisées pour les tests automatiques réalisés après chaque évaluation.
Pour l’entraînement des modèles j’utilise les infrastructures suivantes:
mon ordinateur personnel avec carte graphique NVIDIA RTX 2070, système d’exploitation Linux Ubuntu 20.4 et système de développement Python 3.8
mon compte Google-Colab pro dans les nuages, avec CUDA P100 et système de développement Python 3.7
Un cycle d’apprentissage complet est appelé une époque (epoch). Les itérations sont effectuées par lot (batch). La durée d’une itération est fonction de la taille du lot. On a donc intérêt à choisir une taille élevée pour un lot. La différence s’exprime par des durées d’apprentissage de plusieurs heures, jours, semaines ou voire des mois. Hélas la taille des lots est tributaire de la taille de mémoire disponible sur la carte graphique (CUDA).
En général je ne peux pas dépasser une taille de lot supérieure à 10 sur mon ordinateur personnel, sans provoquer une interruption de l’entraînement à cause d’un débordement de la mémoire (memory overflow). Sur Google-Colab je ne peux guère dépasser une valeur de 32.
Pour faciliter la comparaison des performances et qualités des différents modèles TTS, j’ai défini une limite de 1000 époques pour chaque entraînement. Sur mon ordinateur personnel une époque prend donc 64 itérations, sur Google-Colab le nombre se réduit à 20. Le temps d’exécution d’une époque est en moyenne de 95 secondes sur mon ordinateur personnel, ce qui fait environ 26 heures pour l’entraînement complet d’un modèle TTS avec Marylux-648 (64.000 itérations).
Avec un lot de 32, on s’attend à une réduction du temps d’entraînement d’un facteur 3,2, c.à.d. à environ 8 heures. Or à cause du partage des ressources entre plusieurs utilisateurs sur Google-Colab, le gain est plus faible. J’ai observé un temps de calcul moyen de 72 secondes par époque, ce qui donne une durée totale d’entraînement d’environ 20 heures pour 1000 époques (20.000 itérations).
Pour entraîner une base de données de référence comme LJSpeech, VCTK ou Thorsten Voice, qui ont chacune une durée d’enregistrement d’environ 24 heures, le temps de calcul se situe donc entre 3 et 4 semaines, dans les mêmes conditions. On peut réduire le temps d’apprentissage en augmentant la taille des lots à 64, voire à 128 échantillons. Une autre possibilité consiste à utiliser plusieurs cartes graphiques connectées en réseau. Le projet Coqui-TTS supporte une telle interconnexion CUDA. Des témoignages recueillis auprès de développeurs de modèles TTS neuronaux confirment que dans la pratique il faut compter une à deux semaines pour exécuter un entraînement avec une nouvelle base de données, ayant une durée d’enregistrements d’une dizaine d’heures, sur un ensemble ordinateur & CUDA performant.
Marylux-648 Tacotron2-DCA
Pour présenter les résultats obtenus avec l’entraînement de la base de données Marylux-648, il convient de commencer avec le doyen des modèles TTS neuronaux: Tacotron. L’apprentissage profond a été réalisé à partir de zéro. Avant d’entrer dans les détails, nous allons écouter la synthèse de la fable “De Nordwand an d’Sonn”.
Clip audio de la synthèse vocale de la fable “Nordwand” avec le modèle TTS Tacotron2-DCA
Le résultat n’est pas fameux !
La prochaine image montre la séquence temporelle des signaux audio. La figure confirme qu’il y a problème.
Signal audio temporel de la synthèse vocale de la fable “Nordwand” avec le modèle TTS Tacotron2-DCA
En utilisant un vocodeur entraìné au lieu du vocodeur algorithmique Griffin-Lim, on peut améliorer la qualité de la synthèse. La première phrase de la fable Nordwand sert d’échantillon de comparaison. La synthèse avec vocodeur Griffin-Lim est reprise ci-après, suivie par la synthèse avec un vocodeur Hifigan.
Clip audio d’une synthèse TTS avec modèle Tacotron2-DCA et vocodeur Griffin-LimClip audio d’une synthèse TTS avec modèle Tacotron2-DCA et vocodeur Hifigan
Le signal temporel de ces deux clips audio est affiché dans l’image qui suit. Une différence notable entre les deux clips est bien visible, mais la qualité auditive n’est pas encore satisfaisante.
Signaux temporels des clips audio synthétisés avec vocodeur Griffin-Lim (en haut) et Hifigan (en bas)
Le modèle Coqui-TTS Tacotron2-DCA (Dynamic Convolution Attention) constitue une n-ième évolution du premier modèle TTS Tacotron avec une nouvelle architecture qui est cofigurée par un ensemble de plus de 150 hyper-paramètres, en format json. La liste complète de configuration peut être téléchargée sur mon site web, un extrait est présenté dans la figure qui suit.
Présentation de la configuration d’un modèle TTS en format JSON dans le navigateur Firefox
Une possibilité théorique d’améliorer la qualité de synthèse d’un modèle TTS est de mieux régler la configuration, suivant une procédure “essai-erreur (trial and error)” ou sur base d’analyses complexes supplémentaires de la base de données. Avec le grand nombre de paramètres de configuration et les durées d’entraînement dépassant une journée pour effectuer un nouveau essai avec la base de données Marylux-648, ce n’est guère praticable.
Une deuxième possibilité consiste à prolonger l’apprentissage en continuant l’entraînement pendant plusieurs époques supplémentaires. Mais comme dans notre cas le dernier fichier de contrôle (checkpoint) avec le nom “best_model.pth.tar” a été enregistré après xxx itérations (steps), cela ne fait pas de sens de dépasser mon seuil fixé à 1000 époques (64.000 itérations).
La seule solution valable consiste à étudier en détail la progression du livre de bord (logs), enregistré lors de l’entraînement. Le modèle TTS Tacotron2-DCA de coqui.ai, comme d’ailleurs tous les modèles TTS partagés par cette jeune start-up, utilisent le fameux kit de visualisation de TensorFlow, appelé TensorBoard. L’outil permet le suivi et la visualisation de métriques relatifs à l’apprentissage profond (deep machine learning), telles que la perte (loss) et la justesse. TensorBoard peut également afficher des histogrammes de pondérations et de biais, des images, des textes et des données audio, au fur et à mesure de leur évolution.
Les métriques générés lors de l’entraînement du modèle TTS Tacotron2-DCA permettent l’affichage, sous forme graphique, de la progression des résultats relatives aux évaluations (13 scalaires, 4 images, 1 fichier audio), aux époques, respectivement aux tests (16 scalaires, 12 images, 6 fichiers audio) et aux itérations, respectivement à l’entraînement (16 scalaires, 4 images, 1 fichier audio).
Les trois images qui suivent donnent un aperçu sur l’affichage de scalaires, d’images (spectrogrammes et attentions) et de fichiers audio du modèle TTS Tacotron2-DCA, à la fin de l’entraînement avec la base de données Marylux-648.
On peut également consulter les paramètres de configuration en vigueur pour l’entraînement dans le menu “Text”.
Google, le créateur des outils TensorFlow et TensorBoard, offre une plateforme gratuite de partage des résultats d’expériences d’apprentissage profond, sous le nom de TensorBoard.dev. Malheureusement cette plateforme ne permet pas encore le partage des spectrogrammes et des données audio. J’ai toutefois installé mon livre de bord relatif au modèle Tacotron2-DCA sur cette plateforme, ce qui permet à chacun d’analyser l’évolution des scalaires afférents en temps réel.
La prochaine image donne un aperçu sur cet outil TensorBoard.dev.
Sans vouloir entrer dans les détails, l’exploration du livre de bord montre que l’entraînement dun modèle TTS Tacotron2-DCA avec la base de données Marylux-648 est entré dans une phase de sur-apprentissage (overfitting), ce qui ne permet pas de synthétiser correctement des mots ou phrases non vus lors de l’apprentissage. Il faut se rendre à l’évidence que la taille de la base de données Marylux-648 est insuffisante pour entraîner un modèle TTS Tacotron2-DCA.
Il est vrai que Tacotron est connu pour être gourmand en données.
Je vais présenter les résultats obtenus avec d’autres modèles TTS lors de prochaines contributions sur mon présent site web. Mais pour ne pas laisser le lecteur intéressé sur sa faim jusque-là, je vais rapidement introduire le dernier né des familles TTS neuronaux. Il s’appelle VITS.
Marylux-648 VITS
VITS est l’abréviation pour Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech. La prochaine figure montre les signaux temporels des six phrases de la fable “Nordwand”, synthétisées avec le modèle Coqui-TTS VITS. L’allure donne confiance, et l’audition qui suit confirme que la qualité de la synthèse dépasse largement celle du modèle Tacotron2-DCA.
Signaux temporels des six phrases de la fable “Nordwand”, synthétisées avec le modèle TTS VITSSynthèse vocale des six phrases de la fable “Nordwand”, réalisée avec le modèle TTS VITS
Les deux figures qui suivent montrent un aperçu de l’évolution des métriques lors de l’entraînement de la base de données Marylux-648 avec le modèle TTS VITS. Les graphiques peuvent être visualisés en détail sur TensorBoard.dev.
Mot de la fin
L’apprentissage profond de machines est une technique passionnante. Le comportement des réseaux neuronaux à la base des architectures de systèmes de synthèse de la parole me rappellent parfois les réactions de mes cinq petits-enfants lorsqu’ils faisaient de nouvelles découvertes ou lors d’un nouvel apprentissage. J’ai également constaté que des anciennes techniques réapparaissent dans des nouveaux systèmes. Les spectrogrammes utilisés dans les modèles neuronaux TTS ont déjà été utilisés dans la machine Pattern Playback, développé par Franklin S. Cooper à la fin des années 1940.
