Monday, August 01, 2005

Comparatif des formats audio à 96...100 kbps : dernière partie

Lundi 1er août, 15h27 : ultime évaluation, la dernière d'un test à 96 kbps qui en comporte au total 1750 (poules et série finale). Ouf!
Les résultats complets du dernier groupe diffèrent très peu de ceux postés avant-hier. L'ajout de 16 échantillons aux 19 déjà testé ne modifie pas la note de plus de 0,1 point, ce qui permet de penser qu'un test comprenant une quizaine d'échantillons suffit à assurer la représentativité de l'ensemble. Voici le résultat final :



Si les notes pour chacun des formats n'a que très peu évoluée, il faut noter que les probabilités statistiques se sont renforcées depuis la "mi-temps" du test. Désormais, la supériorité ou l'infériorité de chacun des participants est confirmée avec une probabilité supérieure à 95%. Les zones extrêmes (traits horizontaux) de chacun des plots ne se recoupent pas entre eux.
Le classement est donc le suivant :

ogg vorbis (96) > lame MP3 (128) > iTunes AAC (96) > lame MP3 (96) > MPC (96) > WMA (96).

Le nec plus ultra du MP3 à 128 kbps est finalement devancé par un des nouveaux formats handicapé par un débit inférieur de 25% environ, et ce format est l'ogg Vorbis, dans la version aoTuV beta 4 / LANCER. Les autres "successeurs" du MP3 ont encore du chemin à parcourir pour offrir à leurs utilisateurs la possibilité d'un gain substantiel en espace consommé tout en préservant la qualité.


ÉVOLUTION DEPUIS 80 kbps SUR LES 35 ÉCHANTILLONS DU GROUPE 2




AAC : + 1,24 points
MP3 : + 1,59 points
Vorbis : + 0,72 point
WMA : + 0,21 point
MP3_128 : + 0,06 points

L'écart de notation entre les deux tests pour le référent haut est cette fois-ci insignifiant et rend superflue la présentation de données "corrigées".
On retrouve à l'identique les tendance notées précédemment pour la plupart des formats :

- AAC et MP3 progressent énormément entre 80 et 96 kbps, avec une progression un peu plus marquées encore pour le MP3 - sans doute liée à des difficultés supérieures à celles de l'AAC pour affronter les débits les plus bas.
- Vorbis progresse lui aussi, mais de manière plus mesurée.
- seul le WMA ne se comporte pas comme ce qui avait été noté avec les échantillons de musique classique, et n'offre en guise de bond qu'un saut de puce de 0,2 points. Cette contre-performance est sans doute à mettre sur le compte du changement de mode d'encodage entre les deux tests (VBR précédemment, et CBR ici). Ce changement a deux conséquence :
1/ d'une part, l'augmentation du débit entre les deux tests est très faible : de 88 kbps précédemment (sur le groupe 2) à 96 kbps, soient 8 kbps à peine. Avec ce mince avantage, il devenait difficile d'espérer des changements significatifs.
2/ l'apparition de défauts absolument insupportables, propre à ce débit de 96 kbps aux encodages CBR. Les encodages VBR souffrent essentiellement de lowpass ; les encodages CBR de métallisation du signal. Lors de la poule, j'avais beaucoup de peine à faire mon choix entre les deux tares. J'avais opté pour le CBR, qui présentait un résultat globalement supérieur, avec même de bonnes surprises par endroit (confirmées avec le sous-groupe "soliste" du groupe d'échantillons dédié à la musique classique.


DIFFÉRENCES ENTRE MUSIQUE "CLASSIQUE" ET MUSIQUE "VARIÉE

La présence de deux groupes d'échantillons dédiés à ces deux approches de la musique permet d'établir l'existence d'affinités pour certains de ces encodeurs avec l'un ou l'autre des deux groupes.




-l'AAC d'iTunes prenant racine sur QuickTime 7 est très homogène (3,43 et 3,37). Cela avait été noté lors de la poule, qui ne comprenait alors que 25 échantillons de musique classique et 15 de musique variée, et je suis heureux de voir que l'ajout massif d'échantillons ne déséquilibre aucunement ces résultats.

- LAME MP3 3.97 alpha 11 présente moins de défauts avec les échantillons de musique classique, surtout à débit plus faible (96 kbps : 3,11 & 2,81 points), mais également à débit moyen (128 : 3,83 & 3,70). De quoi apporter un démenti à ceux qui prétendent qu'encoder du classique en MP3 est idiot (variante : encore plus idiot qu'avec de la 'variété'). La musique classique se prête d'avantage, à ce débit, au jeu de l'encodage perceptuel défini par le MP3 et effectué par LAME 3.97.

-MPC 1.14 --thumb : de catastrophique avec la musique classique (1,88), les résultats devienne plus acceptable avec le second groupe (2,44). Il est donc bon de garder à l'esprit que si ce format s'exprime brillament avec de la musique 'variée', les risques de faiblesses sont plus grands avec la musique classique.

- Vorbis aoTuV beta 4 / LANCER, qui est déjà remarquable avec le groupe 1 (3,58), étincelle avec le second (4,05). Ce phénomène avait déjà été observé lors du comparatif précédent (80 kbps). Mais à mon grand étonnement, cet écart de 0,47 point, et que je pensais voir partiellement fondre avec l'élévation du débit, est stationnaire (à 80kbps : 2,87 & 3,33 soit 0,46 point). Je doute cependant que cet écart puisse encore subsister à débit supérieur. La qualité atteinte par Vorbis avec le groupe 2 atteint déjà un degré élevé - pas encore transparent, mais les défauts deviennent vraiment limités - ce qui ne peut que freiner encore la progression qualitative consécutive à l'apport en bit. A l'inverse, il reste encore une belle marge de progression pour les échantillons du premier groupe. On peut donc s'attendre à une homogénéisation de la qualité perceptuelle lors du prochain test, à 128 kbps.

- WMA 9.1 : ce format s'en sort globalement mieux avec les échantillons de musique classique qu'avec les autres. Je rappelle en outre que parmi les échantillons de musique classique, ce format présente aussi moins de difficulté avec les enregistrements instrumentaux et lyriques solistes. Je ne sais pas ce qui pénalise le WMA avec certains échantillons mais pas avec d'autres. Le niveau sonore ? Une complexité supérieure liée à la présence de plusieurs signaux ?



_______
Il ne me reste désormais qu'à faire la synthèse du test, afin de le rendre publiable et d'en présenter les poules préliminaires. Ensuite, break, puis lorsque ma motivation sera revenue, la reprise avec les poules du test à 128 kbps...

2 Comments:

Anonymous Pac said...

Je sens que ta motivation revient deja! ;-)

Monday, August 01, 2005 11:18:00 PM  
Blogger gURuBoOleZZ said...

Tu parles... j'ai bêtement paumé deux heures de rédaction continue de la version synthétique du test suite à une erreur de manip. Ecoeuré !

Tuesday, August 02, 2005 2:26:00 AM  

Post a Comment

<< Home