Thursday, July 28, 2005

Comparatif des formats audio à 96...100 kbps : résultats intermédiaires (partie 2)

La deuxième grande série du groupe d'échantillons de musique classique est désormais derrière moi. Le test du 55ème extrait a été complété peu avant 14 heures. Les résultats de ce sous-groupe présentent des différences de taille par rapport aux précédents résultats postés hier. Ces différences peuvent être analysés sous deux angles :
1_ par rapport aux résultats obtenus avec les mêmes échantillons mais à débit inférieur (80 kbps) ; en clair, la progression en passant de 80 à 96 kbps.
2_ par rapport aux résultats obtenus avec les échantillons précédents mais à débit identique ; il s'agit donc d'établir les différences qualitatives entre deux types différents de musique.


1/ progression entre 80 et 96 kbps




  • MP3 à 128 kbps: je commence d'emblée par le référent haut, qui est identique pour les deux tests (mp3 LAME abr 131). Théoriquement, les notations accordées devraient par conséquent être identiques. Mais des différences notoires apparaissent d'un test à l'autre. Plusieurs phénomènes peuvent expliquer ces variations. Tout d'abord, il y a le changement de matériel. Le test à 80 kbps a été réalisé avec une meilleure carte son et un autre casque, tandis que ce test à 96 kbps a été mené sur un ordinateur portable équipé de composants sonores plutôt négligés. Je craignais que les faiblesses matérielles allaient niveller la qualité de restitution en gommant un grand nombre de défaut ; or, la différence dans la notation moyenne n'est que de 0,11 point. Par conséquent, la qualité du matériel n'est pas un facteur trop limitatif pour ce genre de test, du moins à ce débit. Autres facteurs pouvant expliquer ces différentes évaluations entre deux tests pour des fichiers identiques : des différences d'appréciations normales (on ne peut décemment espérer donner une note identique lors de deux évaluations séparées par le temps - tout au plus sera-t-elle similaire) ; l'appréciation peut se faire sur différents passages d'un même échantillon, pour lesquels la dégradation peut être plus ou moins marquée ; enfin, la mise en rapport avec des concurrents plus solides peut tendre à baisser de manière mécanique la note attribuée au référent haut (ce même mp3 à 128 kbps n'obtiendrais sans doute pas 3,5 s'il était comparé à des encodages à 190 kbps par exemple). Mais le point le plus intéressant à retenir est le suivant : le grand nombre d'échantillons gomme de manière statistique les différences particulières. La note moyenne entre les deux tests est donc pratiquement stable.
  • AAC : l'augmentation est de 1,35 points (2,25 -> 3,60), ce qui est pratiquement colossal compte tenu du maigre apport en bit (80 -> 96 kbps). Beaucoup des défauts audibles à 80 kbps deviennent négligeables à 96 kbps, et vont parfois jusqu'à devenir inaudible (note 5 donnée à S10, S18, S28, S34 [par mégarde pour ce dernier]). Des défauts perceptibles chez ses rivaux lui sont épargnés : pas de souffle/grossièreté comme avec Vorbis, et diminution du pré-écho dans les cas extrême comme absence de parasitage dans les basses fréquences dont souffre LAME à 128 kbps. Par contre, l'AAC à 96 kbps souffre par moment d'inconstance au niveau de l'arrière-plan : le bruit est fluctuant, les informations musicales de faible volume sont pareillement distordues. C'était particulièrement net avec les échantillons dédiées aux cordes pincées (guitare, harpe, clavecin). On notera que l'AAC à 96 kbps fait ic jeu égal non seulement avec Vorbis à même débit (qui est VBR rappelons-le) mais aussi avec LAME MP3 à 128 kbps (ABR de surcroît).
  • MP3 (96 kbps) : l'augmentation est de 1,23 points (1,86 -> 3,09) sur ce sous-groupe d'échantillons, soit une progression presque aussi spectaculaire que celle opérée par l'AAC (iTunes). Plus que la progression mesurée, la note finale est à souligner : avec plus de 3 points (avec une dizaine d'échantillons atteignant ou dépassant la note de 4,00 !) la qualité obtenue à ce débit devient dans l'ensemble acceptable. Prévu pour être opérationnel à 1/11 - 1/12 par Fraunhofer, le MP3 a su faire nettement mieux que cet objectif (on rappelera qu'un encodeur MP3 ISO est nettement plus mauvais à 128 kbps que LAME 2005 à 96 kbps). D'ailleurs, l'écart entre les notations obtenues pour les deux encodages MP3 inclus dans ce test est sérieusement raccourçi.
  • MPC : absent à 80 kbps, il est impossible de mesurer les progrès liés à un apport de 16...20 kbps supplémentaire. Il faudra attendre la prochaine comparaison gérénale (128 kbps) pour opérer une comparaison. En l'état actuel de l'encodeur, le MPC est inapte aux encodages de musique instrumentale soliste à ~100 kbps (105 kbps pour ces 55 échantillons).
  • Vorbis : le champion incontesté du précédent test est celui dont la progression est la plus faible, de 0,84 points (2,74 -> 3,58), ce qui est néanmoins significatif et surtout appréciable. Et si l'encodeur se fait déjà rattraper par son concurrent (AAC), il est plus important encore de noter qu'il arrive au même niveau que le MP3 à 128 kbps. Si Vorbis séduit moins qu'auparavent, c'est principalement en raison de problèmes qui lui collent à la semelle : bruit de fond, poussée du souffle, et surtout instruments grossiers, gras, son épais. A 80 kbps, ces défauts étaient plus marqués encore, mais moins gênants lorsque comparés aux artefacts dont souffrait la concurrence : lowpass, son métallique, ringing, informations gommées et sonorité instable, voire pré-écho plus prononcé. Mais à 96 kbps, lorsque comparés à des encodeurs déjà moins en peine, il arrive à Vorbis d'offrir une sonorité plus sale et plus éloignée de l'original que ses rivaux. Cette tendance qui avait déjà été notée précédemment (musique instrumentale jouée de concert) est donc plus marquée avec les échantillons de musique instrumentale soliste testée ici. On notera les performances sur les 6 échantillons de clavecin, qui avec une note de 3,5 environ révèle une qualité d'encodage supérieure à tous ses rivaux, MP3 à 128 kbps compris.
  • WMA : ce format est généralement désolant ; raison de plus pour saluer l'extraordinaire saut qualitatif obtenu entre le test précédent et celui-ci : 1,65 points (1,52 -> 3,17). Deux facteurs peuvent expliquer l'importance de ce bond. Le premier réside dans l'apport en débit : 96 kbps ici, contre 66 kbps à peine lors du précédent test (pour lequel le VBR était apparu comme la solution la plus pertinente). Le second facteur est certainement le plus significatif : ce groupe de 55 échantillons en comprend plusieurs pour lesquels le WMA est parfaitement à l'aise : les instruments tonaux. Que ce soient les instruments à cordes (erhu : S04 ; viole de gambe : S05 ; violon : S07 & S09), l'orgue (S17, 18, 19, 22), les instruments à vent (l'accordéon : S32 ; la cornemuse : S44 ; la clarinette : S47 ; la flute : S49 ; le saxophone : S53) et surtout quelques raretés ultra-tonales (comme l'harmonica de verre : S34 et les ondes Martenot : S37) pour lesquels le WMA obtient la note 5/5 - bref, l'adéquation de cet encodeur pour l'ensemble de ces instruments fait bien plus que de masquer les défaillances traditionnelles de ce format audibles avec plusieurs autres échantillons.



2/ progression entre le groupe de musique orchestrale/chambre et le groupe de musique instrumentale soliste




Les résultats restent stables pour trois formats : le MP3 à 96 kbps (3,10 & 3,09), le MPC (1,94 & 1,91) et Vorbis aoTuV (3,56 & 3,58). En somme, l'utilisateur peut espérer des performances d'ensemble homogènes indépendamment du contenu de ses disques (du moins tant qu'il s'agit de musique instrumentale).
Légère progression pour l'AAC qui s'en sort mieux lorsqu'il n'a qu'un instrument à coder et non plusieurs (3,28 -> 3,60 = +0,32 points). Avec ce gain, iTunes AAC refait son retard du Vorbis aoTuV mais surtout le MP3 LAME à 128 kbps. C'est ce dernier qui présente le plus de difficulté à coder les instruments solistes. Il faut dire qu'avec 10% d'échantillons de clavecin (que LAME n'a jamais apprécié) et bien plus encore pour des instruments "tonaux" (pour lesquels LAME 3.97 alpha souffre régulièrement de problèmes dans les basses fréquences ou warbling), ce groupe est vraiment celui pour lesquels je m'attendais à voir LAME souffrir. La bonne performance de LAME à 96 kbps est dans ces conditions d'autant plus remarquable. Il m'est d'ailleurs arrivé plus d'une fois de donner une note supérieure à l'encodage LAME 96 kbps (par rapport à LAME 128 kbps) ! Le cas le plus dramatique se produit avec l'échantillon d'orgue S19 : LAME 96 kbps = 4,3/5 tandis que LAME 128 = 2/5 !!! L'encodage à 128 kbps présente de graves parasitages dont l'encodage à 96 est presque totalement exempt. Et comme l'orgue souffre moins de lowpass que d'autres instruments, le resampling à 32000 KHz de l'encodage à 96 kbps passe comme une lettre à La Poste.
Enfin, c'est le WMA qui bénéficie le plus des propriétés des échantillons réunis dans ce sous-groupe : + 0,68 points (2,49 ->3,17). L'explication en a été donnée plus haut (cf. 1/ Progression entre 80 et 96 kbps, • WMA).



____
120 des 150 échantillons du groupe 1 ont été testés. Reste encore à finir les 30 derniers de ce groupe (musique vocale) ainsi que les 35 du second groupe pour que ce test soit achevé. Vu le temps, il faut se motiver...

0 Comments:

Post a Comment

<< Home