Saturday, July 30, 2005

Comparatif des formats audio à 96...100 kbps : musique variée (premiers résultats)

Dernière ligne droite avant de compléter le test. 35 échantillons restaient à tester - et 19 sont derrière moi. Je suis donc en mesure de communiquer les résultats des échantillons compris entre 41_30.wav et LifeShatters.wav.
J'étais persuadé que les résultats obtenus seraient assez différents de ceux obtenus avec les échantillons de musique classique. Les tests confirment le bousculement total de la hiérarchie :




Deux encodeurs présente une qualité similaire à celle obtenue plus tôt : l'AAC et le référent haut (LAME 128 kbps). Pour l'AAC, ce n'est pas vraiment une surprise, car la poule préliminaire dédiée à l'AAC (non publiée pour le moment) avait déjà permis de mettre en avant l'homogénéité de l'encodeur d'Apple par rapport à ses rivaux d'autres éditeurs.

Au chapitre des baisses de régime, on trouve deux autres encodeurs : LAME à 96 kbps, et le WMA. J'avais exprimé plus haut mon pressentiment au sujet du fort risque de voir le WMA souffrir sur ce type d'échantillons. Le format avait déjà révélé des difficultés à encoder du matériel enregistré à fort volume et mettant en scène plusieurs instruments. La qualité générale du WMA dans cette série fait plus que diminuer par rapport à la précédente : elle s'effondre brusquement. Les encodages présentent presque tous un son hyper-métallisés, vraiment très désagréable je trouve.
L'affaissement qualitatif dont est victime le MP3 à 96 kbps est quant à lui moins dramatique. Il est à mettre sur le compte d'un yo-yo permanent entre des encodages réussis et d'autres ratés. Ces variations avaient déjà été constatées dans le groupe précédent, mais dans celui-ci, LAME a plus de difficulté à trouver des échantillons qui lui sont favorables.
On peut également remarquer que concernant l'affrontement MP3 - WMA (les deux formats les mieux supportés matériellement) le MP3 semble dominer encore plus facilement le WMA qu'avec les échantillons de musique classique. J'avoue que je m'attendais plutôt à voir l'écart se resserrer. Enfin, je termine sur le WMA en précisant que les encodages VBR (perdants lors de la poule) devraient mieux figurer avec ce type de matériel. Car les développeurs de Microsoft ont décidé d'être moins gourmands avec ce mode, en réduisant le niveau de lowpass à un seuil plus bas, ce qui évite à ces encodages d'avoir à torturer l'auditeur par la présence de cette chape métallisante qui cause beaucoup de tort à ce format. Le mode CBR est en revanche plus convaincant avec les échantillons de musique classique.

Enfin, une progression très nette est à signaler avec le MPC et Vorbis - aoTuV/Lancer. Je m'y attendais pour le MPC ; c'est d'ailleurs en notant avant de commencer la phase de test cette grande différence qualitative entre les échantillons de musique classique et ceux de musique variée que je me suis décidé à inclure le MPC dans ce test à 96 kbps. On reste loin de l'excellence, mais la qualité s'éloigne des abîmes dans lesquels le format avait précédemment sombré. Je pense que cette brusque élevation a un rapport avec l'augmentation générale du volume des échantillons testés ici. L'encodeur connait de très graves difficultés avec les passages de faible intensité - difficultés semblables qui peuvent d'ailleurs être perçues jusqu'au profil --insane (mais alors très faiblement, et dans des conditions d'écoute particulières).
Vorbis aoTuV progresse très nettement lui aussi. La note moyenne obtenue ici est largement supérieure à celle obtenue avec les 150 échantillons précédents. On retrouve donc la tendance notée lors du test à 80 kbps, où l'encodeur manifestait déjà son manque de sympathie pour les fistons Bach et les orchestres symphoniques et sa grande adéquation avec la musique """populaire""" (trois séries de guillemets ne sont pas de trop). L'encodeur dépasse même en qualité les encodages LAME à 128 kbps, et il s'en faut d'une courte tête pour que cette supériorité soit validée statistiquement (à ce stade du test, la certitude est inférieure à 95%). Performance proprement époustouflante pour Vorbis !

Friday, July 29, 2005

Comparatif des formats audio à 96...100 kbps : résultat final (musique classique)

1/ résultats : 150 échantillons de musique classique



• Le meilleur encodeur testé est le référent haut, donc hors compétition. Il s'agit de LAME 3.97a11, encodé avec la commande --abr 131, et dont le débit final correspond à 126 kbps environ.

Vorbis aoTuV beta 4 et iTunes AAC (iTunes 4.9 / QuickTime 7.02) sont second, ex-aequo statistiquement, mais avec une notation légèrement supérieure pour Vorbis. Les deux encodeurs obtiennent à 96 kbps une note moyenne satisfaisante, correspondant à la présence de défauts audibles mais peu gênants (je rappelle qu'il s'agit d'un jugement global et que ces encodeurs peuvent présenter selon les échantillons de graves défauts).

• Le MP3 (LAME 3.97a11) à 96 kbps arrive quatrième, avec une note flatteuse (plus flatteuse en tout cas que la réputation de ce format à ce débit). La qualité est inférieure à celle offerte par Vorbis aoTuV et par iTunes AAC, mais la différence est assez étroite. On peut imaginer que LAME puisse rivaliser avec des encodeurs AAC et Vorbis moins convaincants, voire les dépasser sans peine (je songe à faac, ou Nero en mode 'high')... du moins avec de la musique classique.

• Je mentirais en affirmant que le WMA 9.1 déçoit. J'avais déjà noté dans le passé lors de petits tests ponctuels ses difficultés et même son infériorité face au MP3. Cette infériorité est éclatante à ce débit (elle commençait déjà à apparaître à 80 kbps). Je rappelle cependant que ce format, contrairement au MPC qui ferme la marche, est capable de véritables prouesses d'encodage, en offrant une qualité quasiment sans rivale lors de passages très tonaux. Malheureusement, rares sont les plages complètes (sans même évoquer la possibilité d'un album) intégralement constituées de passages favorables à cet encodeur. En somme, même pour un usage nomade, le WMA est à laisser de côté lorsqu'il s'agit d'encoder de la musique classique.

• Le MPC (1.14) en profil --thumb est à effacer des mémoires (c'est ce que je souhaite à la mienne en tout cas). Ce n'est pas une surprise, mais ce test infirme cependant quelques avis laissés dans le passé sur les performance de ce format à bas débit - avis peut-être valides, mais pas sur du classique en tous cas.


2/ évolution depuis 80 kbps




La qualité d'encodage des différents encodeurs à 80 kbps sur ces 150 échantillons de musique classique m'avait semblé assez décevante ; seul Vorbis aoTuV se démarquait de ses rivaux, sans toutefois parvenir à se hisser à un stade réellement satisfaisant (note inférieure à 3 points). Quant aux autres, c'était plutôt mauvais, et la note finale était si basse que je ne voyais pas un apport de 16 kbps fondamentalement modifier la donne.
Les conclusions obtenues sur ce test mené à 96 kbps contrastent donc violemment avec le constat précédent. Car ce n'est pas un mais trois encodeurs qui franchissent le cap des 3 points. Vorbis aoTuV est pratiquement rejoint par iTunes AAC, qui lui est domine d'une courte tête le MP3. MP3 et AAC révèlent peut-être ici une certaine parenté technologique, puisque tous deux voient leurs performances s'effondrer quelque part entre 80 et 95 kbps. Entre ces deux eaux, la qualité suit une pente raide. Pour l'AAC-LC/MPEG-4, cet état de fait est d'ailleurs inquiétant lorsqu'on connait les limites du profil High Efficiency (AAC-HE) censé prendre le relais sitôt que flanche le profil LC, sans y parvenir. A l'heure actuelle, l'AAC n'est donc pas en mesure selon moi d'offrir des encodages compétitifs entre un 80 et ~90 kbps, voire peut-être même 70 - 90 kbps. Cette situation pourra-t-elle évoluer avec le processus de maturation des encodeurs ? L'avenir le dira.

La progression de Vorbis entre 80 et 96 kbps suit une courbe moins violente. Progression limitée, qui suffit toutefois à ce format pour garder une demi tête d'avance sur son rival direct. Au risque de me répéter, je rappelle que Vorbis est aussi le seul encodeur à être à l'abri de grosses défaillances à 96 kbps : pas de ringing violent même sur des plages à très faible volume et amplifiée à l'écoute, pré-écho limité, lowpass très élevé (17000 KHz) et surtout constant qui lui épargne des sonorités métalliques... mais toujours cette poussée du bruit et cette sonorité huileuse, grasse, caractéristique du format et qui le rend aisément identifiable. Je m'étais souvent plaint de cette tendance ; les différentes versions d'aoTuV ont régulièrement cherché à en atténuer les nuisances. Je me rappelle avoir affirmé qu'aoTuV beta 2 à -q2 offrait autant de souffle que l'encodeur officiel (1.01) à -q4. Entre temps, aoTuV beta 2 est devenu Vorbis 1.1, et aoTuV en est à sa quatrième version beta. Or, j'ai testé dans les poules 1.1.1 (donc aoTuV b2) contre aoTuV beta 4 à -q2, et ce dernier présente à nouveau une réduction significative de ces défauts. En clair, aoTuV beta 4 à 90 kbps présente certainement autant et peut-être même moins de bruit/grossièreté que l'ancienne version de Vorbis à 130 kbps ! Je me demande si après tant de progrès il sera encore possible de réduire de manière significative le niveau de nuisance perçu ici. Si ce n'est pas jouable, le format pourra encore tenté de progresser sur d'autres aspects : pré-écho qui pourrait être encore atténué, meilleure restitution des détails sur des signaux de type micro-attaques (E19, E50) voire sur les passages présentant de nombreuses micro-informations (E51, S21 par exemple) et enfin une tendance à la distortion des passages tonaux (S05, S22). Quoi qu'il en soit, le match AAC - Vorbis risque d'être animé ces prochaines années.

Le WMA progresse également entre ces deux débits. Néanmoins, la qualité est globalement insuffisante. Le format souffre d'une quantité de problèmes, dont le pire est certainement cette tendance parfois poussée à la caricature à métalliser les timbres, notamment sur les passages à fort volume [le pire est à craindre pour les extraits du second groupe : metal, rock & pop]. Même le bruit de fond prend parfois une couleur électrique (c'est particulièrement vrai pour les passages à faible volume ou ceux qui présentent un bruit de fond assez poussé). Le format se sent parfois l'âme d'un réducteur de bruit façon Dolby NR™ et présente des variations de bruit de fond assez brutale sur certains échantillons (S25 pour un cas extrême). Le pré-écho est également mal maîtrisé (marimbas : S36). Le tour d'horizon serait incomplet si je ne mentionnais pas cette zone éclairée du WMA, qui est capable de miracles sur les échantillons ultra-tonaux (plus nombreux dans la musique instrumentale et vocale de type soliste).

Enfin, reste le référent haut, qui voit sa note augmenter entre deux tests alors que les fichiers sont identiques. J'ai déjà tenter de fournir plusieurs explications à ce phénomène, dont la plus probante me parait-être le changement de matériel d'un test à l'autre. L'utilisation d'un système d'écoute de qualité moindre a peut-être eu pour conséquence l'atténuation de certains défauts, plus difficilement audible et donc moins irritants sur un équipement de qualité moyenne. J'avoue cependant être agréablement surpris par la similitude des résultats obtenus. Je craignais de trouver des écarts de notation plus grands. Essayez par exemple de donner une note à 150 de vos livres, films ou CD. Rangez le bulletin dans un placard, et refaites le jeu trois semaines plus tard : vous verrez sans doute apparaître des écarts plus ou moins important entre ces deux évaluations. Un écart de 0,13 point me semble même tenir du miracle. Ce miracle a sans doute pour nom "statistique", tant il est vrai que les écarts parfois d'évaluation pour quelques échantillons ont été presque entièrement gommés par l'importance du nombre de fichiers évalués.
Je suis même tenté de corriger les valeurs obtenues sur ce test, en retirant à chaque format l'excédent injustifié de 0,13 points constaté avec le référent haut. On obtiendrai les résultats suivants :













































format note à 80 kbps note à 96 kbps note corrigée progression 'corrigée'
AAC 2,08 3,43 3,30 +1,22
MP3, 96 1,64 3,11 2,98 +1,34
Vorbis 2,87 3,58 3,45 +0,58
WMA 1,54 2,69 2,56 +1,02
MP3, 128 3,70 3,83 3,70 +0,00



2/ résultats : mise en regard des trois grands ensembles d'échantillons


Sans les commenter (voir mes précédents envois sur le blog), voici les résultats obtenus sur les trois types fondamentaux d'échantillons testés.







Comparatif des formats audio à 96...100 kbps : résultats intermédiaires (partie 3)

La dernière partie de l'ensemble des 150 échantillons de musique classique, dédiée à la musique vocale, est enfin achevée. Elle est constituée de 30 échantillons seulement, dont la moitié environ est consacrée aux voix plurielles (polyphonies, plaint-chant, choeurs et duo) - l'autre étant constituée d'échantillons représentant un(e) chanteur(se) soliste (avec ou sans accompagnement instrumental). Les résultats sont d'ailleurs très contrastés entre ces deux moitiés.



1/ résultats d'ensemble du groupe "voix"




La lecture des résultats amène quelques commentaires. Trois encodages se disputent la première place : MP3 à 128, AAC et Vorbis. Le MP3 à 128 kbps obtient une meilleure moyenne, mais la différence n'est ni suffisemment grande ni suffisemment homogène pour pouvoir affirmer avec 95% de certitude que le MP3 est supérieur à ses deux rivaux (la certitude est de 40...50% seulement). Les deux poursuivants (AAC iTunes & Vorbis aoTuV) sont impossible à départager, et obtiennent la même moyenne (mais des performances contrastées sont à noter pour chaque échantillon pris isolément). Le MP3 à 96 kbps fait jeu égal avec Vorbis et l'AAC et occupe la deuxième place à leurs côtés : là encore, l'infériorité de la note n'est pas suffisante pour affirmer avec certitude l'infériorité réelle du format face à ces deux concurrents. La note obtenue par le MP3 à ce débit (3,30) est d'ailleurs étonnante.
WMA et MPC sont définitivement distancés. Le WMA réalise ici sa plus mauvaise performance (2,33, contre 2,49 et 3,19 pour les deux précédents groupes). Nous verrons plus loin que ces résultats d'ensemble dissimulent une grande disparité. Le MPC chute également. Je dois admettre que cette baisse de la notation d'ensemble (1,67 contre 1,94 et 1,91 précédemment) est peut-être moins liée à un effondrement de l'encodeur qu'à celui de ma patience à l'égard des dégradations liées à cet encodeur. La qualité est en effet si médiocre, les artefacts si nombreux et caractéristiques que j'ai plus souvent que par le passé attribué la note minimale (1.0) à ces encodages sans plus chercher à lui accorder quelques dixièmes de points supplémentaires.


2/ Progressions entre 80 et 96 kbps






AAC +1,39 points
MP3 +1,49 points
Vorbis +0,57 points
WMA +0,69 points
MP3-128 +0,11 points


On retrouve ici certaines des tendances remarquées auparavant, savoir : une progression très forte du MP3 et de l'AAC, plus limitée pour Vorbis, et le petit écart de notation d'un dixième de point pour le référent haut. Seul le WMA continue à présenter un comportement peu prévisible, avec ici une augmentation moyenne assez limitée (le bond constaté avec le groupe précédent était de +1,65 points, et de +0,96 avec le premier).


3/ Analyse des deux ensembles constitutifs du groupe "VOIX"

En scindant le groupe de trente échantillons en deux parties distinctes - l'une pour les choeurs et l'autre pour la voix soliste - on peut mettre en lumière l'hétérogénéité des performances de certains encodeurs.





Le second groupe apparait comme plus facile d'encodage pour l'ensemble de ces formats. La musique chorale présente plus de difficultés, notamment pour le WMA, souvent désastreux lorsqu'il est confronté à plusieurs voix et nettement plus efficace lorsqu'il n'en a qu'une à coder. On retrouve ici la tendance signalée auparavant avec la musique instrumentale : isolés, les instruments sont dans l'ensemble bien rendus avec ce format mais lorsque d'autres s'y ajoutent, les performances tombent parfois jusqu'à l'effondrement. AAC et MP3 (96 comme 128) progressent sensiblement en passant aux échantillons du second ensemble. La musique vocale soliste est même excellement encodée avec l'AAC, qui obtient ici la note d'ensemble la plus élevée de tous les formats à 96 kbps. Le MP3 à 96 kbps surprend également par le degré qualitatif obtenu avec la voix soliste, et va jusqu'à se permettre le luxe de faire jeu égal avec Vorbis. Ce dernier est le seul (avec le MPC) à ne pas parvenir à tirer parti de la facilité apparente des échantillons de ce groupe, ce qui est réellement dommage si l'on tient compte des bonnes performances obtenues avec la musique chorale, pratiquement à niveau égal avec celles obtenues par LAME vitaminé avec un débit supérieur de 30% à son rival. Mais en même temps, cela témoigne de la grande stabilité de cet encodeur, capable d'offrir des résultats d'ensemble constants, aussi bien avec un orchestre, une flûte à bec, un choeur, un quatuor à corde ou un contreténor accompagné au clavecin. Cette homogénéité se paie donc par une stagnation des performances même dans ce qui présente a priori peu de difficulté à encoder proprement, puisque l'on perçoit des défauts de même nature (son épais, nuances assez grossières) indépendemment de la complexité du signal. Quant aux encodages MPC, ils sont mauvais aussi bien avec les échantillons de musique chorale que les autres.

Thursday, July 28, 2005

Comparatif des formats audio à 96...100 kbps : résultats intermédiaires (partie 2)

La deuxième grande série du groupe d'échantillons de musique classique est désormais derrière moi. Le test du 55ème extrait a été complété peu avant 14 heures. Les résultats de ce sous-groupe présentent des différences de taille par rapport aux précédents résultats postés hier. Ces différences peuvent être analysés sous deux angles :
1_ par rapport aux résultats obtenus avec les mêmes échantillons mais à débit inférieur (80 kbps) ; en clair, la progression en passant de 80 à 96 kbps.
2_ par rapport aux résultats obtenus avec les échantillons précédents mais à débit identique ; il s'agit donc d'établir les différences qualitatives entre deux types différents de musique.


1/ progression entre 80 et 96 kbps




  • MP3 à 128 kbps: je commence d'emblée par le référent haut, qui est identique pour les deux tests (mp3 LAME abr 131). Théoriquement, les notations accordées devraient par conséquent être identiques. Mais des différences notoires apparaissent d'un test à l'autre. Plusieurs phénomènes peuvent expliquer ces variations. Tout d'abord, il y a le changement de matériel. Le test à 80 kbps a été réalisé avec une meilleure carte son et un autre casque, tandis que ce test à 96 kbps a été mené sur un ordinateur portable équipé de composants sonores plutôt négligés. Je craignais que les faiblesses matérielles allaient niveller la qualité de restitution en gommant un grand nombre de défaut ; or, la différence dans la notation moyenne n'est que de 0,11 point. Par conséquent, la qualité du matériel n'est pas un facteur trop limitatif pour ce genre de test, du moins à ce débit. Autres facteurs pouvant expliquer ces différentes évaluations entre deux tests pour des fichiers identiques : des différences d'appréciations normales (on ne peut décemment espérer donner une note identique lors de deux évaluations séparées par le temps - tout au plus sera-t-elle similaire) ; l'appréciation peut se faire sur différents passages d'un même échantillon, pour lesquels la dégradation peut être plus ou moins marquée ; enfin, la mise en rapport avec des concurrents plus solides peut tendre à baisser de manière mécanique la note attribuée au référent haut (ce même mp3 à 128 kbps n'obtiendrais sans doute pas 3,5 s'il était comparé à des encodages à 190 kbps par exemple). Mais le point le plus intéressant à retenir est le suivant : le grand nombre d'échantillons gomme de manière statistique les différences particulières. La note moyenne entre les deux tests est donc pratiquement stable.
  • AAC : l'augmentation est de 1,35 points (2,25 -> 3,60), ce qui est pratiquement colossal compte tenu du maigre apport en bit (80 -> 96 kbps). Beaucoup des défauts audibles à 80 kbps deviennent négligeables à 96 kbps, et vont parfois jusqu'à devenir inaudible (note 5 donnée à S10, S18, S28, S34 [par mégarde pour ce dernier]). Des défauts perceptibles chez ses rivaux lui sont épargnés : pas de souffle/grossièreté comme avec Vorbis, et diminution du pré-écho dans les cas extrême comme absence de parasitage dans les basses fréquences dont souffre LAME à 128 kbps. Par contre, l'AAC à 96 kbps souffre par moment d'inconstance au niveau de l'arrière-plan : le bruit est fluctuant, les informations musicales de faible volume sont pareillement distordues. C'était particulièrement net avec les échantillons dédiées aux cordes pincées (guitare, harpe, clavecin). On notera que l'AAC à 96 kbps fait ic jeu égal non seulement avec Vorbis à même débit (qui est VBR rappelons-le) mais aussi avec LAME MP3 à 128 kbps (ABR de surcroît).
  • MP3 (96 kbps) : l'augmentation est de 1,23 points (1,86 -> 3,09) sur ce sous-groupe d'échantillons, soit une progression presque aussi spectaculaire que celle opérée par l'AAC (iTunes). Plus que la progression mesurée, la note finale est à souligner : avec plus de 3 points (avec une dizaine d'échantillons atteignant ou dépassant la note de 4,00 !) la qualité obtenue à ce débit devient dans l'ensemble acceptable. Prévu pour être opérationnel à 1/11 - 1/12 par Fraunhofer, le MP3 a su faire nettement mieux que cet objectif (on rappelera qu'un encodeur MP3 ISO est nettement plus mauvais à 128 kbps que LAME 2005 à 96 kbps). D'ailleurs, l'écart entre les notations obtenues pour les deux encodages MP3 inclus dans ce test est sérieusement raccourçi.
  • MPC : absent à 80 kbps, il est impossible de mesurer les progrès liés à un apport de 16...20 kbps supplémentaire. Il faudra attendre la prochaine comparaison gérénale (128 kbps) pour opérer une comparaison. En l'état actuel de l'encodeur, le MPC est inapte aux encodages de musique instrumentale soliste à ~100 kbps (105 kbps pour ces 55 échantillons).
  • Vorbis : le champion incontesté du précédent test est celui dont la progression est la plus faible, de 0,84 points (2,74 -> 3,58), ce qui est néanmoins significatif et surtout appréciable. Et si l'encodeur se fait déjà rattraper par son concurrent (AAC), il est plus important encore de noter qu'il arrive au même niveau que le MP3 à 128 kbps. Si Vorbis séduit moins qu'auparavent, c'est principalement en raison de problèmes qui lui collent à la semelle : bruit de fond, poussée du souffle, et surtout instruments grossiers, gras, son épais. A 80 kbps, ces défauts étaient plus marqués encore, mais moins gênants lorsque comparés aux artefacts dont souffrait la concurrence : lowpass, son métallique, ringing, informations gommées et sonorité instable, voire pré-écho plus prononcé. Mais à 96 kbps, lorsque comparés à des encodeurs déjà moins en peine, il arrive à Vorbis d'offrir une sonorité plus sale et plus éloignée de l'original que ses rivaux. Cette tendance qui avait déjà été notée précédemment (musique instrumentale jouée de concert) est donc plus marquée avec les échantillons de musique instrumentale soliste testée ici. On notera les performances sur les 6 échantillons de clavecin, qui avec une note de 3,5 environ révèle une qualité d'encodage supérieure à tous ses rivaux, MP3 à 128 kbps compris.
  • WMA : ce format est généralement désolant ; raison de plus pour saluer l'extraordinaire saut qualitatif obtenu entre le test précédent et celui-ci : 1,65 points (1,52 -> 3,17). Deux facteurs peuvent expliquer l'importance de ce bond. Le premier réside dans l'apport en débit : 96 kbps ici, contre 66 kbps à peine lors du précédent test (pour lequel le VBR était apparu comme la solution la plus pertinente). Le second facteur est certainement le plus significatif : ce groupe de 55 échantillons en comprend plusieurs pour lesquels le WMA est parfaitement à l'aise : les instruments tonaux. Que ce soient les instruments à cordes (erhu : S04 ; viole de gambe : S05 ; violon : S07 & S09), l'orgue (S17, 18, 19, 22), les instruments à vent (l'accordéon : S32 ; la cornemuse : S44 ; la clarinette : S47 ; la flute : S49 ; le saxophone : S53) et surtout quelques raretés ultra-tonales (comme l'harmonica de verre : S34 et les ondes Martenot : S37) pour lesquels le WMA obtient la note 5/5 - bref, l'adéquation de cet encodeur pour l'ensemble de ces instruments fait bien plus que de masquer les défaillances traditionnelles de ce format audibles avec plusieurs autres échantillons.



2/ progression entre le groupe de musique orchestrale/chambre et le groupe de musique instrumentale soliste




Les résultats restent stables pour trois formats : le MP3 à 96 kbps (3,10 & 3,09), le MPC (1,94 & 1,91) et Vorbis aoTuV (3,56 & 3,58). En somme, l'utilisateur peut espérer des performances d'ensemble homogènes indépendamment du contenu de ses disques (du moins tant qu'il s'agit de musique instrumentale).
Légère progression pour l'AAC qui s'en sort mieux lorsqu'il n'a qu'un instrument à coder et non plusieurs (3,28 -> 3,60 = +0,32 points). Avec ce gain, iTunes AAC refait son retard du Vorbis aoTuV mais surtout le MP3 LAME à 128 kbps. C'est ce dernier qui présente le plus de difficulté à coder les instruments solistes. Il faut dire qu'avec 10% d'échantillons de clavecin (que LAME n'a jamais apprécié) et bien plus encore pour des instruments "tonaux" (pour lesquels LAME 3.97 alpha souffre régulièrement de problèmes dans les basses fréquences ou warbling), ce groupe est vraiment celui pour lesquels je m'attendais à voir LAME souffrir. La bonne performance de LAME à 96 kbps est dans ces conditions d'autant plus remarquable. Il m'est d'ailleurs arrivé plus d'une fois de donner une note supérieure à l'encodage LAME 96 kbps (par rapport à LAME 128 kbps) ! Le cas le plus dramatique se produit avec l'échantillon d'orgue S19 : LAME 96 kbps = 4,3/5 tandis que LAME 128 = 2/5 !!! L'encodage à 128 kbps présente de graves parasitages dont l'encodage à 96 est presque totalement exempt. Et comme l'orgue souffre moins de lowpass que d'autres instruments, le resampling à 32000 KHz de l'encodage à 96 kbps passe comme une lettre à La Poste.
Enfin, c'est le WMA qui bénéficie le plus des propriétés des échantillons réunis dans ce sous-groupe : + 0,68 points (2,49 ->3,17). L'explication en a été donnée plus haut (cf. 1/ Progression entre 80 et 96 kbps, • WMA).



____
120 des 150 échantillons du groupe 1 ont été testés. Reste encore à finir les 30 derniers de ce groupe (musique vocale) ainsi que les 35 du second groupe pour que ce test soit achevé. Vu le temps, il faut se motiver...

Wednesday, July 27, 2005

Comparatif des formats audio à 96...100 kbps : résultats intermédiaires (partie 1)

Parmi les 5 ensembles d'échantillons autour desquels sont articulés mon test (185 échantillons au total), deux sont déjà achevé : musique dite artificielle (5 échantillons) et musique jouée de concert (musique de chambre et musique orchestrale : 60 échantillons). Seul ce dernier comporte suffisemment d'échantillons pour permettre d'établir des conclusions statistiquement valides. Les voici :


Les résultats sont vraiment intéressants. Sur ce type d'échantillons, il est intéressant de noter que le référent haut (high anchor, qui correspond à un encodage MP3 à 128 kbps) reste dans l'ensemble supérieur à tous ses rivaux dont le débit est inférieur de 25%. Preuve si besoin est que les nouveaux formats sont loin de tenir les promesses jetées en pature des consommateur par leurs éditeurs. C'est surtout vrai pour le WMA, qui à 96 kbps est non seulement vraiment très loin du MP3 à 128 kbps, mais qui est même significativement inférieur au MP3 à 96 kbps (2,49 vs 3,10) !
Le MP3 à ce débit est vraiment étonnant.
LAME obtient des résultats proches du meilleur encodeur AAC, à un débit pourtant jugé comme étant un point faible du MP3 face à d'autres formats. Comme quoi, un papy bien entraîné vaut parfois mieux qu'un jeunot trop prétentieux. Cette situation n'est pourtant pas la conséquence d'une contre-performance de l'AAC, qui progresse de manière remarquable par rapport aux mêmes échantillons lorsqu'ils furent encodés à 80 kbps (1,93 -> 3,28). Cette performance de LAME est vraiment due à l'encodeur lui-même, qui opère le bond le plus prodigieux du comparatif (1,50 à 80 kbps, et 3,10 à 96 kbps). De toute évidence, la pente qualitative est très dure entre ceux deux débits (pour l'AAC comme pour le MP3 d'ailleurs).
Cette pente est par contre plus douce pour
Vorbis - champion incontestable à 80 kbps, mais ici titillé par ses rivaux. La notation passe de 2,87 à 3,56 à peine. La progression est donc réelle, quoique limitée. Les défauts du formats (grossièreté, souffle) largement audibles à 80 kbps le restent encore à 96 kbps. Alors que les défauts perceptibles à 80 kbps avec LAME et iTunes AAC sont en diminution spectaculaire à 96 kbps. Résultat : l'écart entre Vorbis et certains de ses rivaux se creuse dangereusement vite pour ce dernier. Je dois cependant rappeller que ces notations sont des moyennes, consitués de résultats hétérogènes. Malgré la poussée qualitative dont ils font l'objet, il arrive encore à LAME et à l'AAC de connaître des faiblesses ponctuelles assez dramatiques. Vorbis est nettement plus à l'abri et donc en plus d'être supérieur dans l'ensemble ce format est rendu encore plus attractif par son homogénéité.

Enfin, quelques mots sur le
MPC, introduit à l'occasion de ce test. C'est sans surprise que le format s'effondre, malgré un débit moyen de 106 kbps pour l'ensemble des 60 échantillons de ce sous-groupe. Le signal est bourré d'artefacts vraiment particuliers. Etrangement, sur d'autres types de signaux (musique plus populaire et plus forte), le débit diminue tandis que la qualité augmente (d'après quelques écoutes rapides). Le MPC montrera sans doute un autre visage avec les 35 échantillons du groupe 2 ("various").


Il me faut encore me motiver pour tester la trentaine d'échantillons restants du sous-groupe MUSIQUE SOLISTE. Car avec 85 échantillons testés, je n'ai même pas terminé la moitié du test...


P.S. A titre de comparaison, les résultats obtenus lors du test à 80 kbps :


Les captures sont au format jpeg indépendamment de ma volonté (mes beaux .png sont réencodés par le serveur...).

Éclosion...

Première tentative de mise en place d'un micro-site dédié aux différentes formes de compression audio-numérique et des outils voisins (tag, organisation...). La mise à jour sera irrégulière, et dépendra autant de ma motivation que de la fréquence de mes accès à internet.

J'envisage de consigner ici mes quelques découvertes, pistes d'investigations ou simplement espoirs liées à des comparaisons effectuées en aveugle, qu'elles soient systématiques (grand comparatif ordonné) ou simplement ponctuelles (petits essais).

Devrait rapidement paraître un grand comparatif multiformat à 96...100 kbps.