Pourquoi les gens n'installent pas Firefox ? (1/2)
Tout au long de l’année, le blog Mozilla dédié à la métrique (dont j’ai emprunté les images présentes dans cet article) a publié une série d’article sur l’installation de Firefox. Le but de l’équipe était de trouver combien de gens n’allaient pas jusqu’à la fin de l’installation de Firefox, et surtout de comprendre pourquoi.
Précisons d’abord que certains méthodes et conclusions de l’équipe sont discutables. Mais même si tout n’est pas parfait, cela n’enlève rien de l’intérêt des résultats obtenus !
Funnelcake
Funnelcake est un projet qui a commencé en 2007. Le principe consiste à remplacer le programme d’installation de Firefox en version Windows et américaine disponible au téléchargement par une version modifiée, et ce pendant 24 heures. Rassurez-vous, ces modifications sont toujours mineures et identifiables.
Par exemple, le premier essai a eu lieu durant les 24 heures du 4 octobre 2007. Les seules modifications apportées à cette version de Firefox étaient :
- L’URL de la page de démarrage :
- par défaut : http://en-us.www.mozilla.com/en-US/firefox/2.0.0.7/firstrun/
- la version modifiée : http://en-us.www.mozilla.com/en-US/firefox/2.0.0.7/firstrun/?f=1
- L’URL de la page “Firefox a été mis à jour” :
- par défaut : http://en-us.www.mozilla.com/en-US/firefox/2.0.0.7/whatsnew/
- la version modifiée : http://en-us.www.mozilla.com/en-US/firefox/2.0.0.7/whatsnew/?f=1
- Le canal de mise à jour :
- par défaut : release
- la version modifiée : release-cck-mozilla01
Ces changements étaient en fait apportés par une extension pré-installée nommée “Mozilla Settings for October 2007” et apparaissant dans le gestionnaire de modules complémentaires. Cette extension pouvait bien entendu être désinstallée sans soucis.
Le but de ces Funnelcake est de trouver des réponses souvent difficile à obtenir : Est-ce que l’utilisateur a eu des problèmes lors de l’installation ? Pourquoi ? Est-il toujours satisfait un mois, 6 mois plus tard ? Etc.
Une autre solution aurait pu être de faire des tests-utilisateurs en laboratoire, en utilisant des outils comme Silverback ou Morae http://www.techsmith.com/morae.asp mais l’étude aurait coûté beaucoup plus cher. D’une certaine manière, le nouveau produit de Mozilla Labs nommé Test Pilot arrive en complément de ces Funnelcake.
Étude n°1 : Téléchargement du programme d’installation
La première étude que je vais vous présenter ici concerne uniquement le téléchargement du programme d’installation de Firefox.
Cette étape pourtant simple ne l’est pas suffisamment si l’on y regarde de plus prêt. Notamment pour les novices de l’informatique. Une fois que l’utilisateur a cliqué sur sur le lien de téléchargement, une fenêtre apparaît demandant s’il souhaite ouvrir ou télécharger le fichier .exe. À partir de ce moment là, deux cas peuvent arriver :
- L’utilisateur réussi à télécharger le programme d’installation.
- L’utilisateur ne reçoit pas le fichier complet en entier.
Selon les fichiers de logs des serveurs de Mozilla, il apparaît qu’environ 79% des utilisateurs sont dans le premier cas, les autres étant évidemment dans le cas n°2.
Concentrons nous maintenant sur le premier cas, où le programme d’installation a été correctement téléchargé. Deux cas sont encore possibles :
- L’utilisateur lance le programme d’installation et termine la procédure avec succès.
- L’utilisateur ne termine pas le processus d’installation.
Là encore les logs sont révélateurs : 79% des utilisateurs vont jusqu’au bout de l’installation alors que 21% ne vont pas jusqu’au bout (quelles qu’en soit les raisons). Il est à noter que la répétition de 79-21 est une coïncidence.
De cette première expérience on retiendra donc que pour 100 personnes téléchargement Firefox, 63% auront téléchargées le programme d’installation correctement et seront allés jusqu’au bout de l’installation alors que 21% d’entre elles n’auront pas téléchargé le fichier en entier et 17% ne seront pas allés jusqu’à la fin de l’installation.
Parmi les 21% de personnes n’ayant pas téléchargé le programme d’installation en entier, il reste à déterminer les différents facteurs pouvant interagir comme le système d’exploitation, le navigateur utilisé, etc. avant de tirer des conclusions.
Intéressons-nous donc au 17% de personnes ayant bien téléchargé le fichier d’installation mais n’étant pas allé jusqu’au bout.
Étude 2 : Processus d’installation
Pour savoir pourquoi les gens ne vont pas jusqu’au bout de l’installation de Firefox, Mozilla a choisit d’afficher un formulaire lors du clic sur le bouton “Annuler” dans un Funnelcake. En fait, la fenêtre affichée est la même que d’habitude mais une case à cocher a fait son apparition :
Cette image n’est qu’une maquette. Dans la vraie version, la case était décochée par défaut.
Durant une nouvelle journée, une version modifiée du programme d’installation de Firefox Windows des USA a donc été proposée au téléchargement.
Quand la personne acceptait d’indiquer à Mozilla pourquoi elle annulait l’installation, elle était redirigée vers le formulaire suivant :
Mozilla sait déjà qu’un peu plus de 50 000 personnes réussissent chaque jour à télécharger en entier le programme d’installation de Firefox sans aller jusqu’au bout de l’installation. Les premiers chiffres ont permis de savoir qu’environ 10 000 personnes cliquent sur le bouton “Annuler”. Cela veut aussi dire qu’il y en a environ 40 000 qui ne lancent pas le programme d’installation du tout.
Lors de l’installation de Firefox, il y a 6 étapes ou les utilisateurs peuvent annuler le processus :
Environ 5 000 personnes ont affiché ce formulaire mais seulement 330 y ont répondu. Par conséquent, l’échantillon n’est pas vraiment représentatif. On pourra aussi s’interroger sur l’impression de complexité du formulaire, qui en aura rebuté plus d’un. De plus, on pourra critiquer le fait que la différence entre “Installation Problem” et “Technical Difficulties” n’est pas évidente.
Voici une capture d’écran du tableau de bord des réponses :
On remarquera d’abord que la majorité des utilisateurs ont arrêté l’installation à l’étape 2 et 3 du processus, c’est à dire au choix du type d’installation (standard ou personnalisée) et au choix du répertoire d’installation.
Sur les 330 personnes ayant répondues au questionnaire, beaucoup ont laissé un message alors qu’elles n’y étaient pas obligées et ceux sont eux qui se sont avérés les plus informateurs. En voici quelques uns, dont la traduction est de mon fait :
“j’ai déjà la dernière version de firefox installée ! il devrait y avoir quelque chose sur le site web pour indiquer que l’on possède déjà la dernière version avant de télécharger le programme d’installation”
“Il persiste à me demander de quitter firefox alors qu’il est fermé… J’ai même vérifier dans le gestionnaire des tâches pour être sûr qu’il n’y avait pas une instance en cours que je n’aurais pas vu…”
“Je n’ai pas les droits administrateurs”
“il me dit que je n’ai pas l’accès en écriture au répertoire d’installation alors que je ne sais pas ce que c’est ni ou le changer”
Une analyse plus fine des retours à permis à Mozilla de produire ce diagramme :
On voit clairement que les principales sources de problèmes sont :
- Firefox n’ayant pas quitté proprement (c’est à dire un zombie process)
- Les droits du répertoire d’installation, pour les non administrateurs.
Dans un prochain article nous verrons les solutions adoptées par Mozilla et leur résultat.