Comment nous gérons le référencement d'un site de la taille de The Next Web – Un bon serveur Minecraft

Dans cette série d'articles, j'aimerais faire la lumière sur la façon dont The Next Web aborde le marketing via l'analyse Web, l'optimisation des moteurs de recherche (SEO), l'optimisation du taux de conversion (CRO), les médias sociaux et plus encore. Cette fois-ci, nous nous concentrons sur le référencement et sur la façon dont nous analysons et auditons un site Web de la taille de The Next Web. Pourquoi effectuons-nous des audits SEO? Nous publions 30 à 40 articles par jour et essayons d'améliorer le site du mieux que nous pouvons. Il devient de plus en plus difficile d'analyser toutes les pages que nous avons en ligne, mais parfois nous ne pouvons pas toujours respecter les directives et les meilleures pratiques de notre grand ami, Google. Avant de plonger dans les données, d'analyser les problèmes et de mettre le site Web dans la meilleure forme possible, nous devons savoir ce qui se passe sur le site en temps réel. Par conséquent, nous devons tout explorer. Les principaux objectifs de ces audits sont les suivants: Accessibilité et indexabilité Notre site Web est-il accessible aux moteurs de recherche ou y a-t-il des pages que nous ne voulons pas trouver? S'ils ne les trouvent pas, personne ne le fera. Erreurs techniques Les moteurs de recherche utilisent de nombreux facteurs pour classer les pages de résultats. En explorant toutes les pages, du domaine au niveau de la page, vous pouvez repérer plus rapidement les possibilités d'optimisation pour le référencement. Après l'analyse, vous devez toujours effectuer le travail le plus important, analyser les données et les transformer en un plan réalisable. Mais commençons par le début, la configuration. Pourquoi crier grenouille? Les audits de site peuvent prendre beaucoup de temps. Le plus grand défi que nous ayons rencontré est que nous voulions que toutes les URL soient visibles, mais c'était une tâche beaucoup plus importante que ce à quoi nous nous attendions. Cependant, nous avons trouvé Screaming Frog SEO Spider était plus que prêt pour la tâche. Un outil complet qui vous permet de trouver des liens rompus, de rechercher le code Google Analytics (ou tout autre) sur toutes les pages, de surveiller toutes les redirections et de trouver les chemins de redirection dans un site Web. Mais il a aussi ses limites. La quantité d'URL que vous pouvez explorer est directement liée à la capacité de RAM de votre ordinateur. Mon ordinateur portable ne dispose que de 4 Go de RAM, ce qui signifie que je n’étais pas en mesure d’explorer thenextweb.com dans son intégralité. Les choses se sont arrêtées autour de la barre des 40 000 URL, mais le site en compte près de 200 000. Nous avons donc eu un problème. Nous avons étudié les alternatives qui nous ont permis de réduire les coûts tout en conservant le même niveau de flexibilité que nous avions auparavant. Nous avons examiné quelques outils cloud et comme nous aimerions utiliser les données de manière simple et pouvoir utiliser les données brutes à un moment donné, nous avons décidé que Screaming Frog était la voie à suivre. Pourtant, le problème de ne pas pouvoir surveiller plus d'URL était toujours là. Oui, il est possible de se procurer un monstre d'ordinateur, mais nous avons décidé d'aller sur Google Cloud Platform et de l'exécuter virtuellement. La plus grande source d'informations que nous avons utilisée était Cet article (Merci pour ça @FiliWiese). Quelle est la prochaine étape que nous aimerions entreprendre pour obtenir plus de données sur nos performances SEO? Nous allons nous assurer que nous pouvons encore mieux exploiter les données de Screaming Frog afin de pouvoir suivre nos changements et nos performances dans le temps. Avec un peu de chance, dans six mois, nous pourrons en bloguer davantage à ce sujet. Nous envisageons également de rendre ce processus plus automatisé pour gagner du temps et réduire les coûts de fonctionnement du serveur. Comment pouvez-vous exécuter cela? Vous n'avez pas besoin d'être un connaisseur complet pour savoir comment cela fonctionne. Voici donc la configuration complète sur la façon d'exécuter ScreamingFrog dans le cloud:

Sur votre ordinateur local, assurez-vous d'avoir installé le SDK Google Cloud (vous en aurez besoin pour créer et configurer une instance Compute Engine).

Créez un nouveau projet dans la Google Developers Console, vous en aurez besoin plus tard. Une fois le projet créé, assurez-vous d'activer les API liées à Google Cloud. Vous leur aurez autorisé à avoir l'autorisation de créer une instance et de s'y connecter.

Créez une nouvelle instance.

Type de machine: Dans notre cas, nous avons choisi 8 vCPU (30 Go de mémoire) pour nous assurer que nous pouvions «accélérer les choses». Disque de démarrage: vous voulez probablement lui allouer une taille de disque dur plus importante que la valeur par défaut 10. Nous l'avons changé à 50 pour l'instant. Une fois l'instance créée, vous recevrez une notification indiquant que vous serez facturé. Vous ne payez que les heures de fonctionnement de la machine, vous pouvez donc l'arrêter à tout moment.La configuration à partir de ce moment se fait principalement dans Terminal, les commandes sont visibles sous chaque étape.

Installez un VNC sur votre instance de machine virtuelle.

Terminal ouvert Connectez-vous à Google Developers Consoleconnexion gcloud auth

Vérifiez votre compte Entrez la racine dans le terminalsudo -s

Mettre à jour les packages logicielsapte-obtenir la mise à jour

Installer les programmes nécessairesapte-obtenir installer tightvncserver xfce4 xfce4-goodies xdg-utils openjdk-6-logiciel jre-Propriétés-commun python-Logiciel-Propriétés

Ajouter un utilisateuradduser vnc

Passer à un nouvel utilisateursu vnc

Definir un nouveau mot de passevncpasswd

Configurez les scripts de démarrage pour que le serveur VNC s'allume une fois que vous allumez la machine virtuelle

Téléchargez les scriptswget http://filiwiese.com/files/vncserver -O /etc/init.d/vncserverwget http://filiwiese.com/files/xstartup -O /home/vnc/.vnc/xstartup

Appliquer les paramètres de configurationchown -R vnc. /Accueil/vnc/.vnc && chmod +X /Accueil/vnc/.vnc/xstartupsed -je 's / allowed_users. * / allowed_users = anybody / g' /etc/X11/Xwrapper.configchmod +X /etc/init.ré/vncserver

Redémarrerredémarrer

Démarrer le serveur VNCmise à jour-rc.d vncserver par défautservice vncserver start

Installez Screaming Frog sur votre instance de machine virtuelle

Télécharger Javaécho "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" | tee /etc/apte/sources.liste.ré/webupd8team-Java.listeécho "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" | tee -une /etc/apte/sources.liste.ré/webupd8team-Java.listeapte-adv clé -keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886apte-avoir mise à jourapte-avoir installer oracle-java8-installateur

Définir Oracle Java par défautapte-avoir installer oracle-java8-ensemble-défaut

Avant d'installer Screaming Frog, ajoutez le "ttf-mscorefonts-installer"ajouter-apte-dépôt "deb http://http.debian.net/debian wheezy main contrib non-free" && apte-avoir mise à jour && apte-avoir installer ttf-mscorefonts-installateur

Téléchargez la dernière version de Screaming Frogwget http://www.screamingfrog.co.uk/products/seo-spider/screamingfrogseospider_6.2_all.deb

Installer Screaming Frogdpkg -je criefrogseospider_6.2_tout.deb

Si une erreur survient, tapez cette commandeapte-avoir -f installer

Pour vous connecter au VNC, vous avez besoin d'un client VNC. Il y en a plusieurs en ligne mais nous utilisons RealVNC. N'oubliez pas d'ouvrir un port sur votre instance. Votre client VNC en aura besoin. Vous pouvez facilement le faire via la console des développeurs où vous modifiez votre instance. Accédez à Réseaux et créez une nouvelle règle de pare-feu dans laquelle vous entrez ces protocoles / ports autorisés: «tcp: 5900; tcp: 5901; tcp: 5902 ”. Cela ouvre le port de connexion de votre client VNC. Ouvrez le client VNC, entrez l'adresse IP de votre instance, ajoutez-y l'un des ports ouverts pour qu'il ressemble à ceci: «111.111.11.11:5901» et écrasez le bouton Connecter. Vous devriez maintenant avoir un bureau Linux en cours d'exécution devant vous, super! Exécutez une analyse sur ScreamingFrog. Si vous souhaitez l'exporter vers Google Cloud Storage, procédez comme suit. Une fois que vous avez exporté un fichier CSV des données dans l'analyse, vous devriez pouvoir l'exporter vers vos propres compartiments via cette commande dans votre VNC: cd / home / vnc / Desktop gsutil cp internal_all.csv gs: // votre-nom-bucket

J'espère que vous pourrez bénéficier de ces étapes et conseils.Comment essayez-vous de rendre votre processus de référencement plus innovant et efficace? Si vous avez manqué les messages précédents de cette série, n'oubliez pas de les consulter: # 1: Cartes de chaleur , # 2: Plongez au cœur des tests A / B, # 3: Les enseignements de nos tests A / B et # 4: Du manager au recruteur.

Ceci est un article #TNWLife, un regard sur la vie et le travail chez The Next Web.

Lire la suite: Le panneau d'affichage Microsoft Paint de 15 minutes vient de me convaincre de devenir un développeur de jeux

Click to rate this post! [Total: 0 Average: 0]