Comment bloquer les robots sur votre site Web et votre serveur

En 2019, 40 à 50 % du trafic Internet total provenait de robots automatisés, soit près de la moitié du trafic total. Bien que ce nombre soit composé à la fois de bons et de mauvais bots, ce n’est un secret pour personne que bon nombre de ces bots sont créés avec une intention malveillante et peuvent être dangereux pour votre site Web et votre serveur de diverses manières.

Les robots malveillants sont utilisés par les cybercriminels pour espionner, interrompre, spammer et pirater des sites Web et des serveurs de différentes tailles, ce n’est donc plus un problème exclusif aux grandes sociétés et entreprises. Même les personnes ayant une présence en ligne (comme un profil de réseau social) pourraient potentiellement gérer ces robots malveillants et devront les bloquer.

bloquer les robots défectueuxEncore une fois, étant donné que près de la moitié du trafic Internet est constituée de bots, il est probable que nous ne pourrons pas tous les bloquer et les éviter. Cependant, nous partagerons ici quelques conseils importants que vous pouvez utiliser pour bloquer et gérer efficacement les robots malveillants sur votre site Web et votre serveur.

Principaux défis du blocage des bots

À première vue, bloquer les robots sur votre site Web n’est-il pas assez facile ? Pouvons-nous simplement bloquer tout le trafic qui ne provient pas d’utilisateurs humains ?

Bien que cela puisse sembler si simple en théorie, il y a en fait deux défis importants que nous devons prendre en compte pour bloquer l’activité de ces bots :

Nous ne voulons pas bloquer les bons robots

Comme discuté brièvement ci-dessus, tous les bots ne sont pas malveillants. Il existe des bots appartenant à des sociétés réputées (par exemple, Google, Amazon, Facebook, etc.) qui effectuent en fait des activités bénéfiques à la fois pour le site Web et pour les utilisateurs. Par exemple, nous ne voulons pas bloquer accidentellement Googlebot afin qu’il ne puisse pas explorer et indexer notre site. Si notre site n’est pas indexé correctement, il n’apparaîtra dans aucun résultat de recherche Google.

Les bots se déguisent en utilisateurs humains

Les robots malveillants utilisent désormais l’intelligence artificielle et les technologies d’apprentissage automatique pour imiter des comportements de type humain tels que des mouvements de souris non linéaires, des modèles de frappe de type humain, etc. D’autre part, ils s’améliorent également pour masquer les empreintes digitales évidentes telles que les navigateurs sans tête, les systèmes d’exploitation, car ils tournent entre des centaines, voire des milliers d’adresses IP.

Par conséquent, il peut être très difficile de différencier ces bots malveillants des utilisateurs humains légitimes, tandis que le blocage accidentel d’utilisateurs légitimes (faux positifs) peut entraîner une perte de revenus et des dommages à long terme pour votre réputation.

Par conséquent, lors du blocage des bots sur notre site Web et notre serveur, nous devrons toujours tenir compte de ces deux défis.

Conseils pour bloquer les robots sur ynotre site Web et notre serveur

1. Configurer des règles et des politiques sur votre site Web

Une bonne gestion des bots doit commencer par définir correctement les règles de votre site Web concernant les bots qui peuvent accéder à vos ressources et ceux qui ne le peuvent pas.

Cela se fait généralement par Configuration du fichier robots.txtmais il est important de noter que pas tout les robots respecteront vos règles. En règle générale, tous les bots valides suivront généralement vos directives robots.txt, cela peut donc être un bon moyen de filtrer les bots valides des malveillants. Robots.txt est important pour que les bons bots ne consomment pas trop les ressources de votre serveur et pour limiter les bons bots qui ne sont pas si bénéfiques pour votre site (c’est-à-dire que si vous n’êtes pas un site de commerce électronique, vous n’aurez peut-être pas besoin de bots qui fournir des fonctions liées au commerce électronique).

Si vous utilisez des serveurs Linux, vous pouvez également utiliser .htaccessConfiguration basée sur Apache qui peut bloquer la plupart des bots et botnets malveillants.

2. Surveillez votre trafic pour les signaux de bot malveillants

Utilisez des outils de surveillance du trafic comme Google Analytics pour suivre les statistiques suivantes :

  • Augmentation des pages vues : UN le pic soudain de pages vues, en particulier lorsqu’il est sans précédent, est un symptôme très probable du trafic de bots.
  • Augmentation du taux de rebond : BLe taux d’once fait référence au nombre d’utilisateurs qui ne viennent que sur une seule page et qui partent immédiatement sans aller sur une autre page et / ou cliquer sur quoi que ce soit sur la page. Un pic anormal du taux de rebond peut être un signe que les robots effectuent leurs activités sur une seule page, puis partent immédiatement.
  • Temps de séjour anormalement élevé ou faible : Le temps d’attente, ou la durée de la session, est la durée pendant laquelle un utilisateur reste sur un site Web et devrait normalement rester relativement stable. Une augmentation ou une diminution soudaine et inexpliquée du temps de séjour peut être un signe de trafic de robots.
  • Taux de conversion: Laugmenter le taux de conversion en raison de la création d’un faux compte, d’une fausse activité de remplissage de formulaire, etc.
  • Trafic provenant d’un emplacement inattendu : UN augmentation soudaine de l’activité des utilisateurs à partir d’un emplacement anormal, en particulier à partir d’endroits qui ne parlent pas couramment la langue maternelle du site.

Lorsque l’un de ces symptômes est détecté sur votre site Web ou votre serveur, vous pouvez utiliser les autres méthodes pour retracer la source et bloquer l’activité du bot.

3. Investissez dans une solution d’atténuation des bots adaptée

Pour relever les deux principaux défis de la gestion de l’activité des bots, comme indiqué ci-dessus, vous avez besoin d’une solution de gestion des bots suffisante. Étant donné que de nombreux robots malveillants utilisent désormais des technologies d’intelligence artificielle pour se faire passer pour des modèles humains et alterner entre des centaines d’agents utilisateurs / adresses IP, nous avons également besoin d’un Solution de prévention de la prise de contrôle de compte basée sur l’IA comme DataDome qui peut utiliser l’analyse comportementale pour détecter et gérer les bots malveillants en temps réel et sur pilote automatique.

Votre solution de gestion de bot doit pouvoir :

  • Distinguez correctement les bots des utilisateurs humains légitimes.
  • Faites la distinction entre les bons bots et les mauvais bots grâce à une analyse comportementale et d’empreintes digitales.
  • Décidez si vous souhaitez bloquer le trafic entrant ou implémenter une limitation de débit ou d’autres approches selon vos besoins.
  • Défiez le trafic à l’aide de CAPTCHA, JavaScript et d’autres méthodes.
  • Filtrez le trafic du bot en fonction de la réputation des empreintes digitales (liste blanche d’adresses IP, navigateur utilisé, système d’exploitation utilisé, etc.)

Derniers mots

Éviter les faux positifs afin de ne pas bloquer accidentellement les utilisateurs humains légitimes et les bots bénéfiques valides est très important lorsque vous essayez de bloquer et de gérer l’activité des bots malveillants. C’est là qu’une solution avancée d’atténuation des bots comme DataDome, capable d’effectuer des analyses comportementales en temps réel pour détecter l’activité des bots malveillants, est désormais nécessaire à l’ère des bots sophistiqués alimentés par l’IA qui peuvent imiter un comportement humain éloquent.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.