Surveillance et gestion des situations anormales sur le site web
En faisant du SEO, vous vérifiez souvent les journaux de connexion du site Web, afin d'effectuer des analyses et des jugements, mais si vous contrôlez des centaines voire des milliers de sites en réseau, allez-vous regarder chaque journal individuellement ?
Lorsque nous traitons un réseau de sites à grande échelle, nous surveillons généralement en fonction de l'importance du site, en effectuant une surveillance de niveau, par exemple, pour les sites de ressources importants, nous pourrions les analyser et les entretenir comme des sites principaux, tandis que pour certains sites, nous n'effectuons des analyses et des entretiens que lorsqu'ils posent problème, et pour d'autres sites, nous les laissons se débrouiller seuls, cela dépend de la stratégie adoptée pour le réseau de sites et il n'y a pas de règle générale.
En général, je surveille les sites en réseau de manière anormale, c'est-à-dire que je les analyse manuellement en cas d'anomalie, je ne les regarde pratiquement jamais en temps normal.
Définition des situations anormales
Lors de la surveillance de l'état de fonctionnement des sites Web, nous devons définir les situations qui sont considérées comme anormales. En général, les situations anormales que je définis personnellement incluent principalement les 5 types suivants :
- Nombre de visites d'araignée anormal : par exemple, une perte soudaine de classement entraînant l'arrêt des visites par les araignées, ou des fréquences anormales de visites par les araignées suite à une perte de classement.
- Trafic anormal du site : Le trafic des réseaux de sites n'est généralement pas sujet à de fortes fluctuations. Si des fluctuations se produisent, cela peut être dû à une collecte de données ou à une attaque contre le site.
- Erreur 404 : C'est une erreur indiquant que la page est introuvable, elle doit être traitée rapidement.
- Trafic anormal des pages spéciales : Si le trafic des pages importantes est anormal, tel que les pages de redirection d'affilié, vous pouvez observer l'origine du trafic en comparant le trafic et le taux de conversion.
- Trafic anormal des mots clés spéciaux : Si le volume de recherche sur le marché et le taux de clic sur la description restent constants, le trafic des mots clés spéciaux reflète la situation de classement des mots.
Méthodes de surveillance
Pour surveiller les situations anormales susmentionnées, vous pouvez créer une table de données pour chaque indicateur, en utilisant les lettres ABCDE pour les représenter. Ensuite, mettez en place une tâche automatisée pour sauvegarder les données de chaque site Web dans la base de données chaque jour.
Sous IIS, il est recommandé d'utiliser l'outil Logparser fourni par Microsoft, qui permet de traiter les journaux à l'aide de requêtes SQL. Vous pouvez rechercher vous-même la signification des paramètres spécifiques à l'aide d'un moteur de recherche.
Mode d'emploi spécifique
Prenons l'exemple de la première situation anormale, vous pouvez surveiller les visites d'araignées à l'aide de la commande suivante :
Logparser -i:iisw3c \
Exception Handling
When preprocessing, compare today's data with yesterday's data to get the difference. Set a threshold, exceeding the threshold is considered an exception. For example, traffic anomalies can be judged by percentage, with over 30% as an exception; 404 errors can be directly judged by subtraction.
I use a C# program to handle exceptions, such as discovering anomalies by comparing the latest 404 data. When an exception occurs, the program will notify by email, making it easy to handle promptly.
Other Recommendations
In addition to the above methods, Logparser can be used to split logs and then send them to a specified FTP address via FTP commands, allowing direct use of the data without manual processing each time.
Overall, monitoring website anomalies is an important means to maintain website security and stable operation. Timely detection and handling of anomalies can ensure the normal operation of the website and user experience.