Website Anomalies Monitoring and Handling

Bei der SEO-Arbeit überprüfe ich regelmäßig die Logdateien der Website, um Analysen durchzuführen und Schlussfolgerungen zu ziehen. Aber wenn Sie die Kontrolle über Hunderte oder Tausende von Websites haben, schauen Sie sich dann immer noch jedes Log separat an?

Bei der Verwaltung von umfangreichen Website-Netzwerken überwachen wir normalerweise nach der Bedeutung der Websites gestaffelt. Zum Beispiel behandeln wir wichtige Ressourcenseiten möglicherweise genauso wie Hauptwebsites und analysieren und warten sie entsprechend. Für manche Websites analysieren und warten wir nur im Falle von Problemen, während wir andere einfach ihrem Schicksal überlassen. Diese Einteilung wird gemäß der Strategie des Website-Netzwerks festgelegt und es gibt keine allgemeingültige Aussage dazu.

Im Allgemeinen überwache ich Website-Netzwerke auf Anomalien und führe manuelle Analysen durch, wenn Abweichungen festgestellt werden. Normalerweise sehe ich mir die Logdateien nicht regelmäßig an.

Definition von Ausnahmesituationen

Bei der Überwachung der Betriebszustände von Websites müssen wir festlegen, welche Situationen als abnorm angesehen werden. Im Allgemeinen umfassen die von mir persönlich definierten Ausnahmesituationen hauptsächlich die folgenden 5 Arten:

1. Außergewöhnliche Anzahl von Spinnenbesuchen: Beispielsweise ein plötzlicher Ranking-Abstieg, der dazu führt, dass die Spinnen die Website nicht mehr besuchen, oder ein häufiger Besuch von Spinnen aufgrund eines Abstiegs im Ranking.
2. Website Traffic Anomaly: The traffic of the site group generally does not show significant fluctuations. If fluctuations occur, it may be due to someone collecting or attacking the website.
3. 404 Error: This means a page not found error, which needs to be addressed promptly.
4. Special Page Traffic Anomaly: Anomalies in traffic to important pages, such as affiliate redirect pages, can be observed by comparing traffic with conversion rates to understand traffic sources.
5. Special Keyword Traffic Anomaly: If the market search volume and description click-through rate remain constant, the traffic for special keywords reflects the ranking of the words.

Monitoring Methods

To monitor the above anomalies, we can create a data table for each indicator, using ABCDE to represent them. Then, establish an automated task to save the data of each website to the database every day.

In IIS, it is recommended to use the Logparser tool provided by Microsoft, which can process logs using SQL queries. The specific meaning of parameters can be found through a search engine search.

Specific Usage Method

Taking the first anomaly as an example, you can monitor spider visits using the following command:

Logparser -i:iisw3c "Select count(0) as hits Into A from xxx.log where cs(User-Agent) like '%spider%'" -o:SQL -server: 服务器IP -driver:"SQL Server" -database:数据库名 -username:sa -password:***

异常处理

进行预处理时，对当天数据和昨天数据进行对比，获取差值。设定阈值，超出阈值即视为异常。比如流量异常可用百分比判断，超过30%为异常；404异常可直接使用减法判断。

我使用一个C#程序来处理异常，比如通过对比最新的404数据来发现异常。当异常发生时，程序会通过邮件通知，方便及时处理。

其他建议

除了以上方法，还可以利用Logparser拆分日志，然后通过FTP命令发送到指定FTP地址，这样就能直接利用数据而不必每次手动处理。

总的来说，监控网站异常情况是维护网站安全和稳定运行的重要手段，及时发现和处理异常情况能够保障网站的正常运行和用户体验。