Αποκλεισμός "παράξενων" bots μέσω .htaccess

[philos]

Λοιπόν, είμαι σε φάση που αποκλείω "παράξενα" bots μέσω .htaccess.

 

Βασικά δύο με απασχολούν αυτή τη στιγμή:

- τα AhrefBots (μου είχαν κατακλείσει τη σελίδα ως "επισκέπτες" και διάβασα ότι δεν είναι και τίποτα καλό

- τα clients.your-server.de bots

 

Για τα πρώτα, έβαλα το ακόλουθο στο .htaccess που είχα βρει κάποτε στο Google και δούλεψε:

# BLOCK SOME BAD BOTS
SetEnvIfNoCase User-Agent "AhrefsBot" badbots


<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=badbots
</Limit>

Πως μπορώ να προσθέσω και το clients.your-server.de;

Πχ για ένα από αυτά βλέπω:

Διεύθυνση IP 	5.9.231.136
Resolved Host Name 	static.136.231.9.5.clients.your-server.de

... αλλά από το να αποκλείω μία μία τις IPs ψάχνω μια καθολική λύση όπως τα Ahref.

 

Τέλος, τι άποψη έχετε για τα ακόλουθα bots;

Magpie Spider

Trendiction Spider

[philos]

Βασικά based στο "User Agent", πως μπορώ να αποκλείσω το clients.your-server.de;

SetEnvIfNoCase User-Agent "AhrefsBot" badbots

[elvizakos]

Δοκίμασε να προσθέσεις ένα από τα "Deny from .clients.your-server.de" ή "Deny from .your-server.de", δλδ:

Order Allow,Deny
Allow from all
Deny from env=badbots
Deny from .your-server.de

[philos]

Σε ευχαριστώ, δούλεψε ως φαίνεται, που το έβαλα από χθες.