robots.txt antibot

[elisto]

καλησπερα εχω ενα θεμα μετο bingbot mου βορμπαδιζει στην κυριολεξια ενα απο τα site

για τον λογω του ότι εχει 35.000 προιοντα

πως μπορω να το σταματησω τελειως σκεφτηκα αυτό

πετυχενει αλλα για 10 λεπτα

εχετε να προτεινετε κατι αλλο?

 

εφτιαξα εναν φακελο robots.txt

 

User-agent: *

Disallow: /

User-agent: Googlebot-image

Disallow: /

 

User-agent: Googlebot

Disallow: /dyn/

Disallow: /objects/

Crawl-delay: 30

 

User-agent: bingbot

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /epipla/

Disallow: /..../

Disallow: /....../

Disallow: /...../

....