Robots.txt

[linkinpark4175]

Ok so, θελω να φτιαξω ενα robots.txt αρχειο για τους crawlers των search engine τυπου google, yahoo, bing, blekko etc.

Διαβασα στο ιντερνετ μερικα αρθρα και εχω μπερδευτει λιγο.

 

το robots.txt που εχω ετοιμασει ειναι αυτο:

># robots.txt for %mysite%
User-agent: *
Disallow: 
Crawl-delay: 5
Sitemap: http://%mysite%/sitemap.xml.gz

 

οπου %mysite% το url της ιστοσελιδας μου (δεν θελω να το κανω ποστ)

Αυτο που δεν εχω καταλαβει ειναι: Λενε σε πολλα σαιτ οτι το ρομποτς.τχτ πρεπει να ειναι στον root και οτι αλλιως θα υπαρχει προβλημα. Εγω εχω 2 domain names πχ: x.com y.gr

ο y.gr ειναι addon domain, και βρισκεται στο /public_html/y.gr του x.com

Αν βαλω το robots.txt στον root του y.gr θα δημιουργησει προβλημα στον x.com?

 

Σορρυ αν σας ζαλισα αλλα και εγω ζαλισμενος ειμαι :Ρ

 

edit: επισης μπορει να μου εξηγησει καποιος τι ακριβως παιζει με το crawl-delay?

[inBlogger]

Τα robots.txt θα επηρεάσει μόνο το domain που θα το βάλεις, και όχι το addon domain.

Έχε υπόψην επίσης πως δεν θα επηρέαζε ούτε subdomain.

Όσο για το crawl-delay δες αυτό τα εξηγεί ωραία: http://www.thunderstone.com/site/webinator5man/crawl_delay.html

[hal9001]

τι κανει ακριβως το robots.txt?

 

εχει σχεση με SEO ?

[inBlogger]

τι κανει ακριβως το robots.txt?

 

εχει σχεση με SEO ?

 

 

Δες: http://en.wikipedia.org/wiki/Robots_exclusion_standard

Αναλυτικότατο!

 

Μπορεί να βοηθήσει, ή καλύτερα να ρυθμίσει το SEO αφού ένα κακογραμμένο robots.txt μπορεί να αποκλείσει περιεχόμενο απο τις μηχανές αναζήτησεις ενώ ένα καλό να..αυξήσει τα rankings μας δίνωντας σωστές προσβάσεις σε directories της σελίδας μας και "καθοδήγηση" στα spiders.

 

Αν και πολύ ισχυρίζονται πως δεν χρειάζονται απαραίτητα, ναι δεν υποχρεώνει κανείς να δημιουργήσεις ένα αλλά σε αυτό το σημείο θα αναφέρω πως ΟΛΕΣ οι μεγάλες σελίδες έχουν ένα τέτοιο αρχείο.

 

Δείτε λ.χ.:

 

http://edition.cnn.com/robots.txt

[linkinpark4175]

Δηλαδή, να μεταφέρω το robots.txt από το x.com/public_html/y.gr στο χ.com/public_html/

Αν θέλω όμως, αυτές οι ρυθμίσεις που έχω στο robots.txt να ισχύουν μόνο για το y.gr? υπάρχει κάποιος τρόπος να το ρυθμίσω?

Επισης, εχω κατι φακελους στο root μου, που λεγονται "_vti_bin","vti_log","vti_txt" κτλ, αυτα να τα βαλω στο disallow?