Data scrap from website σε βαση δεδομενων.

[Sartiv]

Θα κοιτάς πάντα το robots.txt. Βάζεις το domain του site και στο τέλος robots.txt. Π.χ.:

http://www.insomnia.gr/robots.txt

http://www.plaisio.gr/robots.txt

http://edition.cnn.com/robots.txt

 

Και πάει λέγοντας. Αν εκεί έχει κάτι disallow δεν το κάνεις scrape.

 

Σε ευχαριστω πολυ!

[Sartiv]

Παιδια, μια καινουρια ερωτηση!

 

Τωρα ειμαι στο fantasy, το οποιο ζηταει user/pass.

 

Καταφερα να κανω login στη σελιδα με το form, το θεμα ειναι οτι δε κανει scraping στα .php που θελω μετα απο το login.. μου βγαζει περιεχομενο της κεντιρικης σελιδας (μετα απο το login).

 

Γιατι; Καμια ιδεα;

 

Δοκιμασα επισης να παω απευθειας στα php με post user/pass αλλα ουτε αυτο επιασε.

 

Υ.Γ.: πετυχα 100% στο scraping στο site της Ευρωλιγκα.

[Επισκέπτης]

Χρειάζεσαι cookies.

[Sartiv]

Χρειάζεσαι cookies.

 

ΟΚ, τα καταφερα, σε ευχαριστω γενικα για τις πολυτιμες σου συμβουλες!!

[Επισκέπτης]

Nice. Για μελλοντικά προβλήματα ρίξε και μια ματιά στο PhantomJS.