parser με python

[dante_k]

Καλησπέρα,

 

Τους τελευταίους μήνες ασχολούμαι με python. Έχω ένα project και θα ήθελα να φτιάξω ένα script ώστε να μου κάνει τη ζωή πολύ πιο εύκολη.

 

Θέλω να βάλω χειροκίνητα κάποια site όπου βγάζουν ειδήσεις και νέα όπως google news, bbc, cnn κτλ και με βάση κάποια keyword που θα θέσω να μου βρει τα άρθρα που έχουν γραφτεί ως τώρα ή από μία ημερομηνία και μετά.

 

Είχα κάνει παλιότερα RSS reader με python αλλά αυτό είναι διαφορετικό μιας και θα πρέπει να διαβάζει παλιά άρθρα και όχι καινούργια όπως το rss.

 

Πιστεύετε ότι μπορεί να γίνει με python; Δε γνωρίζω άλλη γλώσσα για να το κάνω αλλού.

 

Ευχαριστώ

 

Υ.Γ. νομίζω ο τίτλος "parser" είναι σωστός γι' αυτό που θέλω να κάνω. Αν είναι λάθος, ας το διορθώσει με τον κατάλληλο όρο ένας admin. Ευχαριστώ και πάλι

[Erevis]

Web crawler πρέπει να φτιάξεις, το οποίο εμπεριέχει κι αρκετό parsing.

[dante_k]

Web crawler πρέπει να φτιάξεις, το οποίο εμπεριέχει κι αρκετό parsing.

Γνωρίζεις να μου δώσεις κάποιες πληροφορίες παραπάνω; Πηγές ή βιβλιοθήκες που ίσως χρειαστώ; Φαντάζομαι πως είναι εφικτό με python

[pmav99]

http://scrapy.org/

[Erevis]

http://www.boddie.org.uk/python/HTML.html>βιβλιοθήκη που σου κάνει fetch σελίδες και μπορείς να επεξεργαστείς την HTML που επιτρέφεται. Λογικά για το crawling ψάχνεις a tags για να βρεις άλλα links μες τη σελίδα. Προφανώς και στο εξηγώ πολύ μπακάλικα γιατί δεν έχω ασχοληθεί ποτέ. Αν θες βιβλία ή πηγές με ένα search στο google θα βρεις αρκετά!

[παπι]

Δες και αυτο http://www.google.gr/alerts

[dante_k]

Αυτό θα ήταν ωραίο αλλά για από εδώ και πέρα. Εγώ θα ήθελα να μαζέψω πρώτα από το 2000 και μετά πληροφορίες και να συνεχίσω έπειτα από τώρα μέχρι και για ένα διάστημα

 

Δες και αυτο http://www.google.gr/alerts

[pmav99]

To scrapy έχει learning curve, αλλά αν το μάθεις λένε ότι κάνεις παπάδες. Εναλλακτικά δες και την beautifulsoup