bot και web site

[Kaka7]

Παιδιά να ρωτήσω,υπάρχει κάποιο botaki που να συλλέγει μόνο του πληροφορίες από κάποιο συγκεκριμένο site ή γενικότερα αν υπάρχει κάποιος τρόπος να παίρνουμε αυτοματοποιημένα πληροφορίες από μια ιστοσελίδα...?

[isay]

ναι γίνεται αλλά τι ακριβώς θέλεις να κάνεις;

[Kaka7]

Έχει software..? και αν ποιο...?

[Maniakos]

Kaka, αυτό που λες ονομάζεται data mining οπότε μπορείς να ψάξεις για έτοιμα, configurable bots αλλά δύσκολα θα βρεις αυτό που θες.

[isay]

Απαντάς γενικά οπότε θα σου απαντήσω γενικά. Μπορείς μέσω Linux να βάλεις ένα script ή μια php εφαρμογή, που να διαβάζει τη σελίδα στόχο και να τραβά τις πληροφορίες που θες. Μέσω windows δεν το έχω κάνει και δεν ξέρω.

[alexandr0s]

http://en.wikipedia.org/wiki/Web_scraping

Δεν ξέρω αν μπορείς να κάνεις κάτι με κάποιο πρόγραμμα ή αν θα φτιάξεις κάτι custom.

[3DViRuS]

το site που θες να μαζευει πληροφοριες ειναι δικο σου ή οχι ?

ποιες ειναι ακριβως οι πληροφοριες που θες να περνεις απο το site?

[Kaka7]

Όχι το site δεν είναι δικό μου από αλλά site θέλω να τραβάω πληροφορίες.

Π.χ Ας πούμε ότι θέλω να τραβήξω κάποια αποτελέσματα αγώνων ποδοσφαίρου μέσω του contra.gr για κάποιες συγκεκριμένες ομάδες πανιώνιος,ατρόμητος.

[alex2005]

Αυτό που θες ονομάζεται web/screen scraping (όπως σου ειπε ο alexandr0s).

Δεν υπάρχει κάτι έτοιμο καθώς συνήθως πρέπει να φτιαχτεί script για κάθε σελίδα που πρέπει να γίνει scrap. Οπότε αν δεν είσαι τυχερός και δεν το έχει κάνει κάποιος άλλος, τότε πρέπει να το κάνεις μόνος σου.

 

Όλα αυτά με την προϋπόθεση ότι το site που θέλεις να παίρνεις τα δεδομένα δεν έχει κάποιο API ή feed που να καλύπτει τις ανάγκες σου.

[Kaka7]

Αυτό που θες ονομάζεται web/screen scraping (όπως σου ειπε ο alexandr0s).

Δεν υπάρχει κάτι έτοιμο καθώς συνήθως πρέπει να φτιαχτεί script για κάθε σελίδα που πρέπει να γίνει scrap. Οπότε αν δεν είσαι τυχερός και δεν το έχει κάνει κάποιος άλλος, τότε πρέπει να το κάνεις μόνος σου.

 

Όλα αυτά με την προϋπόθεση ότι το site που θέλεις να παίρνεις τα δεδομένα δεν έχει κάποιο API ή feed που να καλύπτει τις ανάγκες σου.

 

Όταν λες ότι πρέπει να φτιαχτεί με κάποιο script,το script με τη γλώσσα μπορεί να είναι φτιαγμένο...?

[alex2005]

Όταν λες ότι πρέπει να φτιαχτεί με κάποιο script,το script με τη γλώσσα μπορεί να είναι φτιαγμένο...?

 

Με σχεδόν οτιδήποτε, λίγη σημασία έχει.

[Kaka7]

Έχεις να προτείνεις κάποιο site που έχει κάποιο υπόδειγμα κώδικα για να εκτελεί τέτοιες εργασίες...?

[alex2005]

Όχι δεν έχω να προτείνω κάποιο site δυστυχώς.

Θα πρέπει να το ψάξω για να σου δώσω συγκεκριμένα παραδείγματα, πράγμα που μπορείς να κάνεις και εσύ.

 

Απλά ψάξε "screen scraping" για μία γλώσσα που ξέρεις, έτσι ώστε να καταλάβεις και κάποιο πιθανό παράδειγμα που θα δίνεται.

[Uberalles_gr]

Το είχα κάνει πιο παλιά όταν ήθελα να τραβάω κάτι τιμές χρηματιστηρίου.

 

Η γλώσσα που είχα χρησιμοποιήσει ήταν η php και ένα απλό παράδειγμα είναι

>
$url = "http://www.site.com";
$data = file_get_contents($url);

Ουσιαστικά μου έβαζε τον πηγαίο κώδικα στην μεταβλητή $data και μετά έκανα κάποιες "μόντες" (str_replace,strpos,substr) και τράβαγα τα δεδομένα που ήθελα.

 

Τώρα ψάχτο με όποια γλώσσα γνωρίζεις

[parsifal]

Μου θύμισε ένα παλιότερο thread στην ενότητα Insomnia Site - Forum, όπου είχα δώσει ένα πολύ απλό και σύντομο σκριπτάκι (σε bash + standard gnu core utilities) για καταγραφή των συνδεδεμένων μελών στο Insomnia:

 

Είναι insomniac το Insomnia;

 

Είμαι σίγουρος ότι θα υπάρχουν πιο σοφιστικέ εργαλεία για τέτοιες δουλειές, αλλά αν αυτό που θέλεις να επιτύχεις είναι κάτι απλό ίσως είναι προτιμότερο να ξεκινήσεις με απλά εργαλεία!