Εξαγωγη δεδομενων απο site

[MaXmaD]

καλημερα,

 

 

Θελω να κανω εξαγωγη δεδομενων απο ενα site.

 

Τι εννοω πιο συγκεκριμενα:

 

Υπαρχει αυτο εδω το site http://www.oddsportal.com το οποιο παρεχει ιστορικο παρελθοντων αποδοσεων καθως και αποτελεσματων σε αγωνες.

 

Θελω πχ απο εδω http://www.oddsportal.com/soccer/europe/champions-league/results να αποθηκευσω τους αγωνες, το σκορ τους και τις αποδοσεις χωριστα για 1Χ2.

 

ακομα παραπερα σε καθε αγωνα πχ http://www.oddsportal.com/soccer/europe/champions-league/atl-madrid-benfica-hKnkU7pF/#bts;2 να αποθηκευσω τις "average" αποδοσεις και αλλα στατιστικα οπως over-under.

 

Τα δεδομενα θα ειναι απο συγκεκριμενα πρωταθληματα και απο καποιες χρονιες.

Οπως καταλαβαινεται ο ογκος δεδομενων θα ειναι πολυ μεγαλος σε πληθος και ειναι κατι που δεν μπορει να γινει με το "χερι".

 

Δεν εχω γνωσεις προγραμματισμου στο συγκεκριμενο αντικειμενο και ρωταω αν ειναι τεχνικα εφικτο να γινει κατι τετοιο μεσω μιας αυτοματοποιημενης εργασιας. πχ ενα script.

 

Τα δεδομενα τα θελω σε επεξεργασιμη μορφη, ειτε txt,xls,xml κτλ, αλλα προφανως με καποια ταξη και οχι σκορπια δεξια-αριστερα.

 

Παρακαλω τους γνωριζοντες να μου δωσουν μια απαντηση ασχετα με το εαν ειναι πολυπλοκη η πιο ευκολη η λυση.

 

Ευχαριστω!

[badweed]

χωρις να ειμαι ειδικος , εκανα μια μικρη ερευνα και βρηκα οτι υπαρχει ενα προσθετο στον chrome ,το scraper το οποιο μπορει να σε βοηθησει στην δουλεια που θες να κανεις , το δοκιμασα κιολας σε μια σελιδα απο αυτες που παραθετεις και νομιζω πως κανει αυτο που ψαχνεις να κανεις . 

 

https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd

 

παραδειγμα , 

αφου το εγκαταστησεις  και πλοηγηθεις στην σελιδα που θες να ανασυρεις δεδομενα , επιλεγεις  εναν πινακα (οχι τους τιτλους των πεδιων ) , και πατας δεξι κλικ και πατας scrape similar  .

 

καλη επιτυχια .

[nikos_90]

<p>Μπορείς να χρησιμοποιήσεις κώδικα γι να το κανεις η κάποιο extension όπως αυτό http://webscraper.io/</p>

[albNik]

Αν το site δεν αλλαζει συχνα ειναι σχετικα ευκολο να κανεις parse τις γραμμες και τα κελια των πινάκων (table, tr, td) απο το html content.

[groot]

Με python και την βιβλιοθήκη(-ες) που έχει για web crawling μπορείς να κάνεις ό,τι θες. Στην κυριολεξία ό,τι θες. 

[Lanike71]

Και με R μπορείς να κάνεις αυτό που θες.Εδώ ένα παράδειγμα:

 

https://gist.github.com/Btibert3/817607

[albNik]

Παντως οι αποδόσεις και τα αποτελεσματα ερχονται με javascript γιαυτό το να φέρεις το content του url δεν αρκει. 

 

Μπορεις να το επιβεβαιώσεις εδω

http://www.rexswain.com/httpview.html

Δεν θα δεις αποδόσεις στην απαντηση

[groot]

....

 

 

Με python μπορεις και να "πατήσεις" το κουμπί που θες στην σελίδα....

[ElCondor]

Αν θέλεις έχω έτοιμο κώδικα σε php για να πάρεις δεδομένα. Εγώ το χρησιμοποιούσα για να παίρνω την βαθμολογία της SuperLeague!

[MaXmaD]

ευχαριστω γα τις απαντησεις, το θετικο ειναι οτι ειναι εφικτο τεχνικα αυτο που ζηταω.

 

Το scraper ειναι αρκετα απλοικο. Χρειαζομαι να κανει και αυτοματα crawl στις επομενες σελιδες και να εξαγει αυτα που θελω.

 

Βρηκα ενα site που εχει μια λιστα με ετοιμα εμπορικα προγραμματα: http://www.capterra.com/data-extraction-software/?utf8=%E2%9C%93&users=&commit=Filter+Results

Καποια βεβαια ειναι πανακριβα, εχουν πολυ δυχρηστη εκμαθηση και το χανουν και καποιες φορες.

 

Με python φαινεται να ειναι η πιο ακριβης λυση.

 

@ElCondor μαλλον ο κωδικας θα θελει αρκετες αλλαγες , το site ειναι πολυ διαφορετικο!

[badweed]

το σκεφτηκα και εγω οτι θα εχει αυτην την δυσκολια για πολλες σελιδες , μια επιπλεον ιδεα επι του scraper που το κανει ομως  πιο περιπλοκο (οχι παρα πολυ ) , ειναι οι μακροεντολες δηλαδη να προγραμματισεις καποια χτυπηματα του ποντικιου χωρις να το κουνας και γραφοντας λιγο κωδικα να αλλαζεις τις σελιδες που απο οτι βλεπω απο το μοτιβο διευθυνσεων ειναι αρκετα προβλεψιμες .

 

ισως η λυση με php/python  να ειναι πιο αποτελεσματικη και παραγωγικη . 

[pmav99]

Το να γράψεις ένα scraper πάνω στο site που θες είναι σίγουρα πιο παραγωγικό. Αλλά θέλει γνώσεις προγραμματισμού. Αν δεν έχεις πρέπει ή να κάτσεις να μάθεις ή να πληρώσεις κάποιον να στο κάνει.

[acid18]

Γινεται πολυ ευκολα με phantomJs + Nodejs

[theodoridis]

Αν θέλεις έχω έτοιμο κώδικα σε php για να πάρεις δεδομένα. Εγώ το χρησιμοποιούσα για να παίρνω την βαθμολογία της SuperLeague!

Έχω το ίδιο πρόβλημα με τον MaXmaD λόγο επαγγέλματος, αν σου είναι εύκολο να μου στείλεις τον κώδικα να δω πως θα μπορέσω να τον προσαρμόσω.

Ευχαριστώ εκ τον προτέρων  e-mail: [email protected]

Νεόφυτος Θεοδωρίδης