Ξέρει κανείς πως να κάνω web scraping?

[4dddd]

Καλησπέρα στην ομάδα ! 

Η ιδέα είναι ως εξής : θα πάρουμε από ένα συγκεκριμένο σιτε τιμή και όνομα προϊόντος και μετά θα το συγκρίνουμε στο δικό μας σιτε. 

Αυτά τα δεδομένα θέλω να τα αποθηκεύσουμε σε μια βάση και μετά να τα τραβήξω στο δικό μου σιτε.

 Η ιδέα είναι αυτή. 

Ευχαριστώ πολύ !!

Θέλω να το γράψω σε js και mongodb (τώρα διαβάζω mongodb)

 

[CyberCr33p]

Δεν δίνει το site αυτό κάποιο XML με τα προϊόντα και τις τιμές; Εκτός εάν μιλάς για site κάποιου ανταγωνιστή σου.

[possiz]

Τι γνώσεις έχεις? Γενικά για ένα που ξέρει προγραμματισμό είναι εύκολο. Μήπως να πληρώσεις να στο φτιάξουν?

Επεξ/σία 12 Μαρτίου 2019 από possiz

[jimmy213]

https://flaviocopes.com/web-scraping/

https://flaviocopes.com/puppeteer/

[trib]

Δεν είναι πάντα εύκολο και δεν είναι πάντα το ίδιο.

Για παράδειγμα, σε ένα site που η τιμή είναι σε εικόνα και όχι σε text, θέλει άλλου είδους δουλειά. 

Όλα γίνονται. Όχι όμως δωρεάν. 

[mad-proffessor]

Χρειάζεται η άδεια του ιδιοκτήτη του site που θα κάνεις scrape, εφόσον θα είναι εμπορική η εφαρμογή σου και όχι για προσωπική χρήση. 

[Επισκέπτης]

Από που προκύπτει ότι χρειάζεται άδεια;

[mad-proffessor]

https://benbernardblog.com/web-scraping-and-crawling-are-perfectly-legal-right/

[Επισκέπτης]

Καταρχάς, ο τύπος αναφέρει τι ισχύει στις ΗΠΑ και συγκεκριμένα στην Καλιφόρνια. Άλλο Καλιφόρνια κι άλλο Ελλάδα. Δεύτερον, το παράδειγμα με το LinkedIn δεν έχει και μεγάλη σχέση με το γενικότερο scraping καθότι τα data στο LinkedIn είναι πίσω από login κι άρα για να μπεις αποδέχεσαι τους όρους.  Στα περισσότερα sites όμως δεν ισχύει αυτό. Επομένως το όλο θέμα συνοψίζεται στο αν και κατά πόσο κάποιες περιορισμένες πληροφορίες όπως η τιμή ενός προϊόντος μπορούν να θεωρηθούν πνευματική ιδιοκτησία. Δεν έχω ιδέα και δεν ξέρω και κανέναν που να έχει, από το λίγο που το έχω ψάξει.

[mechpanos]

Δηλαδή η Google που κάνει scraping όλο το web παίρνει την άδεια από ποιον;;; Εφόσον είναι publicly available, είναι απόλυτα νόμιμο το να το κάνεις scraping (στην ουσία να το διαβάσεις τι γράφει!).

Τώρα τι θα κάνεις με το αποτέλεσμα του scraping και αν αυτό που θα κάνεις είναι νόμιμο ή όχι, αναλόγως του τι θα είναι αυτό, εξαρτάται!

[Επισκέπτης]

Η Google σαφώς και παίρνει άδεια, από το robots.txt. Αν δεν θες, το αναφέρεις ρητά και το googlebot συμμορφώνεται.