Δεδομένα από site τρίτου...

[rafinos]

Καλημέρα παιδιά!

 

Με είχαν ρωτήσει πρόσφατα εάν γίνεται να δημιουργηθεί εφαρμογή που να παίρνει δεδομένα από το car.gr και να βγάζει notification κάθε φορά που ανεβαίνει καινούρια αγγελία (ανάλογα με τα κριτήρια που θα δίνει κάθε φορά ο χρήστης της εφαρμογής).

 

Π.χ. αν βάλει VW Golf, κάθε φορά που ανεβαίνει καινούρια αγγελία για Golf τότε θα τον ενημερώνει. Η απάντηση που έδωσα ήταν αρνητική γιατί είδα ότι δεν διαθέτει κάποιο api το site, αλλά σίγουρα μπορεί να υπάρχουν κάποιες άλλες τεχνικές που δε γνωρίζω και μπορεί να μην ισχύει αυτό που είπα.

 

Τελικά γίνεται κάτι τέτοιο ή όχι;

[isay]

Και βέβαια γίνεται και με διάφορους τρόπους, που εμπλέκουν ή οχι server, διαχειριστή, κλπ

 

Στο παρακάτω Link φορτώνει τις αγγελίες με vw golf

https://www.car.gr/classifieds/cars/?condition=%CE%9A%CE%B1%CE%B9%CE%BD%CE%BF%CF%8D%CF%81%CE%B9%CE%BF&condition=%CE%9C%CE%B5%CF%84%CE%B1%CF%87%CE%B5%CE%B9%CF%81%CE%B9%CF%83%CE%BC%CE%AD%CE%BD%CE%BF&offer_type=sale&make=251&model=828

 

με λίγα λόγια μπορείς προγραμματιστικά να τραβας τα δεδομένα απο την ιστοσελίδα και με φιλτράρισμα να βγάζεις αποτελέσματα.

Σου απαντώ πολύ γενικά γιατί αναλογα με τις αναγκες της εφαρμογής το θεμα μπορει να γίνει πολυδιάσταστο.

 

Αν π.χ. ο τελικός χρήστης θέλεις να ειδοποιείται για κάθε νεα αγγελία, θα πρέπει να φτιάξεις cron jobs σε καποιο server και αναλογα με τις συνθήκες να ειδοποιεί τον χρήστη. Το συγκεκριμένο παράδειγμα προυποθέτει να εχεις server με database και προγραμματιστή που να διορθώνει τον κώδικα (π.χ. αλλαγές σε κατηγορίες).

 

Γενικά γίνεται. 

[tsofras]

επειδή δεν γνωρίζω και εγώ αν παρέχει κάποιο API καλό είναι να στείλεις ένα email και να ρωτήσεις αν είναι νόμιμο να χτυπάς τις σελίδες για να παίρνεις τα αποτελέσματα με έναν δικό σου client.

 

Αν σου πούν ότι μπορείς ναι γίνεται , αν είναι παράνομο πάλι γίνεται αλλά δεν είσαι νόμιμος

Οπότε το γενικά γίνεται είναι σχετικό

[isay]

παράνομο; 

Με την ίδια λογική και εγω είμαι παρανομος που μπαινω στο site τους και βλέπω τις αγγελίες. 

Με την ίδια λογική παράνομο θα ήταν να δημοσιευω εδώ προσφορές απο διάφορα μαγαζια. Δεν εχει διαφορά αν το κανε αυτόματα ή χειροκίνητα.

 

Παράνομο θα ήταν να αντιγράφω τα δεδομένα σε δικό μου site και να μην αναφέρω πηγή, που εκεί το car μπορει να γκρινιάξει για διαφυγόντα κέρδη απο διαφημίσεις, αλλά το να κάνω σάρωση, να ενημερώνω κάποιον για κάτι καινουργιο και να τον παραπέμπω εκεί, κέρδος ειναι για το car.

 

Συμφωνώ βεβαια να επικοινωνήσει μαζί τους, μηπως εχουν κάποιο api να παιρνει πιο ευκολα τα δεδομένα. 

[NikosKallithea]

Τρεχω ενα τέτοιο προγραμματακι 24/7 που ψάχνει διάφορα στο νετ ενα απο αυτα ειναι η αγαπημένη μου slk, αν ξέρεις απο προγραμματισμό ειναι απλο

 

Τα αποτελέσματα έρχονται με εμαιλ και έχουν την παρακάτω μορφή

 

 

 

ΚΆΜΠΡΙΟ/ROADSTER ΑΘΗΝΑ, 11145 ΤΗΛ. 1800CC 163BHP MANUAL ΒΕΝΖΊΝΗ 2 / 07 77.000 KM ? 14.90077.000 KM

 

Report SLKs 200

DateTime 14-01-2017 15:19:24

Αυτοκίνητα που βρεθηκαν: 1

 

Local Area: LOCAL-TZ

Copyrigth 2000-14/01/2017 15:19:24, ©NikosKallithea

https://www.car.gr/classifieds/cars/?fs=1&category=&make=196&model=521&variant=&price-from=&price-to=%3C20000&registration-from=%3E2007&registration-to=%3C2011&mileage-from=&mileage-to=%3C90000&engine_power-from=&engine_power-to=&engine_size-from=&engine_size-to=&fuel_type=&exterior_color=&significant_damage=&doors=&number_plate_ending=&gearbox_type=&drive_type=&euroclass=&airbags-ranged=&kteo=&seats-from=&seats-to=&sort=pra&rg=3&radius=&postcode=&modified=&hi=&st=&offer_type=sale

Mην απαντήσετε σε αυτό το μήνυμα. O λογαριασμός αποστολής δεν εποπτεύεται.

[rafinos]

Ναι αλλά με τι τεχνολογίες;

 

@NikosKallithea μπορείς να γίνεις πιο συγκεκριμένος; Δηλαδή μπορεί να γίνει κάτι τέτοιο με php;

[tsofras]

παράνομο; 

Με την ίδια λογική και εγω είμαι παρανομος που μπαινω στο site τους και βλέπω τις αγγελίες. 

Με την ίδια λογική παράνομο θα ήταν να δημοσιευω εδώ προσφορές απο διάφορα μαγαζια. Δεν εχει διαφορά αν το κανε αυτόματα ή χειροκίνητα.

 

Παράνομο θα ήταν να αντιγράφω τα δεδομένα σε δικό μου site και να μην αναφέρω πηγή, που εκεί το car μπορει να γκρινιάξει για διαφυγόντα κέρδη απο διαφημίσεις, αλλά το να κάνω σάρωση, να ενημερώνω κάποιον για κάτι καινουργιο και να τον παραπέμπω εκεί, κέρδος ειναι για το car.

 

Συμφωνώ βεβαια να επικοινωνήσει μαζί τους, μηπως εχουν κάποιο api να παιρνει πιο ευκολα τα δεδομένα. 

 

Το ότι εσύ μπορείς με ένα μποτ δλδ να του ρίξεις το site ή να του ανεβάζεις το traffic στο site δεν παίζει ρόλο?

Δεν είναι το θέμα μόνο αν έχεις πρόσβαση στα δεδομένα ή όχι , υπάρχουν και άλλα πράγματα που πρέπει να σκέφτεσαι. 

Αν εγώ πλήρωνα π.χ. ενα ποσό για να έχω 1TB (λέμε τώρα ) traffic στο site μου γιατί ξέρω ότι δεν θα πάω παραπάνω, και μου το πιάσεις εσύ σε μία εβδομάδα που το χτυπάς ανελέητα σου φαίνεται φυσιολογικό και νόμιμο? 

 

Αν ναι πάω πάσο , εγώ απλά είπα την γνώμη μου

[the other one]

αν δε κάνω λάθος ό,τι δεν αναφέρεται στο robots μπορείς να το πάρεις

στη προκειμένη https://www.car.gr/robots.txt

[rafinos]

Παιδιά, δεν μιλάω για εμφάνιση δεδομένων σε χώρο που θα επισκέπτεται κόσμος. Είναι για χρήση που θα διευκολύνει την πρόσβαση καθαρά σε αυτόν που το χειρίζεται. Επίσης δεν είναι ανάγκη η ενημέρωση να γίνεται ανά δευτερόλεπτο. Αλλά και έτσι να είναι, μπορώ κάλλιστα να μπω και να κάνω refresh και από τον browser συνεχόμενα. 

[isay]

Το ότι εσύ μπορείς με ένα μποτ δλδ να του ρίξεις το site ή να του ανεβάζεις το traffic στο site δεν παίζει ρόλο?

Δεν είναι το θέμα μόνο αν έχεις πρόσβαση στα δεδομένα ή όχι , υπάρχουν και άλλα πράγματα που πρέπει να σκέφτεσαι. 

Αν εγώ πλήρωνα π.χ. ενα ποσό για να έχω 1TB (λέμε τώρα ) traffic στο site μου γιατί ξέρω ότι δεν θα πάω παραπάνω, και μου το πιάσεις εσύ σε μία εβδομάδα που το χτυπάς ανελέητα σου φαίνεται φυσιολογικό και νόμιμο? 

 

Αν ναι πάω πάσο , εγώ απλά είπα την γνώμη μου

Τα έχεις μπερδέψει λίγο.

 

Αρχικά ας βγάλουμε απο την εικόνα την εφαρμογή. ΑΝ κάνω mirror ενα site, δηλαδή κατεβάζω όλο το site, ναι αυξάνεται πολύ το traffic και οι server έχουν (ή ττουλάχιστον πρέπει να εχουν) κόφτες για τέτοιες brute force τακτικές. Αν μάλιστα του κάνω mirror 2-3 φορές την ημέρα, πάλι είμαι για μπουκέτα. Και αυτό όμως δεν ειναι παράνομο. Θα έλεγα οτι πρώτον είναι ανήθικο και το βασικότερο ηλίθιο!

 

Ας βάλουμε πάλι την εφαρμογή στην εικόνα. 

 

Περιπτωση Α: Ο προγραμματιστής εχει μια τετοια εφαρμογή που για κάθε query σαρώνει και κάνει mirror ολο το site σε offline εκδοση για επεξεργασία. Αυτός ειναι ηλίθιος και το βασικότερο άσχετος και το αποτελεσμα θα ειναι κακό (θα αργουν τα queries, αν στο ενδιάμεσο δεν εχουν ενεργοποιηθεί οι κόφτες (αυτόματα ή χειροκίνητα). Απο τα γραφόμενα σου, πιστευω οτι θεωρές οτι ετσι θα λειτουργεί η εφαρμογή. Οχι.

 

Περιπτωση Β: Ο προγραμματιστής φτιάχνει μια εφαρμογή που "αντικαθιστά" την αναζήτηση του site car. Δηλαδή μπαινει ο άλλος χειροκίνητα και κοιτά για αυτοκίνητα, επιβατικά, ημερομηνία και αποθηκευει κάποια datetime δεδομένα στην εφαρμογή (στο κινητο). Αν τωρα στη νεα αναζητηση (οταν θα μπει παλι ο επισκεπτης) βρει αλλες αγγελίες θα βγαελιμηνυμα. Πάλι χαζο αποτελεσμα γιατί την αναζήτηση μπορεις να την κάνεις και μεσα απο το site και να σημειώνεις σε ενα χαρτί την ημερομηνία. Με λίγα λογια, πολύ κόπος για μικρό κέρδος. Αυτή όμως η λύση δεν αυξάνει πολύ το traffic γιατί ο χρήστης ετσι κι αλλιως θα εκανε αναζητηση. Απορρίτπεται σαν ιδεα.

 

Περιπτωση Γ: Ο προγραμματιστής, έχει στήσει ένα δικό του server, στον οποίο τρέχει cron jobs και μια βάση δεδομένων. Μια φορά την ημέρα ο server σαρώνει 1-2 σελίδες που ειναι οι κατηγορίες και τις αποθηκευει στη database. AYTO DEN EINAI mirror. Φτιάχνει και μια εφαρμογή που το κινητό τραβά τις κατηγορίες - υποκατηγορίες (αυτόματα ή μαζεμένα) και τις αποθηκευει (κανει update στο κινητό). Μπαινει λοιπον ο χρήστης και λεει οτι θέλω να με ενημερώνεις για αγγελίες με vw golf. Το προγραμμα κανει μια καταχώρηση στη δαταβασε toy server για τον χρήστη και τις κατηγορίες αναζητησης και datetime τελευταιας αγγελίας (αυτή που ειναι ψηλά). Βαζει και ενα cron job με λογικό interval (*) και ο server κοιτα ΑΠΕΥΘΕΙΑΣ τη σελίδα αναζητησης με περασμενες το url των παραμετρων. Συγκρίνει την τελευταία αγγελία και αν διαφέρει, ενημερωνει το χρήστη και αλλαζει το datetime. Αντί λοιπον ο χρήστης να μπει σε 3 σελίδες (αρχική -> αναζητηση -> λίστα) το κανει αυτόματα ο server απευθειας στη λίστα. Τις αναζητήσεις αυτές θα τις έκανε ΕΤΣΙ κι αλλιως ο χρήστης, αρα το traffic είναι δεδομένο και υπολογισμένο. Είναι σαν να κανεις live αποδελτίωση και επιλογή υλικου με βάση τις αναγκες του χρήστη. Αυτό που ειναι παράνομο;

 

Περιπτωση Δ: Ο προγραμματιστής εχει δικό του server και αρκετές φορές τη μερα κάνει mirror ολο το site για offline επεξεργασία. Αν βρει νεες αγγελίες (με βαση κριτιριων του χρήστη) τον ενημερώνει. Και αυτό γίνεται αλλά και πάλι ειναι ηλίθιο, γιατί μεταφέρει φορτηγά με δεδομένα, που αυτά πιθανον να χρειαστούνε όσα χωράνε σε ένα κουβα. 

 

Τεσπα, μακρυνε πολύ η κουβέντα και τον ts δεν τον κόβω να φτιάχνει κάτι τέτοιο. 

Παιδιά, δεν μιλάω για εμφάνιση δεδομένων σε χώρο που θα επισκέπτεται κόσμος. Είναι για χρήση που θα διευκολύνει την πρόσβαση καθαρά σε αυτόν που το χειρίζεται. Επίσης δεν είναι ανάγκη η ενημέρωση να γίνεται ανά δευτερόλεπτο. Αλλά και έτσι να είναι, μπορώ κάλλιστα να μπω και να κάνω refresh και από τον browser συνεχόμενα. 

Τι εννοεις με "επισκεται κόσμος";

Επισης μιλάμε για ατομική χρήση ή για εφαρμογή προσβάσιση στο κοινό.

 

Αν μιλάμε για ενα ατομο και ατομική χρήση, γίνεται με script τυπου greasemonkey που ανα κάποια λεπτα (μιλάμε για 20 λεπτα και πάνω, οχι δευτερολεπτα! ) κανει refresh, αποθηκευει τον κωδικό της τελευταιας αγγελίας και τον συγκρίνει με τον προηγουμενο. Αν ειναι διαφορετικός πετά μήνυμα (γενικά ενημερώνει). Αυτό τρέχει στο browser και μια χαρα θα δουλευε.

[rafinos]

Δεν είπα ότι θα το φτιάξω, απλή ερώτηση έκανα.

 

Η περίπτωση πάντως είναι για ατομική και όχι για χρήση κοινού. 

[Tsalikis177]

Ότι σου παρέχει η σελίδα από μόνη της μέσω API. Αλλιώς είσαι παράνομος.

 

Εκτός και αν δεν φιλοξενείς τα ίδια δεδομένα και απλά βγάζεις ένα Notification που θα οδηγήσει εν τέλει τον χρήστη στην σελίδα τους.

 

Το να φτιάξεις εσύ πχ μια σελίδα με αγγελίες BMW-Only επειδή είσαι μανιακός BMWας , που τα δεδομένα σου είναι από το car.gr και τα έχεις πάρει με scrapping γιατί δεν τα παρέχουν μέσω κάποιου API, τότε δεν είναι σωστό.

[tsofras]

Τα έχεις μπερδέψει λίγο.

 

 

Μπορεί και να τα έχω μπερδέψει , θα ήταν σωστό να φτιάξω ένα application που να χτυπάει τα νέα ποστ του φορουμ και να μου επιστρέφει τα νέα απο συγκεκριμένες κατηγορίες σε μορφή που τα θέλω εγώ?

 

Αν ναι τότε ισχύει και για το car.gr

[jimex]

Ότι σου παρέχει η σελίδα από μόνη της μέσω API. Αλλιώς είσαι παράνομος.

 

Εκτός και αν δεν φιλοξενείς τα ίδια δεδομένα και απλά βγάζεις ένα Notification που θα οδηγήσει εν τέλει τον χρήστη στην σελίδα τους.

 

Το να φτιάξεις εσύ πχ μια σελίδα με αγγελίες BMW-Only επειδή είσαι μανιακός BMWας , που τα δεδομένα σου είναι από το car.gr και τα έχεις πάρει με scrapping γιατί δεν τα παρέχουν μέσω κάποιου API, τότε δεν είναι σωστό.

 

Not. Γι' αυτό υπάρχει το robots.txt...

 

Στην προκειμένη το car.gr δεν έχει κάποιον περιορισμό στις αγγελίες του.

[rafinos]

Παιδιά μπερδευτήκατε πολύ. 

 

Θα ειδοποιεί για νέες αγγελίες αλλά για να τις δει θα πρέπει να μπει στο car.gr.

 

Εγώ μια απλή απορία είχα για το αν γίνεται κάτι τέτοιο. Οκ στην τελική γίνεται είτε κάποιοι κλαίνε για το traffic τους είτε όχι σε άλλες περιπτώσεις.