Δεδομένα από site τρίτου...

[isay]

Παιδιά μπερδευτήκατε πολύ. 

 

Θα ειδοποιεί για νέες αγγελίες αλλά για να τις δει θα πρέπει να μπει στο car.gr.

 

Εγώ μια απλή απορία είχα για το αν γίνεται κάτι τέτοιο. Οκ στην τελική γίνεται είτε κάποιοι κλαίνε για το traffic τους είτε όχι σε άλλες περιπτώσεις. 

ειπαμε γινεται

[rafinos]

ειπαμε γινεται

Ναι αυτό λέω... απλά όλοι σε θεωρούν "παράνομο", ενώ στην τελική είσαι ο μόνος που απάντησε και τεκμηριωμένα.

[anon667]

Nitpicking, αλλά ο μόνος τεκμηριωμένος είναι αυτός που αναφέρθηκε στο robots.txt.

[isay]

Ναι αυτό λέω... απλά όλοι σε θεωρούν "παράνομο", ενώ στην τελική είσαι ο μόνος που απάντησε και τεκμηριωμένα.

ολοι; Δε νομίζω

Επισης τεκμηρίωσα σε ποιο βαθμό αρχίζει να μη γινεται ηθικό, αλλά παρανομο δεν ειναι. Θα μπορουσε να γίνει ηλίθιο, αλλά οχι παρανομο.  Μη τρελαθούμε τώρα

 

Και το λεω και σε σενα. Αν ήταν παρανομο (οπως θεωρουν οι δυο συνφριυμιτες) τοτε ειναι το ιδιο παρανομο να διαβαζω μια προσφορα στο σιτε μιας αλλης εταιρειας και να μπαινω εδω και να το γραφω. 

 

Μη τρελαθούμε κιόλας

[tsofras]

Ρε παιδιά προφανώς και γίνεται , το παράνομο μπορεί να είναι και βαρύ σαν λέξη (ξέρω εγώ το άρχισα) , ανήθικο μπορεί , αλλά και πάλι το θέμα web scraping είναι λίγο παράξενο ώς προς τι είναι παράνομο και τι όχι. 

 

Με αφορμή το ποστ έκανα μία αναζήτηση και δεν βρήκα κάτι συγκεκριμένο, εγώ απλά κανα 2 φορές που χρειάστηκα κάτι αντίστοιχο και δεν έβρισκα API απλά έστειλα email στον διαχειριστή του site αν επιτρέπεται κάτι αντίστοιχο.

 

isay το παράδειγμα με την προσφορά είναι ατυχές , γιατί ο αγοραστής πάλι απο το μαγαζί της προσφοράς θα το αγοράσει. Στην περίπτωση όμως του car που δεν ξέρω τι μοντέλο χρησιμοποιεί , το ότι μπορεί να χάσει επισκέπτες απο το site επειδή μπαίνουν απο μία εφαρμογή ενός τρίτου δεν είναι το ίδιο.

 

Μην τα βρίσκουμε και όλα τα ίδια (άσχετα με τον TS που λέει ότι θέλει να φτιάξει κάτι μόνο για ειδοποιήσεις , οκ για αυτό , απλά αφού κάνουμε την κουβέντα το αναφέρω)

 

Τεσπα , το κουράσαμε , ο καθένας έχει την αποψή του.

TS όπως είπε και ο isay γίνεται αυτό που θές να κάνεις οπότε αφού αυτό ήθελες να μάθεις μόνο άσε όλα τα άλλα απέξω

[defacer]

παράνομο; 

Με την ίδια λογική και εγω είμαι παρανομος που μπαινω στο site τους και βλέπω τις αγγελίες. 

Με την ίδια λογική παράνομο θα ήταν να δημοσιευω εδώ προσφορές απο διάφορα μαγαζια. Δεν εχει διαφορά αν το κανε αυτόματα ή χειροκίνητα.

 

Παράνομο θα ήταν να αντιγράφω τα δεδομένα σε δικό μου site και να μην αναφέρω πηγή, που εκεί το car μπορει να γκρινιάξει για διαφυγόντα κέρδη απο διαφημίσεις, αλλά το να κάνω σάρωση, να ενημερώνω κάποιον για κάτι καινουργιο και να τον παραπέμπω εκεί, κέρδος ειναι για το car.

 

Συμφωνώ βεβαια να επικοινωνήσει μαζί τους, μηπως εχουν κάποιο api να παιρνει πιο ευκολα τα δεδομένα. 

 

Μπερδεύεις δύο άσχετα μεταξύ τους πράγματα: τη δυνατότητά σου να χρησιμοποιήσεις τη σελίδα τους, και τη δυνατότητά σου να χρησιμοποιήσεις την πληροφορία που βρίσκεται εκεί.

 

Προφανώς και η σελίδα είναι εκεί για να τη χρησιμοποιήσεις, είναι δημόσια προσβάσιμη. Αλλά αυτό δε σημαίνει πως οι πληροφορίες που εμφανίζονται στη σελίδα είναι μπάτε σκύλοι αλέστε επειδή η πρόσβαση σ' αυτές σου επιτρέπεται -- αυτό καθορίζεται από τους όρους χρήσης της σελίδας (τους οποίους στην προκειμένη δε βρίσκω πουθενά, πράγμα που σημαίνει ότι ζουν στην εποχή των δεινοσαύρων και μπορεί να το μετανιώσουν αυτό αλλά τι να κάνεις).

 

Σούπερ κλασικό παράδειγμα, μπορεί κάποια σελίδα να λέει ότι απαγορεύεται η εμπορική χρήση της πληροφορίας που σου παρέχουν εκτός αν έχεις pro subscription (η οποία έρχεται και μαζί με API πολλές φορές) κλπ.

Not. Γι' αυτό υπάρχει το robots.txt...

 

Στην προκειμένη το car.gr δεν έχει κάποιον περιορισμό στις αγγελίες του.

 

Όχι, αυτό είναι πλάνη.

 

Παρόλο που η ύπαρξη και τα περιεχόμενα του robots.txt μπορεί να παίξουν ρόλο σε κάποιο σχετικό δικαστήριο, το πρωτόκολλο για το οποίο μιλάμε είναι συμβουλευτικό. Αυτό σημαίνει πως η ύπαρξη ενός robots.txt και η απόφασή σου να το σεβαστείς ή όχι δεν αποτελεί κανενός είδους νομική δέσμευση.

 

Φυσικά, αν καταλήξουμε στα δικαστήρια όπως είπα τότε το robots.txt μπορεί να αποτελέσει επιχείρημα για να υποστηρίξεις ότι εν γνώσει τους κάποιοι χρησιμοποίησαν με παράνομο τρόπο τη σελίδα σου, αλλά αυτό θα πρέπει να δέσει με άλλα πολύ πιο τρανταχτά επιχειρήματα. Από μόνο του δε σημαίνει τίποτα.

Τα έχεις μπερδέψει λίγο.

 

Αρχικά ας βγάλουμε απο την εικόνα την εφαρμογή. ΑΝ κάνω mirror ενα site, δηλαδή κατεβάζω όλο το site, ναι αυξάνεται πολύ το traffic και οι server έχουν (ή ττουλάχιστον πρέπει να εχουν) κόφτες για τέτοιες brute force τακτικές. Αν μάλιστα του κάνω mirror 2-3 φορές την ημέρα, πάλι είμαι για μπουκέτα. Και αυτό όμως δεν ειναι παράνομο. Θα έλεγα οτι πρώτον είναι ανήθικο και το βασικότερο ηλίθιο!

 

Μπορεί να μην είναι παράνομο το mirroring "in a vacuum", αυτό δε σημαίνει πως μπορείς να κάνεις mirror ό,τι θες όσο θες και στα τέτοια σου. Και τα search engines είναι νόμιμα in a vacuum, και τα torrent files είναι νόμιμα in a vacuum, κι όμως ο συνδυασμός "πειρατικό τορεντάδικο" είναι παράνομος.

 

Αν το κάνεις αυτό που λες πρώτα θα σε ενημερώσουν να σταματήσεις κι αν δε σταματήσεις θα σε πάνε στα δικαστήρια για το μπελά και τις τυχόν ζημιές που τους προκαλείς. Κι εκεί να δω πώς θα δικαιολογήσεις ότι αυτό που κάνεις είναι λογικό και να σε αφήσουν ήσυχο.

[NikosKallithea]

Ο ts θα τα εχει παίξει με ολα αυτά που διαβάζει

[rafinos]

Μπα καθόλου, δεν πρόκειται να φτιάξω κάτι τέτοιο. Εξ αρχής είπα ότι απλά κάνω μια ερώτηση.

 

Ωραία, είναι παράνομο. Που ξέρουν όμως ότι εγώ δεν κάνω απλά αναζητήσεις όλη μέρα; 

[Chemical]

Για ερασιτεχνικό project με πολύ ταλαιπωρία μιας και δεν υπάρχει public api ίσως και να γίνεται, για real project δεν θα βασιζόμουν σε hacks 

 

Ωραία, είναι παράνομο. Που ξέρουν όμως ότι εγώ δεν κάνω απλά αναζητήσεις όλη μέρα; 

 

Με Measurements φυσικά, θα βρουν τα spikes θα σε εντοπίσουν και θα σε αποκλεισουν

[NikosKallithea]

Για ερασιτεχνικό project με πολύ ταλαιπωρία μιας και δεν υπάρχει public api ίσως και να γίνεται, για real project δεν θα βασιζόμουν σε hacks 

 

 

 

Με Measurements φυσικά, θα βρουν τα spikes θα σε εντοπίσουν και θα σε αποκλεισουν

Εγω κάνω αναζήτηση σε διάφορα σιτε καμία 10αρια χρόνια δεν είδα ποτέ κανένα αποκλεισμό

[defacer]

Ωραία, είναι παράνομο. Που ξέρουν όμως ότι εγώ δεν κάνω απλά αναζητήσεις όλη μέρα; 

 

Δεν τους ενδιαφέρει τι κάνεις αν το κάνεις manually. Αν βάλεις ένα πρόγραμμα και κάνει Ν queries/sec όλη μέρα και υποπέσει στην αντίληψή τους*, είναι προφανές τι συμβαίνει.

 

Επίσης το να έχουν κάτι τέτοιο είναι πολύ πιθανότερο απ' όσο νομίζεις (όχι για το car.gr, γενικά) γιατί βρίσκοντας κάποιον που το κάνει αυτό έχεις βρει αμέσως κάποιον που είτε θα γίνει paying customer είτε θα πάρει πούλο. Μιαμμμμ paying customer.

 

 

* Αυτό μπορεί να μη γίνει ποτέ ή να γίνει άμεσα με αυτόματο reporting. Ας πούμε στο τέλος της ημέρας παίρνεις ένα report που δείχνει Q = #queries ανά subnet για Q > 100, ή το μέγιστο Ν-min rolling average #queries ως ποσοστό μιας "λογικής" τιμής που προκύπτει από τα νούμερα του τελευταίου έτους, εκεί θα φαίνεσαι αμέσως. Τώρα για το car.gr να πω την αλήθεια δεν περιμένω τίποτα τέτοιο.

[παπι]

Πολυ μπλα μπλα για κατι απλο. Οπως λεει και ο δεφ, ειναι θεμα tos επειδν εχουμε να κανουμε με πνευματικα δικαιώματα. Υπαρχει σχετικη νομοθεσια.