Python web scrape

[Billator]

Καλησπέρα παιδιά, ξέρετε κανένα καλό course για python scraping;
Θέλω να κάνω διάφορα automation scrabe tools γιατί αυτή την στιγμή ο dev που μου φτιάχνει τα αντίστοιχα scripts μου βγαίνει λίγο ακριβός. 

Δεν με πειράζει αν είναι free ή paid το course αρκεί να τα εξηγεί από το Α έως το Ω.

Σας ευχαριστώ  
 

Επεξ/σία 17 Ιανουαρίου 2022 από Billator

[archer100]

1 ώρα πριν, Billator είπε

Καλησπέρα παιδιά, ξέρετε κανένα καλό course για python scrabing;
Θέλω να κάνω διάφορα automation scrabe tools γιατί αυτή την στιγμή ο dev που μου φτιάχνει τα αντίστοιχα scripts μου βγαίνει λίγο ακριβός. 

Δεν με πειράζει αν είναι free ή paid το course αρκεί να τα εξηγεί από το Α έως το Ω.

Σας ευχαριστώ  
 

Εννοεις scraping tools? Αν ναι, τι είδους σελίδες και πόσες σκοπεύεις να σκραπάρεις; 

Αν είναι απλές στατικές σελίδες, ψάξε για Beautifulsoup 

Αν είναι δυναμικές σελίδες με Javascript περιεχόμενο, ψάξε για Selenium

Υπάρχει και το Scrapy αλλά είναι πιο προχωρημένο, για άλλο επίπεδο.

Τα ανωτέρω είναι βιβλιοθήκες της Python, ψάξε για tutorials σχετικά με αυτές.

Σε κάθε περίπτωση, αν οι γνώσεις σου είναι στο μηδέν, ετοιμάσου για πολύ διάβασμα, γιατί θα χρειαστεί να μάθεις και html, κάποιες τεχνικές όπως πχ xpath, αλλά και πως θα στήσεις το botaki, και τα βήματα περαιτέρω επεξεργασίας των δεδομένων που αντλήθηκαν.

Πιθανό στο ενδιάμεσο να απηυδήσεις και να σου φανούνε ακόμα και λίγα τα λεφτά που δίνεις στον dev τώρα.

[Billator]

Στις 17/1/2022 στις 1:45 ΜΜ, archer100 είπε

Εννοεις scraping tools? Αν ναι, τι είδους σελίδες και πόσες σκοπεύεις να σκραπάρεις; 

Αν είναι απλές στατικές σελίδες, ψάξε για Beautifulsoup 

Αν είναι δυναμικές σελίδες με Javascript περιεχόμενο, ψάξε για Selenium

Υπάρχει και το Scrapy αλλά είναι πιο προχωρημένο, για άλλο επίπεδο.

Τα ανωτέρω είναι βιβλιοθήκες της Python, ψάξε για tutorials σχετικά με αυτές.

Σε κάθε περίπτωση, αν οι γνώσεις σου είναι στο μηδέν, ετοιμάσου για πολύ διάβασμα, γιατί θα χρειαστεί να μάθεις και html, κάποιες τεχνικές όπως πχ xpath, αλλά και πως θα στήσεις το botaki, και τα βήματα περαιτέρω επεξεργασίας των δεδομένων που αντλήθηκαν.

Πιθανό στο ενδιάμεσο να απηυδήσεις και να σου φανούνε ακόμα και λίγα τα λεφτά που δίνεις στον dev τώρα.

Τα site αυτά είναι b2b δυναμικές σελίδες με Javascript, όπου πρέπει να γίνει auto log in, και διάφορες ιδιαίτερες κινήσεις (πχ προσθήκη στο καλάθι μιας μεγάλης ποσότητας 1000τεμάχια ώστε να μας δώσει feedback το διαθέσιμο ακριβές υπόλοιπο του στοκ μιας και δεν αναγράφεται).

Το πρόβλημα μου δεν είναι τόσο το οικονομικό, αλλά ότι ο προγραμματιστής αυτός ψάχνει να πουλήσει και σε άλλους τα script που έφτιαξε σε εμένα (όπου αν δεν τον πλήρωνα να τα κάνει δεν θα ήξερε καν ότι τα χρειάζονται πολλοί) με αποτέλεσμα να αυξήθηκε ο online ανταγωνισμός μου. Για αυτό θέλω τα ξεκινήσω να κάνω in situ κάποια πράγματα λόγω κακών επαγγελματικών συνεργασιών. 

Και ξέρω ότι είναι τα ίδια script γιατί πάντα στα custom developing tools ζητάω κάποιες αλλαγές για να μπορώ να διακρίνω αν κάποιος κάνει scrape το δικό μου site ή αν τα tools αυτά τα χρησιμοποιεί άλλος.

[basilis5]

1 λεπτό πριν, Billator είπε

Τα site αυτά είναι b2b δυναμικές σελίδες με Javascript, όπου πρέπει να γίνει auto log in, και διάφορες ιδιαίτερες κινήσεις (πχ προσθήκη στο καλάθι μιας μεγάλης ποσότητας 1000τεμάχια ώστε να μας δώσει feedback το διαθέσιμο ακριβές υπόλοιπο του στοκ μιας και δεν αναγράφεται).

Το πρόβλημα μου δεν είναι τόσο το οικονομικό, αλλά ότι ο προγραμματιστής αυτός ψάχνει να πουλήσει και σε άλλους τα script που έφτιαξε σε εμένα (όπου αν δεν τον πλήρωνα να τα κάνει δεν θα ήξερε καν ότι τα χρειάζονται πολλοί) με αποτέλεσμα να αυξήθηκε ο online ανταγωνισμός μου. Για αυτό θέλω τα ξεκινήσω να κάνω in situ κάποια πράγματα λόγω κακών επαγγελματικών συνεργασιών. 

Και ξέρω ότι είναι τα ίδια script γιατί πάντα στα custom developing tools ζητάω κάποιες αλλαγές για να μπορώ να διακρίνω αν κάποιος κάνει scrape το δικό μου site ή αν τα tools αυτά τα χρησιμοποιεί άλλος.

Εχεις τους κωδικες που σου εγραψε; Δεν υπογραψατε τπτ; Οχι οτι αυτο απαμτα στην ερωτηση σου βεβαια.

παρακολουθω και εγω την ερωτηση σου γιατι ενδιαφερομαι για τονιδιο πραγμα κ δεν εχω βρει αυτονπου λες, κατι δομημένο εκτος απο βιντεακια youtube

[Billator]

14 λεπτά πριν, basilis5 είπε

Εχεις τους κωδικες που σου εγραψε; Δεν υπογραψατε τπτ; Οχι οτι αυτο απαμτα στην ερωτηση σου βεβαια.

παρακολουθω και εγω την ερωτηση σου γιατι ενδιαφερομαι για τονιδιο πραγμα κ δεν εχω βρει αυτονπου λες, κατι δομημένο εκτος απο βιντεακια youtube

Φυσικά έχω τους κώδικες που έγραψε, και φυσικά πάντα με ιδιώτες υπογράφω ιδιωτικό συμφωνητικό (μιας και είχα πρόβλημα παλιότερα πάλι με άλλον) που στην ουσία απαγορεύει στον ίδιον την χρήση, την εκμετάλλευση / αναπαραγωγή (ιδίων ή παρεμφερών)  tools που αναπτύσσονται για την εταιρεία μου σε άλλους. Αυτός αρνείται ότι έκανε κάτι τέτοιο, ξέρω ότι νομικά μπορώ να το ψάξω αλλά δεν λύνει το πρόβλημα που δημιουργήθηκε.

Τώρα μιας και πρέπει να ολοκληρώσουμε την αυτόματη ενημέρωση/ανέβασμα όλων των προϊόντων από τις εταιρείες που έχουν b2b site αλλά δεν παρέχουν xml / csv ή οποιαδήποτε άλλη επεξεργάσιμη μορφή όπου μπορεί να χρησιμοποιηθεί, βρήκα από fiverr άλλον προγραμματιστή όπου μου κοστίζει και πολύ λιγότερο και μου φτιάχνει τα πάντα to the point χωρίς αχρείαστες επικοινωνίες όπως είχα με τον προηγούμενο. 

Και σιγά σιγά βλέπω μέσω hacking αλλά και διαβάσματος πως μπορώ να κάνω και εγώ αντίστοιχα tools μόνος. 
 

Επεξ/σία 20 Ιανουαρίου 2022 από Billator