Tutorial για web parsing

[Lanike71]

Ψάχνω ένα δυνατό tutorial για web parsing σε δυναμικές σελίδες σε java.

Ιδανικά θα ήταν κάτι για htmlUnit, αλλά δεν αποκλείω κάτι διαφορετικό.

[rafinos]

2 ώρες πριν, Lanike71 είπε

Ψάχνω ένα δυνατό tutorial για web parsing σε δυναμικές σελίδες σε java.

Ιδανικά θα ήταν κάτι για htmlUnit, αλλά δεν αποκλείω κάτι διαφορετικό.

https://ksah.in/introduction-to-web-scraping-with-java/

Τέρμα απλό. Με την χρήση xpath. 

[Lanike71]

20 ώρες πριν, rafinos είπε

https://ksah.in/introduction-to-web-scraping-with-java/

Τέρμα απλό. Με την χρήση xpath. 

Να ξαναδώ λίγο το xpath πρώτα...😊

[Salecon]

Θα πρότεινα να δεις τις λύσεις από Python. Έχει φοβερά modules. 

Keywords: 

mechanize (Python 2.X only), Beautiful soup, SeleniumRC, Mechanical soup

Ψάξε στο google βάζοντας (π.χ.) "beautiful soup tutorial python" ή "seleniumrc tutorial python". 

[Lanike71]

23 ώρες πριν, Salecon είπε

Θα πρότεινα να δεις τις λύσεις από Python. Έχει φοβερά modules. 

Keywords: 

mechanize (Python 2.X only), Beautiful soup, SeleniumRC, Mechanical soup

Ψάξε στο google βάζοντας (π.χ.) "beautiful soup tutorial python" ή "seleniumrc tutorial python". 

Θα πρέπει να ξεκινήσω πρώτα με python, που δεν την κατέχω. Και δυστυχώς, δεν έχω χρόνο.

Ευχαριστώ πάντως.

[emmajperrez]

If this can help :  https://www.abstractapi.com/web-scraping-api

Επεξ/σία 10 Σεπτεμβρίου 2020 από emmajperrez
dead link

[Papakaliati]

Καντο με Python. Ευκαιρία να μάθεις, και χωρίς να έχεις την παραμικρή ιδέα, και πάλι θα είναι πολύ γρηγοροτερο να αναπτύξεις το scrapper σε python παρά σε Java. 

[Lanike71]

Έτσι για να ολοκληρωθεί το θέμα, βρήκα άκρη με Selenium σε java.

[Στεφανος123]

Στις 10/9/2020 στις 9:54 ΜΜ, Lanike71 είπε

Έτσι για να ολοκληρωθεί το θέμα, βρήκα άκρη με Selenium σε java.

Ωραιος! Ο,τι θες ρωτα

 

Εδω ενα καλο plugin για να βρισκεις γρηγορα το xpath https://chrome.google.com/webstore/detail/chropath/ljngjbnaijcbncmcnjfhigebomdlkcjo

Επεξ/σία 12 Σεπτεμβρίου 2020 από Στεφανος123

[visualizer]

Και εγω το selenium θα σου πρότεινα για δυναμικές σελίδες μιας και το htmlUnit ειναι πολύ παλιό.. αν και προσωπικά δεν είμαι ευχαριστημένος ούτε από το selenium μιας και έχει αρκετά bugs ακόμα ( ειδικά όταν είναι headless ) αλλά δυστιχώς δεν υπάρχει κάτι καλύτερο.

Tutorial υπάρχουν άπειρα ..