Web crawling για το Amazon.com

[totem_lost]

Καλησπέρα,

 

Θέλω να αποθηκεύσω τις κριτικές ορισμένων προϊόντων από το amazon.com. Ξέροντας το url μιας σελίδας γνωρίζω πως να κάνω το κατάλληλο html parsing με Java, όμως το πρόβλημα μου είναι οτι δεν υπάρχει τρόπος να βρω τo url για κάποιο product χωρίς να κάνω search. Πχ το DVD της ταινίας 'A Separation' βρίσκεται στο link: http://www.amazon.com/A-Separation-Peyman-Moaadi/dp/B005LAIIIA/ref=sr_1_4?ie=UTF8&qid=1333819251&sr=8-4

 

ενώ για το imdb είναι http://www.imdb.com/title/tt1832382/ (παρεπιτόντως το imdb δίνει τη λίστα των ids για κάθε τίτλο) επομένως το πρόβλημα λύνεται εκει.

 

Γνωρίζει κανείς πως μπορώ να κάνω simulate το searching στο amazon μέσα στον κώδικα μου ή τελοσπάντων κάποιο άλλο τρόπο να λύσω το παραπάνω πρόβλημα; Ευχαριστώ!

[_tasos]

Ρίξε μια ματιά στο Product Advertising API της Amazon, δεν ξέρω κατά πόσο σου κάνει αλλά μάλλον είναι το μόνο service που δίνει τα products που πουλάει η Amazon. https://affiliate-program.amazon.com/gp/advertising/api/detail/main.html