Python web scraping

[Anubis13]

Καλησπέρα,

 

προσπαθώ να κάνω parse τις τιμές του forex απο εδω

http://www.naftemporiki.gr/finance/chain/32/basikes-isotimies

 

Χρησιμοποιω BeautifulSoup

tds = soup.find_all('td')
for td in tds:
    #print list(td.strings)
    print td.text

 

EURGBP
Ευρώ / Στερλίνα

Kαι ενω εχω τα ονόματα τα values τους ειναι κενα.

 

Ενα μερος του td ειναι αυτό

 <td class="nCell"><div class="myBtnContainer"><a href="/my/addPortfolio?symbol=EURGBP" class="myBtn first" title=""></a></div></td> <td><strong><a title="Ευρώ / Στερλίνα [EURGBP]" href="/finance/quote/eurgbp/euro-sterlina">EURGBP</a></strong></td> <td class="blueRow texttd" nowrap="nowrap"><div class="nameC" style="width:178px;"><a title="Ευρώ / Στερλίνα [EURGBP]" href="/finance/quote/eurgbp/euro-sterlina">Ευρώ / Στερλίνα</a></div></td> <td class="blueRow numeric" id="ch_q_EURGBP_qaLastHTML" changed="number">0,72505</td> <td class="blueRow numeric" id="ch_q_EURGBP_qaBid1HTML" changed="simple">0,72500</td> <td class="blueRow numeric" id="ch_q_EURGBP_qaAsk1HTML" changed="simple">0,72510</td> <td class="blueRow numeric" id="ch_q_EURGBP_qaTradeTime24Big" changed="simple">11:56:16</td> 

Καμιά ιδέα?

 

[wenduur]

Κάτι δε μου κάνει σωστό στον τρόπο που το κάνεις iterate και το τυπώνεις. Python 2.7 να φανταστώ. Beautifulsoup 4 ?

 

http://stackoverflow.com/questions/15390596/using-beautifulsoup-to-parse-tr-tags-having-trouble-extracting-values

[Anubis13]

Και ομως το δοκιμασα στο xe.com και δουλευει, θα διαβασω αυτο που ειπες και θα ξαναποσταρω

[pmav99]

Πόσταρε αν θέλεις όλο τον κώδικα. Ετσι δεν βγαίνει άκρη.

[παπι]

για scraping δες XPath. 

[Anubis13]

from bs4 import BeautifulSoup
import urllib2

url = "http://www.xe.com/"
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}
request = urllib2.Request(url, headers=hdr)
response = urllib2.urlopen(request)
soup = BeautifulSoup(response)

currencies = {}
tds = soup.find_all('td')
for td in tds:
    result = td.text

Ορίστε ο κώδικας.

@παπι: θα το δοκιμασω

[pmav99]

Κανονικά τρέχει ο κώδικας που παρέθεσες. Βάλε ένα print για να το δεις:

for td in tds:
    print(td.text)

$ pip freeze | grep beautifulsoup4
beautifulsoup4==4.3.2

[Anubis13]

οταν λες κανονικα βλεπεις τις τιμές? Γιατι εγώ βλέπω κενό μόνο. Επίσης υπάρχει τρόπος σε tables που κανουν autoupdate να παιρνουμε την καινουρια τιμη χωρις να κανουμε καινουριο request?

 

Σου εδωσα λαθος λινκ. Θες url

url = "http://www.naftemporiki.gr/finance/chain/32/basikes-isotimies"

[παπι]

[akis_fc]

για το scrapy ποια είναι γνώμη σας το έχει χρησιμοποιήσει κανένας ?

[pmav99]

Έχει αρκετές δυνατότητες, αλλά για κάτι που θα τρέξεις μια φορά και τέλος είναι overkill.

[akis_fc]

γενικά ρώτησα για κάτι μεγαλύτερο είναι η αλήθεια απλά μία δεύτερη γνώμη, ευχαριστώ