...ΝΑ ΔΙΑΒΑΖΕΙ ΜΙΑ ΣΕΛΙΔΑ ΣΑΝ ΤΧΤ

[trad]

Όλα καλάμε τον κώδικα όμως το ^%#$%@ το alexa δεν μ' αφήνει να πάρω τα στοιχεία, είναι μάλλον κλειδωμένο (Disallow...). Πχ δοκιμάστε (αν θέλετε) να το κάνετε στο

http://www.alexa.com/data/details/?url=www.insomnia.gr

Καμιά ιδέα?

[mkst]

to ekana sto link pou dineis (http://www.alexa.com/data/details/?url=www.insomnia.gr) kai douleuei kanonika.....

[trad]

Θα με τρελάνεις? Τι σου έβγαλε? Γράψε (κάνε copy-paste) σε παρακαλώ!!!

[mkst]

:) ma xrisimopoihsa akribws tin kwdika pou sou edwsa sto 1o mou post, apla antikatesthsa to http://www.insomnia.gr me to link pou dineis. To trexw apo ton explorer (exw local apache) kai anoigei kanonika thn selida.

Esi ti karibws kaneis?

[trad]

Έχω εγκατεστημένη την php και τον Apache κι εγώ. Όμως το script δεν το τρέχω μέσω του Apache (δεν το έχω βάλει δηλαδή στο htdocs ώστε να το τρέξω μέσα απο τον Apache). Αυτό που εγώ έκανα είναι να εκτελέσω το script χωρίς την παρεμβολή του Apache.

- Πως?

- Με bat αρχείο. Συγκεκριμένα, αφού μπω στον φάκελο που βρήσκεται το php.exe τρέχω:

php C:\διεύθυνση_που_βρήσκεται_το_php_αρχείο\mkst_script.php3>a.html

Με αυτό τον τρόπο μόλις τελειώσει η εκτέλεση του script έχει δημιουργηθεί ένα αρχείο a.html που έχει όλον τον κώδικα της δοσμένης στο script σελίδας.

Ενώ λοιπόν σε όλες τις σελίδες γενικώς δουλεύει η ιστορία, στις διευθύνσεις με αρχή το http://www.alexa.com/data/details μου βγάζει αντί για τον κώδικα τα εξής:

 

User-agent: googlebot # allow Google crawler Disallow: /search User-agent: gulliver # allow Northern Light crawler Disallow: /search User-agent: slurp # allow Inktomi crawler Disallow: /search User-agent: fast # allow FAST crawler Disallow: /search User-agent: scooter # allow AltaVista crawler Disallow: /search User-agent: vscooter # allow AltaVista image crawler Disallow: /search User-agent: ia_archiver # allow Internet Archive crawler Disallow: /search User-agent: * # disallow all other crawlers access Disallow: /

 

Έψαξα λιγάκι στο Google να δω κανα forum που λέει γι' αυτά τα μηνύματα. Απο τα πολύ λίγα που διάβασα κατάλαβα ότι αν θέλεις μπορείς να απαγορεψεις το σκανάρισμα των σελίδων σου, κάτι το οποίο το κάνει το google και άλλα site για να παίρνουν τις πληροφορίες που θέλουν. Νομίζω ότι η alexa έχει απαγορέψει το σκανάρισμα στις σςλίδες της για ευνόητους λόγους.

[mitsoskitsos]

Χρησιμοποιώ την εξής function για να ξεγελάσω το alexa http://beta.topweb.gr/alexa_rank_func.txt

Η function get_rank επιστρέφει ένα array με τις τιμές για ημερήσιο, εβδομαδιαίο και 3μηνιαίο rank

[trad]

mitsoskitsos, thanks για το script.

Καταρχίν, έβαλα μια τιμή στην μεταβλητή $url και έτρεξα το script. H "απάντηση" ήταν:

>
X-Powered-By: PHP/4.2.2
Set-Cookie: PHPSESSID=efa62d0af4e6ae7cfb58ffaf8d0a4f2e; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Content-type: text/html

Κάνω κάτι λάθος?

Απο κει και πέρα, έχω και μερικές απορίες, αν μπορείς να μου τις απαντήσεις. Αφού κάνεις socket connection με την fsockopen μετά κάνεις:

>
$request = "GET ".$this->path." HTTP/1.0\r\n";
 $request .= "User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)\r\n";
  $request .= "Host: ".$this->host."\r\n";
  $request .= "Connection: Close\r\n\r\n";
  $return = '';
  
 fputs ($fp, $request);

1η ερώτηση: Τι διαφορά έχει αυτό το connection με το απλό της fopen

2η ερώτηση: Μπορείς να μου αναλύσεις/εξηγήσεις λίγο το request?

3η ερώτηση: fputs στο $fp? Πως?

[mkst]

Se emena anoigei h diei8insi tou alexa pou dineis. Sou stelnw se pm to link opou exw to script gia na to testareis.

1. H diafora einai oti to fopen anoigei files, enw to fsocket anoigei connection

2. Anoigei connetction. Ftiaxnei to header. Stelnei to header. Pernei thn apanthsh.

3. Nai, kanei write sto handle tou connetcion. genika mporeis na kaneis read/write sto handle. Tou simperifetereta sa na einai arxeio.