Προς το περιεχόμενο

Facebook 403 forbidden

ntelis1

Από τον ntelis1
στο Web Design - Development

 Share
Μετάβαση στην απάντηση Απαντήθηκε από Xvipes,

Προτεινόμενες αναρτήσεις

ntelis1 Proficient

ntelis1

Δημοσ.
Δημοσ.

Καλησπέρα Team από χθες αντιμετωπίζω ένα θέμα με το site μου με το Facebook. Οτιδήποτε κάνω share στο Facebook μου το  βγάζει σαν error 403 forbidden δεν φαίνεται ούτε ο τίτλος ούτε το thumbnail/εικόνα του url  του. Έψαξα στο internet και βρήκα ότι έχει να κάνει σχετικά με το robots.txt βρήκα τι ήθελε και έκανα τις αλλαγές χθες το μεσημέρι . Αλλά ακόμη τπτ. Μπαίνω Facebook debugger ώστε να κάνω debug/scap again αλλά πάλι τίποτα . Κάποια βοήθεια κάποιος ; 

Εδώ είναι το link από Facebook debug https://developers.facebook.com/tools/debug/?q=https%3A%2F%2Fe-agrotis.gr%2F2024%2F10%2F%ce%b1%ce%b3%cf%81%cf%8c%cf%84%ce%b5%cf%82%2Felaiolado-koroneiki-messinia-2024.html. 

Και εδώ το robots μου 

# START YOAST BLOCK

# ---------------------------

User-agent: *

Disallow: /feed/

Disallow: /comments/feed/

 

Allow: /

 

User-agent: facebookexternalhit

Allow: /

 

Sitemap: https://e-agrotis.gr/sitemap_index.xml

# ---------------------------

# END YOAST BLOCK

 

Έχω κάνει clear cache κλπ έβαλα και στο htcacces εντολή να αφήνει το Facebook κλπ . 

Xvipes Crazy Insomniac

Xvipes

Δημοσ.
Δημοσ.

Νομίζω το πρόβλημα είναι στον Apache μιας και το Facebook βλέπει αυτό. Τι έχεις στο .htaccess?
  

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>403 Forbidden</title>
</head>
<body>
<h1>Forbidden</h1>
<p>You don't have permission to access this resource.</p>
<hr>
<address>Apache Server at e-agrotis.gr Port 443</address>
</body>
</html>

 

ntelis1 Proficient

ntelis1

Δημοσ.
  • Μέλος
Δημοσ. (επεξεργασμένο)

Αυτό έχω . Είναι λάθος να το σβήσω ; Το βρήκα σε ένα forum 

# BEGIN Allow Facebook Crawler

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit [NC]

RewriteRule .* - [L]

</IfModule>

# END Allow Facebook Crawler

Επεξ/σία από ntelis1
  • Λύση
Xvipes Crazy Insomniac

Xvipes

Δημοσ.
  • Λύση
Δημοσ.

Μιας και δε κάνει κάτι συγκεκριμένο αυτό το rule θα έλεγα να το βγάλεις και απλά να αφήσεις το robots.txt.
Νομίζω υπάρχει κάποιο άλλο .htaccess πιο πριν ή πιο μετά που στο μπλοκάρει, εκτός και αν υπάρχει κάποιο rule από τον host του server.

ntelis1 Proficient

ntelis1

Δημοσ.
  • Μέλος
Δημοσ. (επεξεργασμένο)

Έγινε ξαφνικά από εχθές το βράδυ. Τόσο καιρό δεν είχα κανένα πρόβλημα. Και τελευταία σε φόρουμ το λένε αρκετοί ότι τους παρουσίασε τέτοιο θέμα ξαφνικά. 

Επεξ/σία από ntelis1
konet Rookie

konet

Δημοσ.
Δημοσ. (επεξεργασμένο)

Το Facebook ενίοτε παρουσιάζει αντίστοιχα προβλήματα. Δεν είναι πανάκεια ή αλάθητο.

Το ότι είναι επιχείρηση κολοσσός, δεν σημαίνει ότι όλα λειτουργούν στην εντέλεια ή ότι δεν μπορεί να μην έχει προβλήματα. Οπότε δεν σημαίνει ότι φταις πάντα εσύ.

Το αυτό αφορά και όλες τις μεγάλες επιχειρήσεις/οργανισμούς παγκοσμίως.

Στο δια ταύτα, από ένα crawling που σε έκανα, κάνεις κάτι "ασυνήθιστο" θα πω με το CDN ή/και hosting ή/και το Cache σου γενικότερα. Όμως, αυτό δεν σημαίνει απαραίτητα ότι ευθύνεται για το πρόβλημα με το FB. Σημαίνει ότι ενδεχομένως να παιδεύεις λίγο τον εαυτό σου. 😊

Επίσης, δεν νομίζω ότι το FB δεν μπορεί να σε κάνει crawling. Από την στιγμή που το sitemap είναι προσβάσιμο, δεν μπλοκάρεις πουθενά τον agent τους και μπορώ από πλευράς μου να σε κάνω crawling, μπορείς να αποκλείσεις ότι υπάρχει γενικότερο θέμα indexability. Κάτι άλλο ενδεχομένως να ευθύνεται.

Επεξ/σία από konet
  • 2 μήνες μετά...
fanossst Contributor

fanossst

Δημοσ.
Δημοσ.

Που κανεις host την σελίδα σου;

Ειναι shared hosting ή dedicated?

Ειναι πολύ σύνηθες οι hosting providers να σκοτωνουν τους crawlers που τους τρωνε cpu απο τα συστήματα τους για τον προφανή λόγο, να παίζουν τα sites τους.
Αν λοιπον έχεις dedicated hosting μπορεις να ζητήσεις να επιτρέπετε ο agent.
Αν είναι shared μπορεις παλι να το ζητήσεις αλλα μαλλον θα σε γραψουν.

Σε κάθε περίπτωση βεβαια να ξερεις οτι αν ειναι αυτός ο λόγος που παιρνεις το 403 τοτε λογικά τρελενει σε CPU τον  μηχανακι ο FB agent οποτε θα πρεπει να σκεφτείς και το κόστος κάποιας αναβάθμισης. 

Giannis77i Newbie

Giannis77i

Δημοσ.
Δημοσ.

Συνήθως αυτό γίνεται όπως λέει και ο fanossst παραπάνω σε φθηνά πακέτα shared hosting.

Συνήθως αυτά τα πακέτα hosting βρίσκονται σε oversold servers με 500 η και 1000 + domains με cloud Linux OS που κόβει πόρους όπως πχ php queries , i/o read write κλπ.

Όι περισσότεροι δεν το γνωρίζουν και λένε να βρήκα ευκαιρία hosting με 5 - 10 ευρώ το μήνα. Οπότε αν είσαι σε τέτοιο πακέτο δες τα ψιλά γράμματα με τα resources που σου διαθέτουν.

Αντίστοιχη περίπτωση είχα με πελάτη που έτρεχε Google ads πλήρωνε περιπου 800 -1000€  το μήνα και οι περισσότεροι επισκέπτες του έβλεπαν 503 error χωρίς να το γνωρίζει ο ίδιος .

Το πήρα χαμπάρι το έψαξα και τον ενημέρωσα.

Τον μετακόμισα σε vps και παίζει ρολόι τώρα.

Προσοχή λοιπόν αν πρόκειται για επιχείρηση μην το ρισκάρετε με φθηνά πακέτα φιλοξενίας.

 

CyberCr33p Experienced

CyberCr33p

Δημοσ.
Δημοσ. (επεξεργασμένο)

Το Facebook συχνά προκαλεί μια μορφή DDoS επίθεσης (http flood) σε διάφορους ιστότοπους, συνδεόμενο τυχαία σε χιλιάδες άρθρα (αν πρόκειται για ειδησεογραφική ιστοσελίδα) ή σε χιλιάδες προϊόντα (αν πρόκειται για e-shop). Το αποτέλεσμα είναι να καταναλώνονται υπερβολικοί πόροι σε σύντομο χρονικό διάστημα, καθώς μπορούν να σημειωθούν εκατοντάδες ή και χιλιάδες αιτήματα μέσα σε λίγα λεπτά. Συνήθως, όταν εμφανίζεται αυτό το πρόβλημα, παρατηρείται ότι πάνω από το 60-80% των ημερήσιων requests προέρχονται από τον user-agent "facebookexternalhit", ενώ το υπόλοιπο 20-40% είναι κανονικές επισκέψεις και άλλα καλά bots (Googlebot, Bing, κ.λπ.). Επιπλέον, σε τέτοιες περιπτώσεις το Facebook ενδέχεται να στέλνει δεκάδες ταυτόχρονα αιτήματα στο ίδιο URL, ακόμα και αν τα προηγούμενα έχουν ήδη επιστρέψει status code 200. Αυτός ο καταιγισμός αιτημάτων μπορεί να οδηγήσει σε καθυστερήσεις ή και διακοπή λειτουργίας (downtime), ακόμα και σε αξιόλογου επιπέδου hosting χωρίς περιορισμούς από το CloudLinux.

Ο user-agent "facebookexternalhit" υποτίθεται ότι χρησιμοποιείται, βάσει της περιγραφής του ίδιου του Facebook, όταν κάποιος μοιραστεί έναν σύνδεσμο στο Facebook, ώστε να ανακτήσει τον τίτλο και την εικόνα για την προεπισκόπηση του άρθρου, τα οποία κατόπιν αποθηκεύονται σε cache. Ωστόσο, φαίνεται ξεκάθαρα πως το Facebook χρησιμοποιεί τον ίδιο user-agent για την εκπαίδευση του AI του, παρότι θεωρητικά υπάρχει άλλος user-agent ("meta-externalagent") για αυτόν τον σκοπό.

Η πιο λογική εξήγηση για τη χρήση του “facebookexternalhit” για εκπαίδευση του ΑΙ τους είναι ότι οι webhosts αδυνατούν να το αποκλείσουν εντελώς, καθώς κάτι τέτοιο θα εμπόδιζε την εμφάνιση της προεπισκόπησης (τίτλος και εικόνα) όταν κοινοποιείται ένα URL στο Facebook. Με άλλα λόγια, το Facebook εκμεταλλεύεται την ανάγκη των πελατών των webhosts να εμφανίζονται σωστά τα δημοσιευμένα ποστ τους, αναγκάζοντάς τους να δέχονται αυτά τα μαζικά αιτήματα. Επίσης είναι ξεκάθαρο ότι αυτό αποτελεί μορφή διαδικτυακού "εκβιασμού".

Η μοναδική, ας το πούμε, "λύση" είναι η εφαρμογή rate limiting. Σε περίπτωση που η κατάσταση κλιμακωθεί υπερβολικά, αποκλείουμε προσωρινά ορισμένα από τα αιτήματα, προστατεύοντας έτσι τους servers από υπερφόρτωση και τις ιστοσελίδες από καθυστερήσεις ή και διακοπές λειτουργίας.

Το συγκεκριμένο πρόβλημα με τις «επιθέσεις DDoS» από το Facebook υφίσταται πάνω από έναν χρόνο σε πολλούς ιστότοπους, είτε πρόκειται για e-shops είτε για ειδησεογραφικά sites.

Από την περίοδο της πανδημίας Covid και έπειτα, το Facebook έχει καταργήσει το τμήμα τεχνικής υποστήριξής του, οπότε δεν είναι εφικτό να επικοινωνήσει κανείς με κάποιον εκπρόσωπό του. Πολλοί έχουν δημοσιεύσει για το ζήτημα σε forum του Facebook, όμως η εταιρεία δεν δείχνει να ενδιαφέρεται για το πρόβλημα που προκαλεί και δεν έχει απαντήσει σε κανέναν. Εξάλλου γιατί να ασχοληθούν όταν αυτοί για να συνδεθούν με το "facebookexternalhit" χρειάζονται ελάχιστους πόρους για το κάθε request από τη δικιά τους υποδομή, ενώ από την πλευρά της υποδομής που φιλοξενείται η σελίδα χρειάζονται πολλές φορές περισσότεροι πόροι.

Ενδεικτικά στέλνω κάποια links με αναφορές για αυτό το πρόβλημα:

1. https://www.facebook.com/groups/WordPressGreekCommunity/posts/8063658323657310/

2. https://developers.facebook.com/support/bugs/1894024420610804/

3. https://developers.facebook.com/support/bugs/385275384858817/

4. https://stackoverflow.com/questions/9773954/why-facebook-is-flooding-my-site

5. https://webmasters.stackexchange.com/questions/113178/facebook-crawler-with-no-user-agent-spamming-our-site-in-possible-dos-attack

6. https://developers.facebook.com/community/threads/752652313583613/

7. https://developers.facebook.com/community/threads/1101311951307153/

8. https://developers.facebook.com/community/threads/3050340598328665/

9. https://developers.facebook.com/community/threads/1396267727883151/

10. https://developers.facebook.com/community/threads/974370274080457/

11. https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/issues/577

Επεξ/σία από CyberCr33p
  • Thanks 1
Giannis77i Newbie

Giannis77i

Δημοσ.
Δημοσ.

Facebook είναι ότι θέλει κάνει.

Ddos δεν είναι, θα το έλεγα λαίμαργο μποτάκι.

Υπάρχουν πάρα πολλά αντίστοιχα ρομποτακια που καταναλώνουν πολλούς πόρους.

Πρόσφατα έχουν βγει και τα μποτάκια από το Ai που και αυτά είναι παραπάνω από λαίμαργα, αχόρταγα θα έλεγα.

Δυστυχώς όσο περισσότερο γίνεται "διάσημη" η κάθε ιστοσελίδα τέτοια παρατράγουδα δεν τα γλυτώνεις οπότε πρέπει να είσαι προετοιμασμένος για αντίστοιχα peak σε πόρους.

 

CyberCr33p Experienced

CyberCr33p

Δημοσ.
Δημοσ.

Είτε το χαρακτηρίσουμε ως DDoS είτε ως κάτι άλλο, τα δεδομένα παραμένουν τα ίδια. Το "facebookexternalhit" δεν εκτελεί τη λειτουργία για την οποία υποτίθεται ότι προορίζεται, αλλά, καμουφλαρισμένα, χρησιμοποιείται για να εκπαιδεύσει το AI τους. Στέλνει χιλιάδες αιτήματα ανά λεπτό σε κάθε domain από πολλαπλές IP,  προς τυχαία URL, συμπεριλαμβανομένων και πολύ παλιών που κανένας δεν θα επισκεπτόταν, και συχνά στο ίδιο URL επαναλαμβανόμενα. Eίναι δηλαδή και κακοσχεδιασμένο, αφού η συγκαλυμμένη λειτουργία του δεν εκτελείται σωστά, επαναλαμβάνοντας αιτήματα στα ίδια URL.

Αντιθέτως, τα υπόλοιπα bots που βασίζονται σε AI, παρά το γεγονός ότι μπορεί να είναι ενοχλητικά, διαθέτουν συγκεκριμένο user-agent, που σου επιτρέπει να τα μπλοκάρεις εύκολα αν το επιθυμείς.

  • Thanks 1
Giannis77i Newbie

Giannis77i

Δημοσ.
Δημοσ.

Χαμός γίνεται αγαπητέ. Έχουμε βρει μπελά .

Και robots.txt με 1000 γραμμές να βάλεις δεν καταλαβαίνουν τίποτα.

Είναι σαν τη Λερναία Ύδρα γεννάνε κάθε μέρα.

 

 

Screenshot_20250113_003153.jpg

Δημιουργήστε ένα λογαριασμό ή συνδεθείτε για να σχολιάσετε

Πρέπει να είστε μέλος για να αφήσετε σχόλιο

Δημιουργία λογαριασμού

Εγγραφείτε με νέο λογαριασμό στην κοινότητα μας. Είναι πανεύκολο!

Δημιουργία νέου λογαριασμού

Σύνδεση

Έχετε ήδη λογαριασμό; Συνδεθείτε εδώ.

Συνδεθείτε τώρα
 Share
Προς την λίστα θεμάτων
  • Δημιουργία νέου...