Rsync traffic overhead

[DjBac]

Πρόσφαρα σέταρα rsync από ένα remote server (για κατεβαστήρι) σε NAS Server σπίτι!

 

Αυτό που παρατηρώ όμως είναι πως ενώ έχω full download speed μου εξαντλεί και το upload speed, που σαν συνέπεια έχει όσοι υπολογιστές είναι πάνω σε αυτήν την adsl να σέρνονται (και με QoS ρυθμισμένο)

 

Υπάρχει κάποια ρύθμιση για να το βελτιώσω? Τι χρειάζεται όλο αυτό το upload speed?

[DjBac]

Δεν γνωρίζει κανείς να βοηθήσει εμένα τον δυστυχισμένο?? :D

[nske]

- Με το Rsync συγχρονίζεις αρχεία από ποια πηγή σε ποιο προορισμό; Το δίκτυο που εμφανίζει το πρόβλημα είναι η πηγή ή ο προορισμός;

 

- Το QoS για να μην κάνει τη δουλειά του μήπως δεν έχει ρυθμιστεί σωστά;

 

- Το πρόβλημα παρατηρείται είτε κάνεις το συγχρονισμό προς κενή τοποθεσία είτε προς τοποθεσία που περιέχει ενημερωμένες εκδόσεις των αρχείων; Πρόκειται για πολλά και μικρά αρχεία;

 

- Με τη συμπίεση του rsync (-z) υπάρχει διαφορά;

 

- Με την --bwlimit ;

[DjBac]

Συγχρονίζω αρχεί από ένα virtual private server σε linux server σπίτι.

Το δίκτυο που εμφανίζει το πρόβλημα είναι σπίτι, ενώ κατεβάζω από τον VPS με full speed, για κάποιο λόγο το σπίτι του δίνει και full upload.

 

Το QoS είναι ρυθμισμένο, μιας και για voip μου δουλεύει πολύ καλά. Απλά όταν στην adsl το upload είναι full, τότε γονατίζει.

 

Με τη συμπίεση το ίδιο.

 

το bwlimit δεν το δοκίμασα, γιατί αυτό λογικά θα περιορίζει το bandwidth που θα παίρνω από τον vps, σωστά?

 

Είναι λογικό ενώ μου δίνει ο vps να του δίνω και εγώ? Αυτό δεν μπορώ να καταλάβω.

[nske]

Η Rsync, για να μπορεί να συγχρονίζει αρχεία μεταφέροντας μόνο τις διαφορές τους (binary diffs), αναγκαστικά πρέπει να στέλνει και κάποια δεδομένα για τα τοπικά αντίγραφα. Γι' αυτό ρώτησα αν το πρόβλημα υπάρχει και όταν συγχρονίζεις προς κενή τοποθεσία.

 

Το QoS δεν είναι κάτι τόσο απλό ώστε να ρυθμίζεται αυτόματα και να παίζει παντού, αν θέλεις να εγγυηθείς bandwidth για συγκεκριμένο είδος traffic διαχωρίζοντάς το από κάποιο άλλο είδος traffic πρέπει να κάνεις συγκεκριμένη ρύθμιση.

[DjBac]

Το καταλαβαίνω ότι πρέπει να στέλνει πίσω και κάποια δεδομένα, αλλά τόσο πολύ. Υπάρχει κάποια ρύθμιση για αυτό? ή κάποιος άλλος τρόπος?

 

Έχεις να προτείνεις κάτι για το QoS για το rsync συγκεκριμένα?

[nske]

Σε μένα, για τη λήψη του kernel sources tree σε κενή τοποθεσία μέσω rsync με ~1650ΚΒ/S, χρησιμοποιούνται ~40K/S upload, ουσιαστικά όσο θέλει το TCP.

Για τον συγχρονισμό με διαφορετική έκδοση του tree υπάρχουν πολλά spikes στο upload. Αυτά εξαρτώνται από το πλήθος και το μέγεθος των αρχείων (π.χ. στην περίπτωση του kernel tree είναι πολύ συχνά, αν τα αρχεία ήταν λιγότερα και μεγαλύτερα δε θα ήταν τόσο συχνά).

 

Αυτά τα spikes δε νομίζω ότι μπορείς να τα αποφύγεις χωρίς Traffic Shaping/QoS.

 

Για το QoS, θα μπορούσες με το TC του iproute2 να περιορίσεις το upload bandwidth, με βάση κάποιο κριτήριο όπως η διεύθυνση ή η destination port του rsync server ή/και να βάλεις το traffic που σε ενδιαφέρει να προστατέψεις σε κάποιο queue με εγγυημένο bandwidth. Ένα σχετικό θέμα:

http://www.insomnia.gr/forum/showthread.php?t=228651

[DjBac]

Για παράδειγμα τώρα που το κοίταξα για αρχείο 300mb με 1200kb/s χρησιμοποιεί 98kb/s upload! Υπερβολικό δεν είναι?

 

Περιόρισα για παράδειγμα το upload στα 500kbit, έτσι όμως το download πέφτει. Απ'οσο λοιπόν καταλαβαίνω δεν υπάρχει λύση όσον αφορά στο rsync.

 

Υπάρχει κάποιος άλλος τρόπος να κάνω απλό copy καινούριων αρχείων αυτόματα εκτός rsync? Unison ίσως? Αυτό το ίδιο πρόβλημα θα έχει?

[the_eye]

δοκίμασε να κάνεις wget τα αρχεία να δεις αν συμβαίνει το ίδιο με το upload.

Αν ναι τότε είναι τα πακέτα επιβεβαίωσης τους tcp/ip που δημιουργούν την κίνηση.

[DjBac]

Δεν ξέρω αν έχει καμια σχέση, πάντως με ftp σίγουρα δε συμβαίνει κάτι τέτοιο!

 

Δοκιμάζω με wget και ενημερώνω!

 

Ευχαριστώ πολύ!

[nske]

Αν θέλεις να αντιγράφονται μόνο νέα αρχεία που δεν υπάρχουν, δοκίμασε την παράμετρο --ignore-existing της rsync. Με αυτή λογικά θα παρακάμπτονται οι επώδυνοι έλεγχοι στο περιεχόμενο κάθε αρχείου.

Το Unison δεν το έχω δοκιμάσει, αλλά δε νομίζω να έχει λιγότερο overhead -μάλλον το αντίθετο.

[firewalker]

Επίσης υπάρχει και η επιλογή --size-only που κοιτά μόνο το μέγεθος.