Μεταφορά πολλών και μικρών αρχείων

[camel555]

Καλησπέρα, με ενδιαφέρει το συχνό backup πολλών μικρών αρχείων και συγκεκριμένα 10.000+ αρχεία των 100kb (max) έκαστο τα περισσότερα, και συνολικά περίπου 6 gb. Επειδή έχω δοκιμάσει αρκετά USB sticks (sandisk, kingston, patriot κλπ) και μηχανικούς δίσκους (WD, toshiba, adata κλπ), όλα εννοείται σε usb 3, σκέφτηκα μήπως η λύση ssd σε εξωτερική θήκη, θα μπορούσε να βελτιώσει την ταχύτητα μεταφοράς. Ή ο ssd θα περιορίζεται από το max της usb 3.0? Καμία ιδέα?

[Arkin]

Σε 4K Write οι πλειοψηφια των ssd ριχνει ταχυτητα στα πατωματα. Εκει γονατιζουν τα παντα. Ενας nvme θα ηταν καλυτερη λυση αλλα μονο εσωτερικος πανω στη μητρικη.

[camel555]

6 λεπτά πριν, Arkin είπε

Σε 4K Write οι πλειοψηφια των ssd ριχνει ταχυτητα στα πατωματα. Εκει γονατιζουν τα παντα. Ενας nvme θα ηταν καλυτερη λυση αλλα μονο εσωτερικος πανω στη μητρικη.

Το pc είναι ένας intel nuc με celeron dual core N3050, 8gb ddr3 και 120ssd, win 10 pro. Από αυτόν θέλω να αντλώ τα αρχεία από την usb3 θύρα του.

[fujitsuA530]

Όλα αυτά τα αρχεία δεν θα ήταν ευκολότερο και ταχύτερο να τα παίρνεις με κάποιο πρόγραμμα συγχρονισμού φακέλων ή με το file history των windows; Ή θέλεις οπωσδήποτε κάθε φορά να γράφεις τα 6GB από την αρχή;

[darkman]

1 ώρα πριν, camel555 είπε

Καλησπέρα, με ενδιαφέρει το συχνό backup πολλών μικρών αρχείων και συγκεκριμένα 10.000+ αρχεία των 100kb (max) έκαστο τα περισσότερα, και συνολικά περίπου 6 gb. Επειδή έχω δοκιμάσει αρκετά USB sticks (sandisk, kingston, patriot κλπ) και μηχανικούς δίσκους (WD, toshiba, adata κλπ), όλα εννοείται σε usb 3, σκέφτηκα μήπως η λύση ssd σε εξωτερική θήκη, θα μπορούσε να βελτιώσει την ταχύτητα μεταφοράς. Ή ο ssd θα περιορίζεται από το max της usb 3.0? Καμία ιδέα?

Ποσα MB/sec εχεις μεχρι τωρα με της δόκιμες που εκανες ? γιατι 10.000 ειναι πολλα και σιγουρα θα σου ριξουν την ταχύτητα οτι και να βάλεις .

[Επισκέπτης]

Με ethernet θα ήταν καλύτερα.

[camel555]

2 ώρες πριν, fujitsuA530 είπε

Όλα αυτά τα αρχεία δεν θα ήταν ευκολότερο και ταχύτερο να τα παίρνεις με κάποιο πρόγραμμα συγχρονισμού φακέλων ή με το file history των windows; Ή θέλεις οπωσδήποτε κάθε φορά να γράφεις τα 6GB από την αρχή;

Σίγουρα θα ήταν ευκολότερο με τους τρόπους που λες αλλά θέλω να γράφω κάθε φορά όλα τα αρχεία από την αρχή.

2 ώρες πριν, darkman είπε

Ποσα MB/sec εχεις μεχρι τωρα με της δόκιμες που εκανες ? γιατι 10.000 ειναι πολλα και σιγουρα θα σου ριξουν την ταχύτητα οτι και να βάλεις .

Στην αρχή ξεκινά με 20-25mb/sec και μετά από λίγο γονατίζει σε kb, έχω δει και 2kb/sec... Επί το πλείστον είναι αρχεία word, σε αυτά σέρνεται, pdf etc τα μεταφέρει σχετικά γρήγορα.

2 ώρες πριν, elorant είπε

Με ethernet θα ήταν καλύτερα.

Ποια συσκευή έχεις υπόψη σου? Δεν πάει κάπου το μυαλό μου (εξωτερικό δίσκο με ethernet...)

[Επισκέπτης]

Είτε βρίσκεις μια εξωτερική θήκη για δίσκο που να έχει σύνδεση Ethernet, είτε παίρνεις ένα μικρό NAS. Ή αν έχεις κανά παλιό υπολογιστή μπορείς να τον στήσεις ως fileserver. Βέβαια για μόνο 6GB όλο αυτό είναι υπερβολή.

Δεν καταλαβαίνω όμως γιατί δεν τρέχεις ένα απλό synchronize όπου σου πρότειναν και προηγουμένως. Ποιος ο λόγος να αντιγράφεις 6GB κάθε φορά;

[Jiakometi]

Όπως λέει και ο @elorant θα ήταν πανέυκολο (μετά την αρχική εγγραφή) να συγχρονίζεις τα αρχεία σου, με πολύ λίγα writes.

Για να επιμένεις να το κάνεις, κάτι θα ξέρεις περισσότερο για λεπτομέρειες που εμείς αγοούμε. 

Σε αυτήν την περ’ιπτωση νομίζω ότι οι συνολικοί πόροι του συστήματος σου είναι λίγο χαμηλοί (CPU/RAM) και για αυτό το σύστημα γονατίζει.

Σε κάθε περίπτωση, είτε θα πας σε λύση NAS, με ότι συνεπάγεται αυτό, ή θα πάρεις έναν τέτοιο  controller, με USB - C και έναν τέτοιο  δίσκο ώστε να πετύχεις την μέγιστη ταχύτητα διασύνδεσης.

[atheatos]

https://www.skroutz.gr/s/12276717/Unitek-Y-3371.html

Πιστευω 2 ssd σε raid 0 να μετριαζοταν το προβλημα της ταχυτητας.(edit : ταχύτητα εγγραφής,μικρών αρχείων) 

YΓ. θα χρειαστείς μάλλον και ενα καλωδιο σαν και αυτό https://www.amazon.de/AmazonBasics-USB-Kabel-Generation-Weiß/dp/B01GGKYS6E/ref=sr_1_23?s=computers&ie=UTF8&qid=1549824052&sr=1-23&keywords=usb-c+to+usb+3

Η μεγιστη ταχυτητα θα περιοριζεται λογω usb 3 αλλα πιστευω θα εχεις καπως καλύτερες ταχυτητες μικρών αρχείων.

Επεξ/σία 10 Φεβρουαρίου 2019 από atheatos

[Επισκέπτης]

Update. Τώρα που το ξανασκέφτηκα μπορείς να δοκιμάσεις το εξής. Βάζεις σε ένα rar όλα τα αρχεία κι έτσι έχεις να μεταφέρεις μόνο ένα μεγάλο αρχείο. Γλυτώνεις κι ένα 20%-30% του αρχικού μεγέθους από τη συμπίεση. Λογικά σε usb-3 σύνδεση δεν πρέπει να σου παίρνει πάνω από μερικά λεπτά.

[atheatos]

7 ώρες πριν, Arkin είπε

Σε 4K Write οι πλειοψηφια των ssd ριχνει ταχυτητα στα πατωματα. Εκει γονατιζουν τα παντα. Ενας nvme θα ηταν καλυτερη λυση αλλα μονο εσωτερικος πανω στη μητρικη.

Δεν ξερω ποιο nuc εχει αλλα οντως καλυτερα θα ηταν να βαλει με καποιο τροπο εναν τετοιον ssd με μεγαλα 4k read speeds μεσα ,γιατι τον προβλημα ειναι στο read του εσωτερικού πιστευω, παρά στο write του εξωτερικού.

Επεξ/σία 10 Φεβρουαρίου 2019 από atheatos

[darkman]

18 ώρες πριν, camel555 είπε

Στην αρχή ξεκινά με 20-25mb/sec και μετά από λίγο γονατίζει σε kb, έχω δει και 2kb/sec... Επί το πλείστον είναι αρχεία word, σε αυτά σέρνεται, pdf etc τα μεταφέρει σχετικά γρήγορα.

 

 Το πρόβλημα σου ετσι οπως το γραφεις δεν ειναι η συσκευή που συνδεεις για την αντιγραφη αλλα η αδυναμία του μηχανήματος σου να διαχειριστεί αυτόν τον ογκο τον δεδομένων  οτι εξωτερικά και να βαλεις παλι το ιδιο θα ειναι .

[prixtis]

Δεν είναι ο όγκος, αλλά το μεγάλο πλήθος των αρχείων. Αν αυτά τα 6GB ήταν ένα αρχείο, η μεταφορά θα γινόταν πολυ πιο γρήγορα. Ο λόγος της καθυστέρησης είναι η επαναλαμβόμενη εγγραφή στο FAT/MFT. Και SSD/NVMe να έχεις πάλι θα έχεις το ίδιο πρόβλημα. Η μόνη βιώσιμη λύση όπως προαναφέρθηκε είναι ο συγχρονισμός σε άλλον δίσκο. Ο πρώτος συγχρονισμός θα κρατήσει αρκετή ώρα, αλλά από και πέρα όταν προστίθεται, διαγράφεται ή τροποποιείται κάποιο αρχείο, θα γίνεται άμεσα.

Ισως θα μπορούσες να δοκιμάσεις τα αρχεία όλα να τα ρίξεις σε ένα .7z αρχείο χωρίς συμπίεση, και να μεταφέρεις μόνο το .7z αρχείο.

[camel555]

Σας ευχαριστώ όλους για τις απαντήσεις σας! Θα δοκιμάσω από τα εύκολα (και δωρεάν) όπως το ζιπάρισμα και βλέπουμε. Ο λόγος που δεν θέλω λύσεις τύπου "σύγκριση αρχείων+φακέλων και αντιγραφή μόνο σε όσα υπάρχουν αλλαγές", είναι ότι δεν μπορώ να ρισκάρω το ενδεχόμενο λάθους, για αυτό προτιμώ τον παραδοσιακό τρόπο copy - paste 🤨