[C++] - Γρήγορη ανάγνωση μεγάλων .csv

[migf1]

Ένα γράφημα αντιπροσωπεύουν ουσιαστικά(το δίκτυο του ΟΑΣΑ συγκεκριμένα). Εχω 3 αρχεία που διαβάζω - τα αλλα 2 ειναι αρκετά μικρότερα - το μεγάλο εχει τις ακμές ουσιαστικά.

 

Επίσης δεν τα κάνω όλα int, αναλόγως, τα ID των κόμβων τα κάνω int γιατι γινονται συχνά συγκρίσεις, και νομιζω ειναι πιο γρήγορο να γινονται αν ειναι int παρα string(ή οχι ; ). Μερικά τα κάνω floats, άλλα μένουν ως string κτλ.

 

Οπότε μέσα στο loop κάνεις πολύ περισσότερα πράγματα από ότι υπέθεσα αρχικά (π.χ. επιλεκτική μετατροπή των tokens σε διαφορετικά types, εισαγωγή τους σε πιο σύνθετη δομή από απλά έναν πίνακα από λέξεων, κλπ). Άρα δικαιολογούνται οι αυξημένοι χρόνοι.

 

ΥΓ. f_read(), f_write() κλπ δεν πρόκειται να γράψω, γιατί δεν υπάρχει λόγος να κάτσω να κάνω χειροκίνητα κανονικοποίηση των binary-bytes σε text-bytes όταν ανοίγουμε το αρχείο σε text mode (υπάρχουν ήδη οι fread(), fwrite() που κι αυτές τις low-level ρουτίνες καλούν).