Workstation για υπολογισμούς

[ilos]

Για μένα το πραγματικό ερώτημα είναι αν χρειάζεσαι ECC μνήμες. Και από την στιγμή που το πρόγραμμα είναι βασισμένο σε fortran, αποκλείουμε τους TR. Άρα είτε πας στη σύν8εση του Pnick αν δεν απαιτείται ECC ή κοιτάς για xeon servers αν είναι απαραίτητη η ECC.

[lampros321]

Ως τώρα έχει τρέξει σε απλές RAM και λειτουργεί.
Δεν ξέρω εάν θα υπάρξει κανένα όφελος από τις ECC RAM. 
Δηλαδή θα ήταν μάλλον πείραμα ... 
Εσύ θεωρείς πως μπορεί να έχει κάποια σημαντική αλλαγή σε ECC ?

[tmjuju]

Είναι λογικό να θέλουμε ECC όταν οι υπολογισμοί καταναλώνουν πολύ μνήμη και παίρνουν πολύ χρόνο.

Γενικά οι TR είναι η καλύτερη λύση αυτή τη στιγμή από πλευράς κόστους για ένα καλό workstation. Στην θέση σου εκεί θα πήγαινα, με ένα καλό nvme και όση μνήμη μπορείς να σπρώξεις.

[pmav99]

@lampros321

Μόνος σου είπες ότι το πρόγραμμα το χρησιμοποιούν 50 άτομα στον κόσμο. Είτε θα βρεις άτομα που έχουν εμπειρία  πάνω στο πρόγραμμα, είτε θα bench-άρεις μόνος σου. Μην περιμένεις definitive απαντήσεις στο insomnia.

Από εκεί και πέρα, οι threadripper έχουν σίγουρα καλύτερο VFM, ο intel 7980 θα σου δώσει λογικά σε απόλυτες τιμές το καλύτερο performance. Αν το πρόγραμμα όντως κάνει scale με τους πυρήνες, τότε EPYC/Xeon θα δώσουν ακόμα καλύτερο performance, αλλά μιλάς για άλλου μεγέθους budget πλέον (πχ $10K+).

Friendly tip: Αφού τα χρήματα δεν είναι πρόβλημα, just go all in και μην το ψειρίζεις.

Friendly tip 2: Ό,τι και να πάρεις, η δουλειά σου θα γίνει χωρίς θέμα

BTW μίλα και με αυτούς, είναι γνωστοί στον χώρο: https://www.pugetsystems.com/

 

[Manjaro]

Στις 16/1/2018 στις 1:35 ΜΜ, ilos είπε

Τώρα μεταξύ μας OP το να ζητάς βοήθεια από το insomnia για τόσο εξειδικευμένα workloads, είναι σαν να πάει πιλότος της F1 να εξεταστεί για δίπλωμα για παπάκι.

Αν πχ πες πεταχτεί κάποιος και πει ο καλύτερος είναι αυτός για έρευνα:

https://ark.intel.com/products/95830/Intel-Xeon-Phi-Processor-7290-16GB-1_50-GHz-72-core

θα πεταχτεί μαζί και καμία κλ@νιά να μας πει που πας με 1.5 GHz ρολόι το 2018 ...

H θα πεταχτεί μια άλλη κλανιά (εγώ :P) και θα πει πως εξαρτάται και για την χρήση που ζητάει ο OP μάλλον δεν θα ήταν ιδανική επιλογή   https://crd.lbl.gov/assets/Uploads/pdsec17-bigstick.pdf

@lampros321 Αν το κόστος όντως δεν αποτελεί θέμα ρίξε μια ματιά εδώ https://www.servethehome.com/dual-amd-epyc-7601-processor-performance-and-review-part-1/

Επεξ/σία 18 Ιανουαρίου 2018 από Manjaro

[lampros321]

Πάντως αυτό με τους πυρήνες μου το είχε πει και η γυναίκα μου (που δουλεύει με το πρόγραμμα).

Πως είναι πολύ σημαντικοί γιατί μπορεί να τους χρησιμοποιήσει το πρόγραμμα κάνοντας τον υπολογισμό πιο γρήγορο. 
Αλλά μετά από έναν αριθμό δεν βελτιώνουν και πολύ τον τελικό χρόνο (βέβαια η χρυσή τομή ή ο μέγιστος ωφέλιμος αριθμών πυρήνων δεν είναι ακριβώς γνωστός).

Αλλά μιλάμε πάντα για περισσότερους από 10 σίγουρα. 
βλέπω ο @Manjaro έβαλε μια μελέτη που λέει κάτι αντίστοιχο, οπότε αυτό ίσως είναι γενικότερο ...

Η λύση που μου έδωσε ο @pnick είναι μια χαρά και κάτι τέτοιο θα ζητήσει η γυναίκα μου. 

Σας ευχαριστώ όλους για τις απαντήσεις σας! 

Επεξ/σία 18 Ιανουαρίου 2018 από lampros321

[Manjaro]

43 λεπτά πριν, lampros321 είπε

Πάντως αυτό με τους πυρήνες μου το είχε πει και η γυναίκα μου (που δουλεύει με το πρόγραμμα).

Πως είναι πολύ σημαντικοί γιατί μπορεί να τους χρησιμοποιήσει το πρόγραμμα κάνοντας τον υπολογισμό πιο γρήγορο. 
Αλλά μετά από έναν αριθμό δεν βελτιώνουν και πολύ τον τελικό χρόνο (βέβαια η χρυσή τομή ή ο μέγιστος ωφέλιμος αριθμών πυρήνων δεν είναι ακριβώς γνωστός).

Αλλά μιλάμε πάντα για περισσότερους από 10 σίγουρα. 
βλέπω ο @Manjaro έβαλε μια μελέτη που λέει κάτι αντίστοιχο, οπότε αυτό ίσως είναι γενικότερο ...

Η λύση που μου έδωσε ο @pnick είναι μια χαρά και κάτι τέτοιο θα ζητήσει η γυναίκα μου. 

Σας ευχαριστώ όλους για τις απαντήσεις σας! 

Η λύση που αναφέρεις δεν είναι μια χαρά... είναι απλά φθηνότερη (απο την ιδανική λύση dual epyc ή xeon platinum)

Αν την λες μια χαρά λόγω της χαμηλότερης τιμής τότε πάλι δεν είναι μια χαρά γιατι αν ο σκοπός είναι να κάνουμε οικονομία έχει κάποια ακριβά και ανούσια/ουδέτερα για την χρήση εξαρτήματα οπότε αν και φθηνότερη λύση απέναντι των επαγγελματικών συνδυασμών είναι ακριβή για αυτό που προσφέρει στο αντικείμενο που σκοπεύεις να κάνεις χρήση (αλλά και γενικότερα σε CPU intensive χρήση πχ η GTX 1050 ti και ο optane είναι εντελώς περιττά εξαρτήματα και γενικά αν και απο μόνα τους τα κομμάτια ειναι καλά στην κατηγορία τους ο συνδυασμός τους στο σύστημα είναι άτοπος και προσδίδει περιττά έξοδα.) 

Επεξ/σία 18 Ιανουαρίου 2018 από Manjaro
τυπογραφικά/εκφραστικά corrections

[lampros321]

Να επαναλάβω πως πρέπει να είναι workstaion (που μπορεί να χρησιμοποιηθεί ως pc) τα χρήματα επίσης να είναι κάτω από 10000 και καλύτερα να είναι στα 4 με 7 χιλιάρικα.
Ιδανική λύση προφανώς και είναι ένα cluster ( το οποίο υπάρχει και είναι διαθέσιμο). Στο workstaion θα εκτελούνται πιο μικρή (καθημερινοί) υπολογισμοί. 

* θα πάρω μάλλον πιο μικρή κάρτα γραφικών, απλά ας έχει 2GB μνήμης για να μην υπάρξει καμιά περίπτωση να μοιραστεί μνήμη με την CPU μιας και η μνήμη είναι κρίσιμο μέγεθος για τον σκοπό. 
* τώρα η SSD optane δεν νομίζω πως είναι περιττή...
* τέλος δεν έχω καμιά ιδέα επί του θέματος αλλά φοβάμαι την χρήση δυο επεξεργαστών (νομίζω πως υπάρχει ο κίνδυνος να μην υπάρξει πρακτικό όφελος),
απλά νομίζω πως ούτως η άλλως μετά υπάρχει ένα άλμα τιμής που πάει κοντά η περισσότερο από τα 10 χιλιάρικα 

Επεξ/σία 18 Ιανουαρίου 2018 από lampros321

[Manjaro]

27 λεπτά πριν, lampros321 είπε

Να επαναλάβω πως πρέπει να είναι workstaion (που μπορεί να χρησιμοποιηθεί ως pc) τα χρήματα επίσης να είναι κάτω από 10000 και καλύτερα να είναι στα 4 με 7 χιλιάρικα.
Ιδανική λύση προφανώς και είναι ένα cluster ( το οποίο υπάρχει και είναι διαθέσιμο). Στο workstaion θα εκτελούνται πιο μικρή (καθημερινοί) υπολογισμοί. 

* θα πάρω μάλλον πιο μικρή κάρτα γραφικών, απλά ας έχει 2GB μνήμης για να μην υπάρξει καμιά περίπτωση να μοιραστεί μνήμη με την CPU μια και η μνήμη είναι κρίσιμο μέγεθος για τον σκοπό. 
* τώρα η SSD optane δεν νομίζω πως είναι περιττή...
* τέλος δεν έχω καμιά ιδέα επί του θέματος αλλά φοβάμαι την χρήση δυο επεξεργαστών (νομίζω πως υπάρχει ο κίνδυνος να μην υπάρξει πρακτικό όφελος),
απλά νομίζω πως ούτως η άλλως μετά υπάρχει ένα άλμα τιμής που πάει κοντά η περισσότερο από τα 10 χιλιάρικα 

1) ενα dual epyc σύστημα εκεί βγαίνει 7 με 10κ (και φυσικά ειναι κατά πολύ ταχύτερο αλλά και καταλληλότερο γιατι μεταξύ άλλων υποστηρίζει αυτά που δεν υποστηρίζει ο i9 και στα οποία θα αναφερθώ παρακάτω. )

2) To TDP του i9 είναι 165 watt ενώ του EPYC για παράδειγμα με τα διπλάσια threads καταναλώνει 180 άρα το κόστος ενέργειας per thread όταν είναι στο 100% είναι μεγαλύτερο.

ο ι9 δεν υποστηρίζει ECC μνήμες (τις οποίες χρειάζεσαι για να έχεις error free αποτελέσματα ειδικά αν μιλάμε για πολλές πράξεις non stop σε βάθος χρόνου) 

ο i9 υποστηρίζει μόνο εως 128 GB ram (ενώ στην περίπτωσή σου και ειδικά αφού θα έχεις πολλούς πυρήνες όσο περισσότερη RAM τόσο το καλύτερο) 

ο i9 εχει χαμηλότερη cache 

ο i9 υποστηρίζει μόνο 4 κανάλια ram ενώ ο epyc 8 

ο i9 υποστηρίζει 2666 Mhz μνήμες (οπότε η αγορά 3000 Mhz είναι και αυτή περιττό έξοδο αν και μικρό) 

ο i9 είναι καλός επεξεργαστής γενικά αν δεν σε ενδιαφέρουν τα απο πάνω και θέλεις να κάνεις οικονομία αποφεύγοντας ακριβότερες επαγγελματικές λύσεις(αν και εφόσον σκεφτόμαστε την οικονομία καλύτερη επιλογή θα ήταν ενας threadripper λόγω πολύ χαμηλότερης τιμής) 

3) Ο optane είναι περιττός γιατί πολύ απλά α) έχει μικρό χώρο αποθήκευσης ενώ εσύ χρειάζεσαι μεγάλο β) δεν χρειάζεσαι ταχύτητα σε τυχαίες προσπελάσεις γιατι τα αρχεία σου θα είναι "μονοκόμματα" και τεράστια χρειάζεσαι απλά ταχύτητα στο sequential read η εγγραφή των δεδομένων θα είναι σχετικά αργή έτσι και αλλιώς γιατι θα εξαρτάται απο τον χρόνο που θα χρειαστεί ο υπολογιστής για να τελειώσει τους εκάστοτε υπολογισμούς. Επίσης χρειάζεσαι 10gbit lan για να μεταφέρεις πιο εύκολα τα αρχεία (εκτός αν έχεις κάπου bottleneck πχ τα αρχεία θα σηκωθούν σε εξωτερικό server και η σύνδεση σου στο internet είναι χαμηλή) οπότε τα χρήματα του optane καλύτερα να τα επενδύσεις σε κάτι τέτοιο. 

4) Δεν είναι ανάγκη να πάρεις δύο επεξεργαστές μπορείς να πάρεις έναν απλά το NU και συναφή προγράμματα έχουν καλό scaling οπότε όσα περισσότερα threads τόσο το καλύτερο.

Αν θέλεις bang for the buck στα 4k θα μπορούσα να σου κάνω μια ενδεικτική λίστα (και την συζητάς και με άλλους πχ απο εκεί που θα αγοράσεις τα κομμάτια ή εδώ στο forum κτλ) αλλά μετά το γεύμα και την ταινία που θα δω ελπίζω να μην επειγει   

Επεξ/σία 18 Ιανουαρίου 2018 από Manjaro

[lampros321]

Όχι δεν επείγει.
 

Ναι αν μπορείς θα ήθελα να μου προτείνεις κάποιο σύστημα.
Πάντως αναφέρω επίσης 
Το κόστος ενέργειας συνολικά και per thread, δεν ενδιαφέρει καθόλου.
Ο υπολογιστής θα είναι προφανώς στο πανεπιστήμιο (άρα πάρα πολύ γρήγορη σύνδεση) 
Αλλά επίσης δεν ενδιαφέρει και πολύ αφού δεν υπάρχει καμιά ανάγκη να μεταφερθούν τα δεδομένα. 
Τέλος το λέω ξανά να μην είναι server, πρόκειται ο υπολογιστής να είναι στο γραφείο...

Και επίσης να είναι στα 4 με 6Κ η τιμή. 

[ilos]

Ο μόνος λόγος που δε προτείναμε TR και κατ'έπέκταση epyc εξαρχής είναι επειδή το πρόγραμμα είναι βασισμένο πάνω σε μουσειακό fortran intel based compiler. Δε ξέρουμε τι συμπεριφορά θα έχει με AMD και αν θα αξιοποιεί 100% την αρχιτεκτονική της. Αυτή την απορία μπορεί να μας την λύσουν αυτοί οι 50-60 που το τρέχουν. Αν μιλάγαμε για general purpose server, μόνο οι ιθαγενείς και όσοι είναι στο Intel insider program δεν πάνε στην epyc πλατφόρμα αυτή τη στιγμή με αυτό το performance/$ και το degradation από το meltdown fix για intel.

[adtakhs]

3 ώρες πριν, lampros321 είπε

Όχι δεν επείγει.
 

Ναι αν μπορείς θα ήθελα να μου προτείνεις κάποιο σύστημα.
Πάντως αναφέρω επίσης 
Το κόστος ενέργειας συνολικά και per thread, δεν ενδιαφέρει καθόλου.
Ο υπολογιστής θα είναι προφανώς στο πανεπιστήμιο (άρα πάρα πολύ γρήγορη σύνδεση) 
Αλλά επίσης δεν ενδιαφέρει και πολύ αφού δεν υπάρχει καμιά ανάγκη να μεταφερθούν τα δεδομένα. 
Τέλος το λέω ξανά να μην είναι server, πρόκειται ο υπολογιστής να είναι στο γραφείο...

Και επίσης να είναι στα 4 με 6Κ η τιμή. 

 

Και server μητρικές κουμπώνουν σε desktop κουτιά αρκεί να παίρνουν EBB/E-ATX μητρικές που είναι οι περισσότερες. Ακόμα και 2P μητρικές βάζεις χωρίς θέμα.

πχ. κουτιά

https://www.skroutz.gr/s/4862110/Phanteks-Enthoo-Pro-Window.html

https://www.skroutz.gr/s/4818410/Corsair-Obsidian-450D.html

https://www.skroutz.gr/s/4153266/Corsair-Obsidian-750D.html

https://www.skroutz.gr/s/12970526/Thermaltake-Suppressor-F51-Tempered-Glass-Edition.html

Ψύκτρες για τους επεξεργαστές αυτούς υπάρχουν στην αγορά αρκετές.

https://www.skroutz.gr/c/673/cpu-fans.html?from=catspan&keyphrase=tr4+cooler

Ενα Dual EPS τροφοδοτικό θες  γύρω στα 700watt

https://www.skroutz.gr/s/7593616/Corsair-RMx-Series-750X.html?from=drop

https://www.skroutz.gr/s/12517958/Seasonic-Focus-Plus-750-Gold.html

Και έχεις το σύστημα σε desktop έκδοση.

μητρικές πχ.

1p

http://b2b.gigabyte.com/Server-Motherboard/MZ31-AR0-rev-10#ov

2p

https://www.acmemicro.com/Product/15785/A+-H11DSi-Motherboard-Dual-AMD-EPYC-7000-Series-DDR4-SATA3-M-2-PCIe-2-1GbE-IPMI-E-ATX?Crits_CheckValue=Processor+Socket|AMD+EPYC-SP3&pager_index=

cpu

https://pricespy.co.uk/product.php?p=4401033

Επεξ/σία 18 Ιανουαρίου 2018 από adtakhs

[Zaknafein]

Εμένα η απορία είναι, support στο σύστημα ποιος θα κάνει; Γιατί DIY λύσεις καλές είναι για SOHO καταστάσεις, για workstation αλλάζουν λίγο τα πράγματα, αφήστε που λογικά το πανεπιστήμιο θα έχει ήδη κάποιο support-plan (που θα το πληρώνει χρυσό, no doubt) να τρέχει και επίσης -λογικά- θα έχει και περιορισμούς στο τι μπορεί να βάλει είτε από αυτούς είτε απ'το in-house IT.

Και κάτι dual socket κτλ, στο budget αυτό δύσκολα. 1Κ+ μες στο νερό είναι οι μνήμες μόνο στα 128GB/2666MHz. Εγώ θα ρώταγα το παν/μιο με ποιους συνεργάζεται και θα ρωτούσα εκεί τι έχουνε διαθέσιμο - εκτός απροόπτου θα συνεργάζονται με κάποια από Dell/HP ή SI/reseller αυτών οπότε από εκεί θα βγει η άκρη.

Σε Dell πχ σε "κοντινό" budget παίζουν τα Precision 7820 με Xeon Gold 6130 & 196GB RAM, ο configurator της Dell το βγάζει κάπου στα ~$7.3Κ (Χωρίς δίσκους αλλά με ECC RAM, δεν έχει απλή RAM το συγκεκριμένο - υποθετώ ότι μπορεί να γίνει κάποια συνεννόηση γι'αυτό και να μειωθεί λίγο το κόστος από εκεί)

[atheatos]

Σχετικα με το μεγεθος του σκληρου, γιατι το θεμα με το cpu και ram εχει εξαντληθει, θα προτεινα χρηση cache ssd σε συνδυασμο με μεγαλο hdd. 

Mια λυση ειναι αυτη της intel με cache optane  και η αλλη ειναι ανεξαρτητος hardware, με software οπως το primocache: https://www.romexsoftware.com/en-us/primo-cache/index.html

με setup μονο read για περισσοτερη ασφαλεια, θα εχει πολυ υψηλες ταχυτητες read με ενα σχετικα μικροτερο κοστος. Καλο ο ssd που θα χρησιμοποιηθει για αυτη την δουλεια να ειναι σχεδιασμενος για cache ή slc type.

Επεξ/σία 18 Ιανουαρίου 2018 από atheatos

[tmjuju]

4 ώρες πριν, ilos είπε

Ο μόνος λόγος που δε προτείναμε TR και κατ'έπέκταση epyc εξαρχής είναι επειδή το πρόγραμμα είναι βασισμένο πάνω σε μουσειακό fortran intel based compiler. Δε ξέρουμε τι συμπεριφορά θα έχει με AMD και αν θα αξιοποιεί 100% την αρχιτεκτονική της. Αυτή την απορία μπορεί να μας την λύσουν αυτοί οι 50-60 που το τρέχουν. Αν μιλάγαμε για general purpose server, μόνο οι ιθαγενείς και όσοι είναι στο Intel insider program δεν πάνε στην epyc πλατφόρμα αυτή τη στιγμή με αυτό το performance/$ και το degradation από το meltdown fix για intel.

Ειδικά σε κατι μουσιακα που λες και εσύ, οι TR τρεχουν σα δαιμονες.