Grid, η... υπερταχεία του Ιντερνετ

[FarCry]

@capitan:

Εύκολο. 15*10^9 GB / 20*10^9 = 15/20 = 0.75GB ~= 750MB = 1 CD

 

 

βασικα το million ειναι 10^6....

 

 

καλα πως την πατισες σαν παιδακι του δημοτικου?

 

 

15*10^6 GB / 20*10^6 CD = 15 GB/20 CD = 0.75GB/CD ~= 750MB/CD

 

 

ετσι ειναι η μαθηματικη εκφανση του

 

[capitan]

Βασικά άλλο εννούσα. Αυτά τα 15 εκατομμύρια γιγαμπάιτ δε κατάλαβα τι είναι. Όλα τα πειραματικά δεδομένα που θα δημιουργήσει το CERN στο πείραμα (μάλλον)?

[markelos]

Αν είναι έτσι, ο κ. ΓΙΑΝΝΗΣ ΠΑΠΑΔΑΤΟΣ θα πρέπει να ασχολειθεί από δω και πέρα με θέματα που γνωρίζει καλύτερα, γιατί το συγκεκριμένο άρθρο είναι αποτυχημένο και παραπλανητικό.

 

+1

 

To linux format είχε στο τελευταίο τεύχος ένα πολύ ωραίο και κατατοπιστικό άρθρο για τα grid δίκτυα. Αναφορικά:

 

Το grid computing είναι ένα υπολογιστικό μοντέλο που παρέχει την ανάπτυξη κατανεμημένων συστημάτων με μεγάλες δυνατότητες επεξεργαστικής ισχύος και αποθηκευτικού χώρου και την πρόσβαση σε αυτά. Επιτρέπει την ένωση ετερογενών και διασκορπισμένων γεωγραφικά συστημάτων, clusters υπολογιστών, αποθηκευτικού χώρου, δικτύων, ακόμη και επιστημονικών οργάνων, σε ένα ενιαίο σύστημα. Αποτελεί ένα τεράστιο εικονικό σύστημα για τους χρήστες του, από το οποίο μπορούν να ζητήσουν να χρησιμοποιήσουν υπολογιστική ισχύ, δικτυακό bandwidth και να έχουν πρόσβαση σε λογισμικό και αποθηκευτικό χώρο.

 

GRID != ΥΠΕΡΥΠΟΛΟΓΙΣΤΗΣ

Μπορεί κάποιος εσφαλμένα να νομίζει ότι το περιβάλλον ενός grid δικτύου αποτελείται από clusters υπολογιστών οι οποίοι σχηματίζουν έναν υπερυπολογιστή και έτσι η εφαρμογή/δουλειά που θα στείλει προς εκτέλεση θα τρέξει υπερβολικά πιο γρήγορα από ότι σε έναν desktop υπολογιστή. Κάτι τέτοιο δεν είναι απαραίτητο να συμβαίνει σε ένα grid δίκτυο, ωστόσο υπάρχουν και grid δίκτυα που σχηματίζουν υπερυπολογιστές. Για να μπορέσει μια εφαρμγή να ζητήσει να τρέξει σε περισσότερες από μία CPUs και να εκμεταλλευτεί έτσι μεγαλύτερη επεξεργαστική ισχύ, θα πρέπει να είναι MPI.

To MPI (Message Passing Interface) είναι πρότυπο ανταλλαγής μηνυμάτων για τη δημιουργία παράλληλων διεργασιών, που τρέχουν δηλαδή σε περισσότερες από μία CPUs. Μία ΜΡΙ εφαρμογή συνήθως ξεκινάει χρησιμοποιώντας έναν επεξεργαστή και αφού φτάσει σε ένα σημείο -π.χ. αρχικοποίηση μεταβλητών- μπορεί να χρησιμοποιήσει όσες CPUs έχει ζητήσει. Ανάλογα με την MPI εφαρμογή ο χρόνος που θα ολοκληρωθεί μπορεί να είναι αντιστρόφος ανάλογος του αριθμού των επεξεργαστών που θα χρησιμοποιήσει. Εφαρμογές ΜΡΙ μπορούν να γραφούν, μεταξύ άλλων, στις γλώσσες C, C++, Fortran 77, Fortran 90 και Python.

 

Όσον αφορά στον LHC που αναφέρθηκε, το LCG (LHC grid) είναι ένα από τα μεγαλύτερα grid δίκτυα που έχει αναπτυχθεί και παρέχει την υπολογιστική ισχύ για την προσομοίωση, την επεξεργασία και την ανάλυση των πειραματικών δεδομένων του LHC, αλλά και την πρόσβαση σε χιλιάδες ερευνητές ανά τον κόσμο στα δεδομένα, τα οποί θα φτάνουν τα 15 petabytes το χρόνο.

 

1 petabyte = 1.000 terrabytes

 

Έχει δημιουργηθεί και στην Ελλάδα το HellasGrid, η ελληνική υποδομή grid για την ερευνητική και εκπαιδευτική κοινότητα. Αποτελείται από 6 κόμβους σε Αθήνα, Πάτρα, Κρήτη και Θεσσαλονίκη και είναι πλήρως ενσωματωμένη στο EGEE. Συνολικά, η υποδομή του HellasGrid αποτελείται από περισσότερες από 700 CPUs. Οι περισσότεροι κόμβοι είναι clusters με 64 διπύρηνα συστήματα και 4ΤΒ αποθηκευτικό χώρο. Όλοι έχουν Scientific Linux 4.x ως λειτουργικό σύστημά τους. Η χρήση και η συμβολή του Linux και του ανοιχτού λογισμικού είναι μεγίστης σημασίας για την επιτυχία του grid computing.

Επεξ/σία 1 Οκτωβρίου 2008 από markelos

[dop]

Από ότι φαίνεται ο καθένας ό,τι θέλει γράφει - και καλό θα ήταν οι συμφορουμίτες να προσέχουν τι μεταφέρουν...

 

1) Το MPI είναι ένα specification για ένα portable API που προσφέρει message passing από process σε process. Δεν είναι υλοποίηση, δεν είναι εφαρμογή, είναι απλά ένα specification. Και οι εφαρμογές μπορούν να χρησιμοποιήσουν μια βιβλιοθήκη που υλοποιεί συνήθως μέρος από αυτό το specification. Όταν έχεις μία εφαρμογή που χρησιμοποιεί το MPI, όταν την τρέχεις μέσα από το script που διαθέτει η υλοποιήση σου, ουσιαστικά εκκινείται τόσες φορές όσες και οι MPI process που απαιτούνται από τον χρήστη. Από εκεί και πέρα τι κάνει η κάθε υλοποίηση είναι αλλουνού παπά ευαγγέλιο (πχ το MPICH κάνει fork την διεργασία).

 

2) Το Grid computing είναι ουσιαστικά ένα συγκεκριμένο είδος parallel computing, όπου το Grid είναι ένα σύνολο από μη ομοιογενείς μηχανές (βλ. διαφορετικά χαρακτηριστικά, λειτουργικό, αρχιτεκτονική), κατά κανόνα διασκορπισμένες γεωγραφικά. Είναι μια μορφής παράλληλης ή κατανεμημένης επεξεργασίας. Υπάρχουν πολλές βιβλιοθήκες για τη συγγραφή προγραμμάτων που θα τρέχει σε ένα grid (ναι υπάρχουν πολλά). Κάποιες από αυτές ακολουθούν το MPI. Το μόνο σωστό που διάβασα είναι ότι grid!=supercomputer - για να θεωρείται ένα μηχάνημα υπερυπολογιστής αναγκαία συνθήκη είναι να απoτελείται από πολλές CPUs και γρήγορο interconnect μεταξύ των (Myrinet, Infiniband κλπ). Όχι όμως ικανή, το μηχάνημα στο σπίτι με 2 Quad cores δεν είναι supercomputer. Γενικά, επειδή ο όρος supercomputer είναι στενά συνδεδεμένος με την ταχύτητα της μηχανής, συνήθως λέμε supercomputer κάτι που πρωτοστατεί στην ταχύτητα επεξεργασίας/αποθήκευσης δεδομένων.

 

Το αρχικό άρθρο αναφέρεται στις τεχνολογίες που χρησιμοποιούνται από το grid που θα επεξεργάζεται τα δεδομένα από το LHC για να μεταφέρουν δεδομένα. Με απλά λόγια, επειδή ο όγκος πληροφορίας είναι τεράστιος, χρειάζεται νέα υποδομή για την υποστήριξη του. Και ελπίζουμε ότι οι νέες τεχνολογίες για αυτή την υποδομή θα περάσουν σε όλους. Η άγνοια του αρχικού συγγραφέα έχει μπλέξει το grid computing, με την υποδομή που θέλει το CERN για την διαμοίραση των δεδομένων που παράγει ο LHC και με τα διαφορετικά grids που υπάρχουν ανά τον κόσμο.

[FarCry]

Public grids may use idle time on many thousands of computers throughout the world. Such arrangements permit handling of data that would otherwise require the power of expensive supercomputers or would have been impossible to analyze.

 

http://en.wikipedia.org/wiki/Distributed_computing#Grid_computing

 

δεν ειναι και ορθο το grid!=supercomputer

 

αναλογως τη χρηση θα του κανεις

 

http://en.wikipedia.org/wiki/Supercomputer

[dop]

Όχι ακριβώς: ναι και τα δύο στηρίζονται στις ίδιες αρχές. Και τα δύο κάνουν παράλληλη επεξεργασία, αλλά η δουλειά που αποστέλεται στα μέλη ενός Grid είναι σαφέστατα πιο coarse-grained από ότι σε ένα supercomputer. Επιπλέον, το Grid έχει πολύ περισσότερες δικλείδες ασφαλείας σε περίπτωση που ένας κόμβος πέσει, φύγει, κολλήσει κλπ. Από την άλλη ένα supercomputer έχει ένα στόχο: τις απόλυτες επιδόσεις.

 

Ένα Grid μπορεί να έχει πολλούς supercomputers, αλλά ένας supercomputer όχι πολλά Grids

[FarCry]

Από την άλλη ένα supercomputer έχει ένα στόχο: τις απόλυτες επιδόσεις.

 

Ένα Grid μπορεί να έχει πολλούς supercomputers, αλλά ένας supercomputer όχι πολλά Grids

 

από θέμα performance το είδα εγώ και "γιαυτο" απάντησα έτσι. στο κάτω κάτω αυτό που ενδιαφέρει είναι η απόδοση και όχι το στήσιμο που αναφέρεις εσύ.

 

εσύ αυτό που λες είναι ότι ένας supercomputer έχει σταθερή απόδοση σε σχέση με ένα grid. δεκτό

 

το θέμα του αν το grid != supercomputer βασίζεται αποκλειστικά στο ποσο loosely θα το δεις. δεν υπάρχει λάθος η σωστό γιατί όπως θα ξέρεις και σε άλλες coined λέξεις αλλιώς προέκυψαν στην εποχή τους και αλλιώς τις λέμε σήμερα. η ερμηνεία και η έννοια αυτών αλλάζει συν τον χρόνο και την τεχνολογία. όπως τώρα λέμε ένα pc workstation ενώ παλιότερα ήταν pc!=workstation