Weka. Αύξηση μνήμης

[ndou.lf]

Χρησιμοποιώ το Weka για επεξεργασία μεγάλων βάσεων δεδομένων. Πολλές φορές είναι αδύνατη η επεξεργασία τους γιατί απαιτείται όπως αναγράφεται η αύξηση της διαθέσιμης, για την Java, μνήμης. Μπορεί κάποιος να μου περιγράψει αναλυτικά τι πρέπει να κάνω ώστε να αυξήσω τη μνήμη?

Ευχαριστώ.

[StavrosD]

Είναι περιορισμός της Java.

Στην πράξη στα 32bit λειτουργικά το θεωρητικό όριο είναι τα 2gb με 1.5gb στην πράξη, ενώ στα 64bit υπάρχουν περιπτώσεις που το όριο είναι 3gb.

Σε κάθε περίπτωση όμως δεν συνιστάται λόγω χαμηλών επιδόσεων.

Ποιόν αλγόριθμο χρησιμοποιείς; Ίσως υπάρχει και εναλλακτική λύση.

[ndou.lf]

χρησιμοποιώ τους classifiers: IBk, Kstar, Multilayer Perceptor, M5P, M5Rules, Bagging και Decision table. Οι ΙBk & Kstar τρέχουν πάντα, ακόμα και σε πολύ μεγάλα data sets. Θέλω να αυξήσω τη διαθέσιμη μνήμη μήπως και τρέξουν και οι υπόλοιποι αλγόριθμοι σε μεγάλες βάσεις δεδομένων.

[zuratharamon]

Παίρνεις java.lang.OutOfMemoryError ?

 

Αν ναι διάβασε εδώ http://edocs.bea.com/wls/docs61/perform/JVMTuning.html και γενικότερα ψάξε για tuning heap size - xms - xmx

[Dionisos]

Θα βοηθούσε πολύ αν μας έλεγες και σε ποιο λειτουργικό τρέχεις το Weka. Όπως και να 'χει προσπάθησε να κάνεις το εξής:

Πήγαινε στο directory στο οποίο έχει εγκατασταθεί το Weka. Μπορείς να το αναγνωρίσεις αν μέσα στο directory περιέχεται το αρχείο weka.jar. Αφού πας σε αυτό το directory γράψε στη γραμμή εντολών:

>
java -Xms512m -Xmx512m -jar weka.jar

 

Προσοχή: Αν έχεις 1gb μνήμη είναι λογικό να δώσεις 512ΜΒ στη Java. Γενικά είναι μια καλή ιδέα να δίνεις το 50% της μνήμης στη Java για μεγάλα datasets. Αν δεν έχεις αρκετή μνήμη στο PC προτείνω να αγοράσεις!