RNN Testing Methods

[george991]

Καλησπέρα, έχω φτιάξει ένα RNN στο matlab και θέλω κάπως να το τεστάρω. Μπορεί να μου προτείνει κάποιος καμιά καλή μέθοδο από την οποία θα μπορέσω να βγάλω κάποια ασφαλή συμπεράσματα για τη λειτουργία του? Ή εναλλακτικά κάποια datasets και πόσα layers και nodes να χρησιμοποιήσω για αποτελεσματικότερη "προσέγγιση" στο καθένα?

 

Αν χρειάζεται μπορώ να παραθέσω και άλλα χαρακτηριστικά του RNN αλλά η απορία που έχω είναι αυτή. Τώρα που το έφτιαξα πως το τεστάρω. Έχω 1-2 μεθόδους κατά νου αλλά καλύτερα προτείνετέ μου εσείς μερικές πρώτα.

[groot]

1) Αφού έχεις μεθόδους κατά νου, πρώτα πες τις δικές σου και μετά ζήτα από τους άλλους.

2) Δεν έχω καταλάβει τι ρωτάς. Τι ακριβώς θες να τεστάρεις; Τον κώδικα; Το πόσο καλά λειτουργούν αυτά τα δίκτυα; Τι;

[Dr.Fuzzy]

Αν μπορεις να απαντήσεις την ερώτηση, τι κανει το νευρωνικο, τοτε μπορεις και να βρεις τροπο να το τεσταρεις.

[Technology fan]

Καλησπέρα, έχω φτιάξει ένα RNN στο matlab και θέλω κάπως να το τεστάρω. Μπορεί να μου προτείνει κάποιος καμιά καλή μέθοδο από την οποία θα μπορέσω να βγάλω κάποια ασφαλή συμπεράσματα για τη λειτουργία του? Ή εναλλακτικά κάποια datasets και πόσα layers και nodes να χρησιμοποιήσω για αποτελεσματικότερη "προσέγγιση" στο καθένα?

 

Αν χρειάζεται μπορώ να παραθέσω και άλλα χαρακτηριστικά του RNN αλλά η απορία που έχω είναι αυτή. Τώρα που το έφτιαξα πως το τεστάρω. Έχω 1-2 μεθόδους κατά νου αλλά καλύτερα προτείνετέ μου εσείς μερικές πρώτα.

 

Προσωπικά χρησιμοποιουσα datasets απο εδω http://archive.ics.uci.edu/ml/datasets.html αλλά είναι καθαρά για benchmark σκοπούς. Ύστερα τα νευρωνικά έχουν κάποια πλεονεκτήματα σε σχέση με άλλες μεθόδους το οποίο είναι από τα πρώτα πράγματα που μαθαίνεις για τα νευρωνικά.

 

Ύστερα αυτό που λες "έχω φτιάξει ένα RNN στο matlab" με τη πρόταση "θέλω να δω πως το τεστάρω" είναι λίγο αντικρουώμενα μεταξύ τους, άμα το έφτιαξες ξέρεις και πως να το τεστάρεις...

[george991]

1) Αφού έχεις μεθόδους κατά νου, πρώτα πες τις δικές σου και μετά ζήτα από τους άλλους.

2) Δεν έχω καταλάβει τι ρωτάς. Τι ακριβώς θες να τεστάρεις; Τον κώδικα; Το πόσο καλά λειτουργούν αυτά τα δίκτυα; Τι;

1) Σκεφτόμουν να χρησιμοποιήσω μια συνάρτηση (1ου, 2ου, 3ου βαθμού κτλ) που να χωρίζει ένα επίπεδο στα 2 και να κατατάσσει τα σημεία ανάλογα να βρίσκονται πάνω ή κάτω από την καμπύλη (ας πούμε έχουν την τιμή 1 πάνω από αυτή και -1 τα από κάτω). Τι αποτελέσματα να περιμένω από αυτό το πείραμα? Πόσο % accuracy θα ήταν καλό? Με πόσα layers/nodes μπορώ να προσεγγίσω μια 1ου, 2ου, 3ου βαθμού συνάρτηση? Αυτό είναι το μόνο που έχω δοκιμάσει μέχρι στιγμής και σκέφτομαι κάποια tests βασισμένα στο πρόβλημα του XOR, n-bit parity και 2 spiral problem ( http://arxiv.org/pdf/0911.1210v1.pdf ). Επίσης θέλω να το δω και με κάποια χρονοσειρά (να προβλέπει το επόμενο state βάσει των k προηγούμενων).

2) Να τεστάρω το δίκτυό μου. Αν δουλεύει σωστά, αν συγκλίνει στο αποτέλεσμα κτλ.

 

Αν μπορεις να απαντήσεις την ερώτηση, τι κανει το νευρωνικο, τοτε μπορεις και να βρεις τροπο να το τεσταρεις.

Το νευρωνικό είναι ικανό για πληθώρα tasks. Το τι θα κάνει εξαρτάται από το τι θα το εκπαιδεύσω να κάνει. Και αυτό ρωτάω τι να το εκπαιδεύσω να κάνει για να δω αν το κάνει καλά.

 

Προσωπικά χρησιμοποιουσα datasets απο εδω http://archive.ics.uci.edu/ml/datasets.html αλλά είναι καθαρά για benchmark σκοπούς. Ύστερα τα νευρωνικά έχουν κάποια πλεονεκτήματα σε σχέση με άλλες μεθόδους το οποίο είναι από τα πρώτα πράγματα που μαθαίνεις για τα νευρωνικά.

 

Ύστερα αυτό που λες "έχω φτιάξει ένα RNN στο matlab" με τη πρόταση "θέλω να δω πως το τεστάρω" είναι λίγο αντικρουώμενα μεταξύ τους, άμα το έφτιαξες ξέρεις και πως να το τεστάρεις...

Ήθελα κάποιες ιδέες από το φόρουμ αρχικά. Ίσως κάτι που δεν έχω σκεφτεί και είναι common testing technique για τέτοια δίκτυα. Anyway προτείνω κάποιους τρόπους πιο πάνω.

Λοιπόν για το δίκτυο τώρα. Αποτελείται από το Input layer, N Hidden layers (N-1 recurrent και 1 non recurrent, Ν>=2) και το Output layer. Χρησιμοποιώ Back Propagation Through Time και Decoupled Extended Kalman Filter. Τα training data εκπαιδεύονται σε random chunks σε κάθε run και χρησιμοποιώ annealing function για να καθορίσω το learning rate (το μειώνω σταδιακά από 1 σε 1Ε-5 σε κάθε επανάληψη).

[groot]

Nope και nope και nope.

 

1) Έχει δειχθεί ότι δεν χρειάζεσαι input layer. Χώνεις απευθείας rnn.

2) Το πείραγμα του η (lr) το έλεγε ο LeChun το 98. Πλέον έχεις optimizers που το κάνουν μόνοι τους.

3) BPTT είναι ένα fancy όνομα για το back propagation σε rnn.

4) Τα NN κάνουν κάτι πολύ συγκεκριμένο. Διάβασε ξανά την θεωρία.

5) Υπάρχουν ήδη πειράματα με rnns και συγκεκριμένα datasets που ξέρουν τι βγάζουν έξω. Όμως, για training σε CPU θέλεις μέρες και εφόσον έφτιαξες εσύ τον κώδικά σου τότε θέλεις debugging.

6) Το να βρει κανείς το πρόβλημα και να το παραμετροποιήσει έτσι ώστε να μπορεί να δοκιμασθεί να λυθεί με RNN, είναι η περισσότερη δουλειά. Από εκεί και πέρα έχεις απλά εμπειρία για να διαλέξεις κατάλληλες hyper-parameters.