Neural Networks

[Diomedes]

Ευχαριστώ ρε φίλε, νά 'σαι καλά.

 

Προς το παρόν ασχολούμαι με τα D.C.S. (Dynamic Classification Systems). Αν δεν τα έχεις ακουστά μην ανησυχείς' τώρα ανακαλύπτονται! Με γενετικούς δεν έχω ασχοληθεί ιδιαίτερα, πέρα απ' την βιβλιογραφική έρευνα πριν κάτι μήνες. Ο επιβλέπων μου έχει ιδιαίτερο ενδιαφέρον μ' αυτά και μου τα κοπανάει συνέχεια!

 

Αλήθεια, έχεις δει καθόλου τα Κβαντικά ΝΔ (QNNs); Έχουν ενδιαφέρον. (Αν θες να μιλήσουμε γι' αυτά, πήγαινε στο ανάλογο thread). Πιστεύω ότι εκτός κι αν εφευρεθεί κανένας υπερευφιής αλγόριθμος εκπαίδευσης, τα κλασσικά ΝΔ θα εκλήψουν (ή θα συγχωνευτούν με άλλα συστήματα σαν μέλη ενός ensemble). Τα QNNs όμως φαίνονται να υπόσχονται αρκετά, αν βέβαια εξελιχτούν.

[Wiwol]

yparxei mellon sta ND. Ginontai polles prospatheies alla akoma den exoun dosei polles lyseis se praktika problhmata.

Edo otan ksekinisan thn dekaetia tou 60 me to gnosto neyronio perceptron den to piran sobara giati den mporouse ena neyronio na lysei thn gnosth eksisosh tou XOR. (xreiazontan 2). Meta apo polla xronia omos apodeixtike oti mporoume na petyxoyme me ta ND fantastikous clasifiers kai prediction systems.

 

Den einai pantos mono clasifiers. Ton kairo ayto kano ena project gia prosarmostiko elegxo mh gramikou systhmatos agnoston parametron me xrhsh HONNs (high order NN). Kai pistepse me yparxoun polly liges methodologies gia elegxo tetoion systhmaton.

 

Ayto me ta kbantika ND proxoraei giati ypersyei h apopsh oti o egkefalos einai enas kbantikos ypologisths. Pane na kolisoun ayto kai sta ND.

 

Opoios thelei na asxolithei pantos, to Toolbox tou Matlab einai polly kalo. An kai se periorizei se sxetika apla problhmata. (ta opoia mporoun na lythoun kai me allous tropous opos Suport Vector Machines h klasikes methodous clasification opos fuzzy-Kmeans kai alla, isos me kalytera apotelesmata)

[Diomedes]

Βλέπω έχεις ασχοληθεί με το θέμα αρκετά! Μήπως είσαι κι εσύ PhD;

 

Όντως το toolbox του Ματλαμπ είναι άπαιχτο, για αρχή τουλάχιστον. Για τα HONNs σε καλύπτει; Από ταχύτητα πως πάνε αυτά;

 

Τα SVMs δε λέω, καλά είναι, για απλά προβλήματα όπως είπες. Αυτό όμως που χρείαζεται πιστεύω να αναπτυχθεί σε όλα τα συστ. Υ.Ν. (και Τ.Ν. εν γένει) είναι κάποιο εξάρτημα (module) που να τα κάνει δυναμικά. Τα ΝΝ ευτυχώς είναι αρκετά ευέλικτα στο θέμα αυτό.

 

Για τα Κβαντικά δεν μπορώ να πω πολλά γιατί δεν έχω ασχοληθεί τόσο με το θέμα όμως θα ήθελα να μιλήσουμε παραπάνω γι' αυτά, αν ενδιαφέρεσαι, μετά τις γιορτές.

 

Με το preprocessing των δεδομένων έχεις ασχοληθεί; Αν ναι, τι τεχνικές θεωρείς καλές;

[Monkey D. Luffy]

eeeeeeee

 

Exo meinei m@l@k@s kai apo ton Diomedes kai apo ton Wiwol. Vasika Diomedes ta DCS proti fora ta akouo, an kai pisteuo oti mallon se control tha exoun efarmogi. Mipos mporeis na exigiseis me apla logia ti einai h dose ena url an yparxei.

 

Me ta kvantika den xero ti paizei, ta exo akousta alla oute kata dianoia xero ti akrivos einai kai ti kanoun.

 

Tora gia ta klassika NN, pisteuto to idio me ton Diomedes oti tha ekleipsoun siga siga h tha prosarmostoun se alla systimata.

 

Wiwol, fainetai oti to exeis psaksei to thema arketa. Episis symfono me tin apopsi sou oti ta NN einai fantastikoi classifiers kai prediction systems. Kalo kouragio kai kali synexeia kai se esena me to project sou, kai min kolas pouthena kane mia diki sou methodologia

 

Telika fainetai oti ta genetic den einai akoma antikeimeno ereunetikis meletis.

[Diomedes]

Μην το λες. Είμαι σίγουρος ότι γνωρίζεις πράγματα σε άλλα θέματα για τα οποία δεν έχω ιδέα. Απλά συνέβει να έχω ασχοληθεί κάπως παραπάνω με το θέμα.

 

Για τα DCS δεν υπάρχει τίποτα ακόμα (είναι τεχνολογία αιχμής). Μόλις δημοσιευτεί κάτι μπορώ να σου πω αν θες. Πάντως σε γενικές γραμμές είναι classifiers που προσαρμόζονται δυναμικά σ' αυτά που χειρίζονται.

 

Πάντως για τους γενετικούς δεν συμφωνώ. Υπάρχει αρκετή σοβαρή και συστηματική έρευνα, αν και είναι ακόμα σε αρχικά στάδια. Εντάσονται στην κατηγορία Nature-Inspired Algorithms και έχουν κάποιο ενδιαφέρον.

[Monkey D. Luffy]

Diomedes se euxaristo gia ta kala sou logia. An dimosieutei kati tha ithela na matho ean ginetai se parakalo, giati akougontai arketa endiaferon, kai tha ithela sto mellon meta to strato na kinigiso na kano didaktoriko ston tomea tis CI h kai tis AI.

 

Gia tous genikous isos na exo adiko ean kai vlepo oti den xairoun idiaiteris symparastasis. Makari na exo adiko.

 

Nature-Inspired Algorithms????? Natural Computing h Biologically Inspired Computing, auto thes na peis??? Ean ennoeis auto to swarm intelligence pou anefera prin, vasizete se tetoies idees kai kapou eixa diavasei (distyxos den to kratisa auto), gia kati palikaria pou meletousan mazi me biologous, tis kiniseis ton psarion pou taxideuoun ola mazi kai ean plisiasei kati apomakrynontai kai ksanaenontai se deuterolepta. Tha psakso kai ean to vro tha sou po, exei arketo endiaferon giati ithelan na to xrisimopoihsoun argotera ta apotelesmata tis ereunas se mikro kai nano robotiki

[Wiwol]

Den eimai Phd. eimai Msc.

 

Asxoloumai polly me ekselektikous algorithmous. Ektos apo to parapano project trexo kai ena alla sxetiko me evolution of language to opoio kanei xrhsh genetikon algorithmon kai nevronikon diktion.

 

Enas periorismos gia ta NN einai oti sth poio diadedomenh fash tous einai Feed-forward. (Stromata pou ola ta nevronia tou proigoumenou enonontai me ta nevronia tou epomenou stromatos) Ayto ginetai kathara gia ypologistikous logous kai gia na einai eykolh h organosh se pinakes ton diaforon baron kai na dieykolynetai h ekpaideysh.

 

Gia dynamika NN yparxoyn ta recursive ta opoia epishs akolouthoun methodologies gia na mporesoun na anaptyxthoun algorithmoi ekmathisis (Exei prohorhsei arketa to thema)

 

 

Otan omos kaneis kati kainourgio. (Ena NN trelhs arxitektonkhs. As poume ola ta neyronia na enonontai me ola! kai oi eisodoi na einai se merika apo ayta) Tote ekselektikoi algorithmoi opos einai oi genetikoi mporoun na paiksoun gia thn ekpaideysh ton diktion ayton.

 

Epomenos kai oi genetikoi einai spoudaio kefalaio. Eisagoun thn ekseliksh se ena peirama.

 

Gia ta HONNs den me kalyptei to Matlab. Exo kanei dikous mou methodous ekmathishs . (Gia thn akreibeia ephdei to systhma ekpaideyetai on-line exo eisagei apla ena nomo prosarmoghs). Yparxoun omos sth bibliografia arketa pragmata pou isos mpoun sto matlab 8

 

Gia to pre-procesing eksartatai apo to problhma.

 

Se mia ergasia gia katatmhsh keimenon me bash NN ekana kanonikopoihsh....perasa apo filtrarisma ola ta keimena kai petaksa koines lekseis.... koinos epaikse polly pre-processing. Allou pali opos phra ta dedomena ta ebala. Eksartatai apo ta dedomena. An exeis px 1000 eisodous den leei na tis baleis oles. Kalytera na bgaleis ena future vector kai na pareis ayto san eisodo.

 

Exei kai to matlab polla pragmata gia pre-processing.

 

 

Sorry gia to megalo post.

Filika

[karkalos314]

Η αλήθεια είναι ότι υπάρχουν κάποια σημαντικά εμπόδια όσο αφορά τους Γενετικούς Αλγορίθμους. Το παρήγορο είναι ότι για αυτά τα, ομολογουμένως μεγάλα, εμπόδια δεν ευθύνεται η φιλοσοφία του αλγόριθμου. Οι Γενετικοί Αλγόριθμοι από την φύση τους λειτουργούν και αναπτύσσονται σε περιβάλλοντα παράλληλου προγραμματισμού (όχι ψευδό παράλληλου), περιβάλλοντα τα οποία η τεχνολογία (και κυρίως το marketing των εταιριών) μας υπόσχεται ότι θα παρέχει τα επόμενα 10 χρόνια με την έλευση των πολυπόθητων επεξεργαστών σε υγρή μορφή. Σε μια τέτοια περίπτωση δεν μπορώ να φανταστώ άλλου είδους συστήματα πέρα από συστήματα (καθαρά) παράλληλου προγραμματισμού (Νευρωνικά Δίκτυα, Γενετικούς Αλγορίθμους και κάποια παράγωγα τους τα οποία βρίσκονται σε εμβρυακό επίπεδο ακόμα). Μια ακόμα δυσκολία που αντιμετωπίζουν όσοι ασχολούνται με ΓΑ είναι ότι μιλάμε για συστήματα καθαρά χαοτικά (εξού και τα μαθηματικά που αναφέρθηκαν σε προηγούμενο σχόλιο) που δύσκολα πατεντάρονται με αποτέλεσμα κάθε πρόβλημα να απαιτεί σύστημα ΓΑ σχεδιασμένο σχεδόν από την αρχή.

Στον τομέα της έρευνας πάντως οι Έλληνες δεν τα πάνε και άσχημα ::

Ενδεικτικά::

 

http://www.inderscience.com/books/index.php?mainAction=search&action=record&rec_id=67&prevQuery=&ps=10&m=or

 

http://www.enformatika.org/journals/1304-4478/v1/V1-3-37.pdf