DB με τιμές κλεισίματος ΧΑ για machine learning

[george991]

Καλησπέρα στο φόρουμ,

 

θέλω να φτιάξω μια εφαρμογή που θα προβλέπει την τιμή των μετοχών (ή τουλάχιστον μελλοντική κατεύθυνση, άνοδο ή πτώση) σαν pet project για να εξοικειωθώ λίγο παραπάνω με κάποια εργαλεία όπως το pytorch. Ο σκοπός είναι καθαρά εκπαιδευτικός αρχικά, αλλά άμα δω ότι έχω promising αποτελέσματα μπορεί να το χρησιμοποιήσω μελλοντικά με κάποιο μικρό κεφάλαιο. Σαν μέθοδο, αφού κατασκευάσω κάποια features, σκέφτομαι να χρησιμοποιήσω κάποιο rnn ή lstm (vanilla ή gru). Τέλος πάντων αυτά είναι τεχνικά και τα αναφέρω μόνο για να υπάρχει μια πιο σαφής εικόνα του εγχειρήματος και για το λόγο ότι είμαι ανοικτός σε προτάσεις για διαφορετική προσέγγιση/υλοποίηση.

 

Αυτό που θέλω, όμως και δεν μπορώ να βρω είναι κάποιο αρκετά μεγάλο dataset. Έχω συγκεντρώσει ένα αρχείο με τιμές κλεισίματος μετοχών κτλ  για τα προηγούμενα 2 έτη από το http://www.naftemporiki.gr/finance/metaStock# με ένα script αλλά δεν υπάρχουν διαθέσιμα δεδομένα για ημερομηνίες πριν τον Νοέμβριο του 2015.

 

Ιδανικά θα ήθελα δεδομένα από 2001-2002 και μετά ή από το 2008 και έπειτα που έχουμε κρίση. Το θέμα είναι όμως ότι δεν μπορώ να τα βρω πουθενά παρά μόνο σε κάτι site που ισχυρίζονται ότι μπορείς να τα κατεβάσεις αλλά έχουν συνδρομή αρκετών εκατοντάδων ευρώ. Αν μπορεί κάποιος να με κατευθύνει κάπου που μπορώ να βρω τα δεδομένα που χρειάζομαι ή να μου δώσει κάποιο αρχείο που έχει μαζέψει ο ίδιος θα του ήμουν ευγνώμων.

[malmsteen1984]

δεν έχω ιδέα από όλα αυτά τα εργαλεία που ανέφερες. όμως γνωρίζω από χρηματιστηριακά. και αν νομίζεις ότι μπορεί να υπάρξει πρόγραμμα που προβλέπει τη διακύμανση των τιμών γελιέσαι. μπορείς να έχεις μία ιδέα από τους μ.ο.100 και μ.ο200 και όχι μόνο αλλά το βασικό είναι η πληροφόρηση. καλό σαν ιδέα αλλά καταδικασμένο να αποτύχει

[george991]

δεν έχω ιδέα από όλα αυτά τα εργαλεία που ανέφερες. όμως γνωρίζω από χρηματιστηριακά. και αν νομίζεις ότι μπορεί να υπάρξει πρόγραμμα που προβλέπει τη διακύμανση των τιμών γελιέσαι. μπορείς να έχεις μία ιδέα από τους μ.ο.100 και μ.ο200 και όχι μόνο αλλά το βασικό είναι η πληροφόρηση. καλό σαν ιδέα αλλά καταδικασμένο να αποτύχει

 

Ναι κοίτα δεν μπορώ ούτε να συμφωνήσω ούτε και να διαφωνήσω με αυτό που λες. Προφανώς έχεις γνώσεις πάνω στο αντικείμενο του χρηματιστηρίου και το συμπέρασμά σου πηγάζει από την εμπειρία σου. Παρόλα αυτά δεν είσαι εξοικειωμένος με το machine learning και τις δυνατότητές του. Π.χ. αν εγώ κατασκευάσω ένα μοντέλο που θα μου λέει με σιγουριά 80% ότι η τιμή μιας μετοχής θα ανέβει και το 80% των περιπτώσεων πέφτει μέσα είναι πολύ καλύτερο από ένα 50% που θα είχα αν προέβλεπα εγώ την πορεία της μετοχής (που είμαι και άσχετος με χρηματιστήριο). Εν πάσει περιπτώσει αυτό, όπως ανέφερα, είναι ένα πειραματικό project που θα με βοηθήσει να μάθω κάποια παραπάνω πράγματα σχετικά με το machine learning στην πράξη και όχι για να βγάλω χρήματα. Αυτό που ζητάω είναι οι τιμές κλεισίματος για ένα μεγάλο χρονικό διάστημα και όχι αν είναι καταδικασμένο το project να αποτύχει. Δεκτή η γνώμη σου, εν μέρει τη συμμερίζομαι και εγώ, αλλά δεν είναι αυτός ο λόγος θέλω να φτιάξω κάτι τέτοιο.

[NikosKallithea]

Επίσης αν πας τόσο πίσω ή έστω και λίγα χρόνια θα πρέπει να συνυπολογίσεις τα σπλιτ ή τις συνενώσεις των μετοχών που υπέστησαν κατά την περίοδο αυτή που έχεις βάλει σαν στόχο.

Άρα το project δεν είναι και πολύ εύκολο και τα αποτελέσματα αναμφίβολα

[george991]

Επίσης αν πας τόσο πίσω ή έστω και λίγα χρόνια θα πρέπει να συνυπολογίσεις τα σπλιτ ή τις συνενώσεις των μετοχών που υπέστησαν κατά την περίοδο αυτή που έχεις βάλει σαν στόχο.

Άρα το project δεν είναι και πολύ εύκολο και τα αποτελέσματα αναμφίβολα

 

Χμμ καλή παρατήρηση αυτή. Δηλαδή πρέπει να ελέγχω για τυχόν μεγάλες αυξομειώσεις στις τιμές των μετοχών από μέρα σε μέρα που θα σημαίνει πρακτικά ότι έγινε κάποια συγχώνευση ή split εκείνη την περίοδο. Μπορώ εύκολα να το συνυπολογίσω αλλά δεν θα το έκανα αν δεν το ανέφερες, οπότε σε ευχαριστώ πολύ για την πληροφορία.

[The King]

δεν έχω ιδέα από όλα αυτά τα εργαλεία που ανέφερες. όμως γνωρίζω από χρηματιστηριακά. και αν νομίζεις ότι μπορεί να υπάρξει πρόγραμμα που προβλέπει τη διακύμανση των τιμών γελιέσαι. μπορείς να έχεις μία ιδέα από τους μ.ο.100 και μ.ο200 και όχι μόνο αλλά το βασικό είναι η πληροφόρηση. καλό σαν ιδέα αλλά καταδικασμένο να αποτύχει

 

+1

[Predatorkill]

δεν έχω ιδέα από όλα αυτά τα εργαλεία που ανέφερες. όμως γνωρίζω από χρηματιστηριακά. και αν νομίζεις ότι μπορεί να υπάρξει πρόγραμμα που προβλέπει τη διακύμανση των τιμών γελιέσαι. μπορείς να έχεις μία ιδέα από τους μ.ο.100 και μ.ο200 και όχι μόνο αλλά το βασικό είναι η πληροφόρηση. καλό σαν ιδέα αλλά καταδικασμένο να αποτύχει

Υπαρχουν εργαλεια με πολυ καλες προβλεψεις, ενα πολυ καλο παραδειγμα ειναι το leadingtrader.com και το λογισμικο lt pulse πχ. Ο Ραστανι ειναι απο τους πολυ καλους χρηματιστες σε παγκοσμιο επιπεδο και εχει βοηθησει πολυ κοσμο.

[Lanike71]

Χμμ καλή παρατήρηση αυτή. Δηλαδή πρέπει να ελέγχω για τυχόν μεγάλες αυξομειώσεις στις τιμές των μετοχών από μέρα σε μέρα που θα σημαίνει πρακτικά ότι έγινε κάποια συγχώνευση ή split εκείνη την περίοδο. Μπορώ εύκολα να το συνυπολογίσω αλλά δεν θα το έκανα αν δεν το ανέφερες, οπότε σε ευχαριστώ πολύ για την πληροφορία.

 

Όπως και σε κάθε πραγματικό πρόβλημα, θα πρέπει να σκεφτείς ποιά features μπορεί να σε βοηθήσουν, τα οποία μπορεί να προκύψουν είτε ως data από κάποιες πηγές, είτε από engineering.

Θεωρώ ότι έχεις πολλή δουλειά, καθώς το χρηματιστήριο μπορεί να επηρεαστεί από μία δήλωση ενός πρωθυπουργού, του πλανητάρχη, του γείτονα υπουργού εξωτερικών, την αύξηση-μείωση της τιμής του πετρελαίου.

Θα χαρώ να μάθω ότι τα κατάφερες πάντως, καθώς έχω σε μεγάλη εκτίμηση τη μηχανική μάθηση και ασχολούμαι και ο ίδιος.

[george991]

Όπως και σε κάθε πραγματικό πρόβλημα, θα πρέπει να σκεφτείς ποιά features μπορεί να σε βοηθήσουν, τα οποία μπορεί να προκύψουν είτε ως data από κάποιες πηγές, είτε από engineering.

Θεωρώ ότι έχεις πολλή δουλειά, καθώς το χρηματιστήριο μπορεί να επηρεαστεί από μία δήλωση ενός πρωθυπουργού, του πλανητάρχη, του γείτονα υπουργού εξωτερικών, την αύξηση-μείωση της τιμής του πετρελαίου.

Θα χαρώ να μάθω ότι τα κατάφερες πάντως, καθώς έχω σε μεγάλη εκτίμηση τη μηχανική μάθηση και ασχολούμαι και ο ίδιος.

 

Ναι ειδικά για τέτοιο πρόβλημα μπορείς να βρεις πολλά features, το θέμα είναι να μπορεί να προσθέσει πληροφορία το καθένα και να μην λειτουργεί όπως κάποιο άλλο feature. Δηλαδή αν βάλω π.χ. την τιμή ανοίγματος της προηγούμενης μέρα και κλεισίματος σαν features και βάλω και ένα τρίτο με τη διαφορά τους, αυτό το 3ο δεν θα έχει να προσθέσει κάτι καινούριο. Πρέπει να υπάρχει ανεξαρτησία μεταξύ των features δηλαδή. Από την άλλη να εισάγω κάπως τις δηλώσεις του τσίπρα δεν μπορώ. Με ξεχωριστό πρόγραμμα μόνο να γίνεται sentiment analysis σε αυτές και να παίρνω 1-2 μεταβλήτές του τύπου 75% positive 25% negative. Αλλά θέλει δουλειά. Μια καλή προσέγγιση θα ήταν ο γενικός δείκτης μεγαλύτερων χρηματιστηρίων την προηγούμενη ημέρα, αν ισχύει ότι θα επηρεάσει τον δικό μας με κάποια καθυστέρηση, δηλαδή την επόμενη ημέρα. Αλλά τέλος πάντων features μπορούν να βρεθούν πολλά.

 

Το θέμα μου εμένα, αρχικά, δεν είναι να κάνω την καλύτερη πρόβλεψη για την τιμή της μετοχής αλλά να εκοικειωθώ περισσότερο με τις έννοιες του machine learning και τη χρήση των pytorch, tensorflow κτλ με πραγματικά δεδομένα. Το πρόγραμμα σαν pet project θα το δουλεύω και θα το βελτιώνω όποτε υπάρχει χρόνος.

 

Ασχολείσαι σε επαγγελματικό επίπεδο εσύ με machine learning;

[παπι]

http://helex.gr/ καπου εκει μεσα εχει τους data providers. Επι πληρωμη φυσικα. 

 

Βεβαια αυτο που πα να κανεις, το εχουν κανει χιλιαδες. Κοιτα να φτιαξεις κανα ρομποτακι καλυτερα, το οποιο θα ψαχνει για patterns. px https://www.greecebulls.com/Default.aspx?lang=en

[george991]

Βεβαια αυτο που πα να κανεις, το εχουν κανει χιλιαδες. Κοιτα να φτιαξεις κανα ρομποτακι καλυτερα, το οποιο θα ψαχνει για patterns. px https://www.greecebulls.com/Default.aspx?lang=en

 

Ναι το έχουνε κάνει χιλιάδες. Και το έχουν κάνει και καλύτερα από εμένα. Αλλά έχω βαρεθεί να γράφω σε κάθε απάντηση ότι δεν το κάνω για να βγάλω χρήμα. Ο αρχικός σκοπός μου είναι να μάθω! Διάλεξα αυτό τον τομέα γιατί έχει ψωμί και μπορώ να δοκιμάσω πολλές μεθόδους για να προσεγγίσω το πρόβλημα. ΔΕΝ πρόκειται να παίξω χρηματιστήριο για τους επόμενους τουλάχιστον 6 μήνες ανεξάρτητα από τα αποτελέσματα που θα έχω! Άρα δεν με νοίαζει το κέρδος. Είναι εκπαιδευτικό project. Σε ευχαριστώ για το λινκ αλλά δεν θα πληρώσω για τα δεδομένα, ειδίκα όταν δεν πρόκειτα για κάτι commercial και ούτε για να βγάλω εγώ λεφτά.

[Επισκέπτης]

Παλιότερα ήταν εύκολο να κάνεις αυτό που θέλεις γιατί υπήρχε το ελεύθερο api του yahoo finance και όταν ήθελες ιστορικές τιμές για μια μετοχή του χρηματιστηρίου έβαζες τικερ  (πχ για την ΕΕΕ ήταν ΕΕΕ.ΑΤ) και από - έως και στα κατέβαζε σε csv αρχείο. Τώρα το κλείδωσαν. Όσο για το project μην περιμένεις πολλά πράγματα. Υπάρχουν κερδοφόρα συστήματα αλλά πρέπει να έχεις εξωφρενικά μικρές προμήθειες και ακόμα και τα χιλιοστά του δευτερολέπτου παίζουν ρόλο γιατί πρέπει να βάζεις και να ακυρώνεις εντολές ακαριαία. Κοινώς, αυτό που πας να κάνεις το έχουν κάνει άλλοι με πολύ περισσότερα χρήματα και θεωρητικές - πρακτικές γνώσεις από στρατιές quants, οπότε για τους ιδιώτες έχει μείνει κερδοφορία μόνο σε μεγαλύτερους χρονικούς ορίζοντες.

[george991]

Από τα πρώτα που κοίταξα ήταν το yahoo finance αλλά τα historical data περιορίζονται στο τελευταίο έτος μόνο. Δεν ενδιαφέρομαι για real time trading αλλά για κάποιο μικρό βάθος χρόνου λίγων ημερών. Σε ευχαριστώ για την απαντησή σου πάντως.

[Επισκέπτης]

Έχει ετών, κατέβαζες δεδομένα ακόμα και από το 1950. Απλά τώρα γίνεται μόνο χειροκίνητα ενώ παλιά το έκανες με κώδικα

        private string urlTemplate =
    @"http://ichart.finance.yahoo.com/table.csv?s=[symbol]&a=" +
      "[startMonth]&b=[startDay]&c=[startYear]&d=[endMonth]&e=" +
         "[endDay]&f=[endYear]&g=[period]&ignore=.csv";

[Alithinos]

Το μεγαλύτερο πρόβλημα σε αυτό που θες να κάνεις είναι ότι οι τιμές των μετοχών δεν αλλάζουν από μόνες τους.

 

Ένα σκάνδαλο για το γενικό διευθυντή, μια φωτιά στο εργοστάσιο, κακές κριτικές στο τύπο, και άλλα πολλά μπορούν να ρήξουν τη τιμή μετοχών μιας εταιρίας.

 

Μια καινοτομία στο τμήμα έρευνας και ανάπτυξης, ένα κοινωνικό συμβάν, αλλαγές στο πως δουλεύουν οι τράπεζες, μπορούν να επηρεάσουν θετικά ή αρνητικά.

 

Δε μπορεί πιθανότατα το λογισμικό να τα προβλέψει όοοολα αυτά, εκτός αν εκτός απ' το input των τιμών καθαυτών υπάρχει και input για όλα τα υπόλοιπα. Ετοίμασε λοιπόν έναν super computer, οικονομολόγους, κοινωνιολόγους, και ένα σωρό επιστήμονες να σου πουν πως και πότε φαίνεται να συμβαίνουν όσα προανέφερα και ακόμα περισσότερα, και ίσως να καταφέρεις να φτιάξεις κάτι κάποτε.

 

Αν ήταν τόσο εύκολο να προβλευθούν οι τιμές των μετοχών, όλοι εκατομμυριούχοι θα ήμασταν.