Ξεκαθάρισμα κωδικολόγιο

[andreaspA]

24 λεπτά πριν, dpolal είπε

Όσον αφορά τις ασφαλιστικές, μιας και έχω περάσει 3 φεγγάρια από Allianz, συνήθως χρησιμοποιούσαν ονοματεπώνυμο και πατρώνυμο.

Οτι ακριβως χρησιμοποιει και ο φιλος παραπανω. 

ΜΠΡΙΖΟΛΑ ΧΟΙΡΙΝΗ ΚΤΨ και ΜΠΡΙΖΟΛΑ ΚΤΨ ΧΟΙΡΙΝΗ.

Το ιδιο ακριβως εκανε και η Allianz και ολες. Για αυτο και υπαρχουν 10 καρτελες πελατη για καθε πελάτη.

τεσπα.

[Ukforthemoment]

Aν τα βάλεις να τα "εκτυπώσει" βάση περιγραφής και όχι κωδικού δεν θα στα πάει όλα με τις ίδιες περιγραφές το ένα κάτω απο το άλλο;

[lyda94]

4 ώρες πριν, elio_1 είπε

Από python, κάνε εξαγωγή σε csv.

Θεωρώ ότι υπάρχουν στήλες με id, description, Id_2 που αντιστοιχούν στα πεδία της αναζήτησης

import pandas as pd
import time
file = 'qqq.csv' # γράψε το όνομα του αρχείου
timestr = time.strftime("%Y%m%d-%H%M%S")

def anaz(query):
    results1 = inv_1[inv_1['id'].str.contains(query)]
    results2 = inv_1[inv_1['description'].str.contains(query)]
    results3 = inv_1[inv_1['Id_2'].str.contains(query)]

    results_t = [results1, results2, results3]
    results_q = pd.concat(results_t).drop_duplicates().reset_index(drop=True)
    
    return results_q

inv_1 = pd.read_csv(file)
inv_1['id'] = inv_1['id'].astype('string')
inv_1['description'] = inv_1['description'].astype('string')
inv_1['Id_2'] = inv_1['Id_2'].astype('string')

print("Για τερματισμό πατα enter στην αναζήτηση")
while True :
    ask = input("αναζήτηση... ").upper()
    if ask == '': break
    else:
        que = anaz(ask)
        grammes = que.shape[0]
        print(que, '\n πλήθος προϊόντων',grammes)

Χρησιμοποιεί 3 στήλες,

id

description

Id_2

και θεωρεί ότι είναι στα κεφαλαία...

 

Δεν καταλαβα τιποτα!

2 ώρες πριν, Ukforthemoment είπε

λογικά αν έχει κίνηση ο κωδικός δεν θα μπορεί να διαγραφεί.

 

Δεν σου βγάζει αποτελέσματα αν βάλεις σκέτο "μπριζόλα";

Ναι, αν εχει κινηθει στη χρηση, δεν με αφηνει να τον διαγραψω. Αν βάλω μπριζόλα, θα μου βγάλει 20 κωδικούς, το έχω ψιλοφτιάξει αυτό. Αν βάλω, όμως πχ μπαταρια, θα μου βγάλει 511 κωδικούς.

 

33 λεπτά πριν, Ukforthemoment είπε

Aν τα βάλεις να τα "εκτυπώσει" βάση περιγραφής και όχι κωδικού δεν θα στα πάει όλα με τις ίδιες περιγραφές το ένα κάτω απο το άλλο;

Δυστυχώς, όχι!

3 ώρες πριν, dpolal είπε

Για πόσο μεγάλη επιχείρηση μιλάμε δηλαδή;
Να υποθέσω ότι μάλλον πρόκειται για κάποια αποθήκη, διότι τα super market συνήθως είναι ποιο οργανωμένα σε αυτόν τον τομέα.

Μιλάμε για τροφοδόσίες πλοίων. Εκτός του στοκ, ό,τι μπαίνει βγαίνει. Και μιλάμε για παραγγελίες μπορεί και 300-400 κωδικών. 

Δοκίμασα τα plug-ins που μου είπε το παιδί πιο πάνω, αλλά δεν είχαμε τύχη! Κρίμα, και το είχα πιστέψει!

Επεξ/σία 10 Ιανουαρίου 2023 από lyda94

[elio_1]

9 ώρες πριν, lyda94 είπε

Δεν καταλαβα τιποτα!

Είναι με python.

χρησιμοποιεί αρχείο που έχεις κάνει export από το πρόγραμμα σε μορφή csv, μια μορφή αρχείων τιμών όπως το excel.

Πραγματοποιεί αναζήτηση σε 3 στήλες που είναι απαραίτητο να έχουν τίτλο "id", "description" & "Id_2" (case sensitive). Μπορεί να περιέχει κι άλλες στήλες αλλά δεν γίνεται σε αυτές η αναζήτηση.

Το παράδειγμα της εικόνας στο προηγούμενο post μου δείχνει μια αναζήτηση για "μεταφορικ".

Η επιστροφή είναι μια "λίστα" που εμφανίζει τις γραμμές που περιέχουν το κείμενο που ζητήθηκε και το πλήθος τους.

[lyda94]

41 λεπτά πριν, elio_1 είπε

Είναι με python.

χρησιμοποιεί αρχείο που έχεις κάνει export από το πρόγραμμα σε μορφή csv, μια μορφή αρχείων τιμών όπως το excel.

Πραγματοποιεί αναζήτηση σε 3 στήλες που είναι απαραίτητο να έχουν τίτλο "id", "description" & "Id_2" (case sensitive). Μπορεί να περιέχει κι άλλες στήλες αλλά δεν γίνεται σε αυτές η αναζήτηση.

Το παράδειγμα της εικόνας στο προηγούμενο post μου δείχνει μια αναζήτηση για "μεταφορικ".

Η επιστροφή είναι μια "λίστα" που εμφανίζει τις γραμμές που περιέχουν το κείμενο που ζητήθηκε και το πλήθος τους.

και μπορω να το κανω καπως εγω αυτό?

[elio_1]

link

[dpolal]

4 λεπτά πριν, elio_1 είπε

link

Φίλε.
Αφενός δεν έχεις ρωτήσει αν η ts έχει κάποιες βασικές γνώσεις προγραμματισμού προκειμένου να μπορέσει να κατανοήσει τις οδηγίες που παρέθεσες στο πρώτο μήνυμα σου, πόσο μάλλον να εγκαταστήσει την python.

Αφετέρου η λύση που έδωσες παίζει με αναζήτηση που δεν βολεύει, δεν είναι εφικτό να κάθεται και να πληκτρολογεί random λεκτικά προκειμένου να τις φέρνει εγγραφές γιατί δεν μπορεί να ξέρει τι γίνεται μέσα σε 30τόσες χιλιάδες records.

[elio_1]

Από τη στιγμή που κάποιος ρωτάει θα πάρει κάποιες απαντήσεις.

Δεν είναι απαραίτητο να αρέσουν όλες...

Αν δεν ξέρει λοιπόν κάποιος να κάνει μια εγκατάσταση σε ένα πρόγραμμα που είναι next->next->finish θεωρείς ότι είναι σε θέση να κάνει αλλαγές στο erp;

Η κριτική για την αποτελεσματικότητα είναι κάτι που μπορώ να το καταλάβω.

Εικάζω όμως με πολύ λίγες αναζητήσεις ίσως να μπορέσει να βρει ένα μοτίβο για να το χρησιμοποιήσει.

[archer100]

Αυτο που θες να κανεις λεγεται text similarity check και υπαρχουν διαφοροι τροποι και μετρικες για να συγκρινεις 2 κωδικους μεταξυ τους. Το καλυτερο ειναι να σορταρεις ολους τους κωδικους αλφαβητικα (εννοω να σορταρεις τους ιδιους τους κωδικους και οχι την στηλη με τους κωδικους) και να τρεξεις ενα text similarity check. Εγω εχω χρησιμοποιησει σε αρκετα projects το Levenshtein distance που σου δειχνει ποσο ομοιοι ειναι 2 κωδικοι, πχ αν απεχουν μεταξυ τους 1 χαρακτηρα (πχ αλογο-αλογμο, κλπ), 2 χαρακτηρες, κλπ και το εχω κανει με Python

https://blog.paperspace.com/implementing-levenshtein-distance-word-autocomplete-autocorrect/#:~:text=The Levenshtein distance is a,transform one word into another.

Για το παραδειγμα σου, ΧΟΙΡΙΝΗ ΜΠΡΙΖΟΛΑ ΚΤΨ" και το "ΜΠΡΙΖΟΛΑ ΧΟΙΡΙΝΗ ΚΤΨ" με τον παραπανω τροπο θα βγαλουν  Levenshtein distance = 0 δηλαδη ειναι ομοιοι (αφου εχουν σορταριστει)

Ξεκινηστε με ολα τα Levenshtein distance = 0 και μετα μπορειτε να δουλεψετε στα Levenshtein distance = 1 

Τα πρωτα μπορουν να διαγραφουν σχεδον με ασφαλεια και αρκετα απο τα δευτερα, θα προτεινα ομως να τα περασετε και ενα ελεγχο χειροκινητα για την περιπτωση που δεν προκειται για ομοιους κωδικους πχ Φασολια1 και Φασολια10 μπορει να ειναι διαφορετικα προιοντα και δεν πρεπει να σβηστει καποιο απο τα 2, η προιοντα που ειναι διαφορετικα αλλα εχουν αναγραμματισμο 

Με Levenshtein distance = 2 μην ασχοληθειτε καθολου γιατι εκει ο κινδυνος να μην ειναι ομοιοι οι κωδικοι ειναι πολυ μεγαλος. Πχ ρυζι και ζυμη θα βγαινουν ομοια επειδη εχουν και τα 2 το ζυ, κλπ

Καλυτερα να προσλαβετε εναν επαγγελματια να σας το κανει, δε θα χρειαστει πανω απο 4-5 ωρες δουλεια, ισως λιγοτερο, οποτε με 100-200 ευρω θα εχετε καθαρισει και θα εχετε κανει καλη δουλεια και οχι του ποδαριου

Επεξ/σία 11 Ιανουαρίου 2023 από archer100

[lyda94]

1 ώρα πριν, dpolal είπε

Φίλε.
Αφενός δεν έχεις ρωτήσει αν η ts έχει κάποιες βασικές γνώσεις προγραμματισμού προκειμένου να μπορέσει να κατανοήσει τις οδηγίες που παρέθεσες στο πρώτο μήνυμα σου, πόσο μάλλον να εγκαταστήσει την python.

Αφετέρου η λύση που έδωσες παίζει με αναζήτηση που δεν βολεύει, δεν είναι εφικτό να κάθεται και να πληκτρολογεί random λεκτικά προκειμένου να τις φέρνει εγγραφές γιατί δεν μπορεί να ξέρει τι γίνεται μέσα σε 30τόσες χιλιάδες records.

ευχαριστω! ❤️ 

 

40 λεπτά πριν, archer100 είπε

Αυτο που θες να κανεις λεγεται text similarity check και υπαρχουν διαφοροι τροποι και μετρικες για να συγκρινεις 2 κωδικους μεταξυ τους. Το καλυτερο ειναι να σορταρεις ολους τους κωδικους αλφαβητικα (εννοω να σορταρεις τους ιδιους τους κωδικους και οχι την στηλη με τους κωδικους) και να τρεξεις ενα text similarity check. Εγω εχω χρησιμοποιησει σε αρκετα projects το Levenshtein distance που σου δειχνει ποσο ομοιοι ειναι 2 κωδικοι, πχ αν απεχουν μεταξυ τους 1 χαρακτηρα (πχ αλογο-αλογμο, κλπ), 2 χαρακτηρες, κλπ και το εχω κανει με Python

https://blog.paperspace.com/implementing-levenshtein-distance-word-autocomplete-autocorrect/#:~:text=The Levenshtein distance is a,transform one word into another.

Για το παραδειγμα σου, ΧΟΙΡΙΝΗ ΜΠΡΙΖΟΛΑ ΚΤΨ" και το "ΜΠΡΙΖΟΛΑ ΧΟΙΡΙΝΗ ΚΤΨ" με τον παραπανω τροπο θα βγαλουν  Levenshtein distance = 0 δηλαδη ειναι ομοιοι (αφου εχουν σορταριστει)

Ξεκινηστε με ολα τα Levenshtein distance = 0 και μετα μπορειτε να δουλεψετε στα Levenshtein distance = 1 

Τα πρωτα μπορουν να διαγραφουν σχεδον με ασφαλεια και αρκετα απο τα δευτερα, θα προτεινα ομως να τα περασετε και ενα ελεγχο χειροκινητα για την περιπτωση που δεν προκειται για ομοιους κωδικους πχ Φασολια1 και Φασολια10 μπορει να ειναι διαφορετικα προιοντα και δεν πρεπει να σβηστει καποιο απο τα 2, η προιοντα που ειναι διαφορετικα αλλα εχουν αναγραμματισμο 

Με Levenshtein distance = 2 μην ασχοληθειτε καθολου γιατι εκει ο κινδυνος να μην ειναι ομοιοι οι κωδικοι ειναι πολυ μεγαλος. Πχ ρυζι και ζυμη θα βγαινουν ομοια επειδη εχουν και τα 2 το ζυ, κλπ

Καλυτερα να προσλαβετε εναν επαγγελματια να σας το κανει, δε θα χρειαστει πανω απο 4-5 ωρες δουλεια, ισως λιγοτερο, οποτε με 100-200 ευρω θα εχετε καθαρισει και θα εχετε κανει καλη δουλεια και οχι του ποδαριου

Θα κάνω ό,τι μπορώ μόνη μου και για το μετά θα δούμε. Δεν έχω ξανατρέξει python και το φοβάμαι. Σπίτι μου θα το δοκίμαζα, αλλά στη δουλειά δεν θέλω να το ρισκάρω. Ευχαριστώ πολύ πάντως!

[archer100]

29 λεπτά πριν, lyda94 είπε

ευχαριστω! ❤️ 

 

Θα κάνω ό,τι μπορώ μόνη μου και για το μετά θα δούμε. Δεν έχω ξανατρέξει python και το φοβάμαι. Σπίτι μου θα το δοκίμαζα, αλλά στη δουλειά δεν θέλω να το ρισκάρω. Ευχαριστώ πολύ πάντως!

Μην προσπαθησεις μονη σου με την Python, δε θα μπορεσεις να κανεις κατι γιατι πρεπει να γραφτει κωδικας. 

Εψαξα να βρω πως μπορει καποιος να σορταρει το κειμενο ΕΝΤΟΣ των κελιων στο Εξελ και παραδοξως ειδα πως για την απλη αυτη διαδικασια χρειαζεται VBA. Περιμενα να υπαρχει ετοιμη συναρτηση για αυτο. 

Τελοςπαντων, αν εχεις πολλες περιπτωσεις σαν αυτη που ανεφερες, αξιζει να σορταρεις ολους τους κωδικους αλφαβητικα και να τσεκαρεις για ομοιοτητες. Μπορεις να το καταφερεις κανοντας το παρακατω τρυκ:

1. Κανε copy-paste την στηλη με τους κωδικους σε ενα αδειο φυλλο

2. Επελεξε την στηλη με τους κωδικους και μετα: Data -> Text to columns -> Fixed width -> Επελεξε πλατος 1 χαρακτηρα, και κανε το ιδιο για ολο το μηκος του μακρυτερου κωδικου που εχεις, πχ αν ο μακρυτερος κωδικος σου εχει 20 χαρακτηρες, επελεξε 20 στηλες του ενος χαρακτηρα. Αυτο θα μεταφερει ολους τους χαρακτηρες σε ξεχωριστα κελια ο ενας διπλα στον αλλον

3. Επελεξε ολον τον πινακα με τους χαρακτηρες σου κανε αντιγραφη, πηγαινε σε νεο κενο φυλλο και κανε Ειδικη Επικολληση και Αντιμεταθεση (transpose). Αυτο θα σου μετατρεψει της γραμμες σε στηλες

4. Επελεξε καθε στηλη ξεχωριστα και κανε Sort -> continue with current selection. Αυτο θα σορταρει μονο την επιλεγμενη στηλη, χωρις να επηρεασει τις αλλες στηλες. Κανε το ιδιο για ολες σου τις στηλες 

5. Επελεξε ολον τον πινακα και κανε copy-paste σε νεο κενο φυλλο και παλι με Αντιμεταθεση (transpose)

6. Πηγαινε στην πρωτη κενη στηλη στα δεξια στην πρωτη γραμμη (δηλαδη μετα το τελος του μακρυτερου κωδικου) και βαλε τη συναρτηση concat και επελεξε ολα τα κελια αριστερα. Αυτο θα ενωσει ολους τους χαρακτηρες σε μια λεξη. Εφαρμοσε την ιδια συναρτηση σε ολοκληρη τη στηλη (ολες τις 36000 γραμμες)

Με τον παραπανω τροπο θα εχεις μια νεα στηλη που θα περιεχει ολους σου τους κωδικους σορταρισμενους αλφαβητικα. Μπορεις να διωξεις τους διπλους κωδικους με drop duplicates και επισης μπορεις να σορταρεις ολοκληρη την στηλη και να την ελεγξεις χειρονακτικα για να βρεις ομοιοητητες. Θα σου παρει λιγο χρονο για τις 36000 γραμμες αλλα θα εχεις ενα καλο αποτελεσμα

Αν χρειαστεις βοηθεια για την παραπανω διαδικασια, στη διαθεση σου. Καλη επιτυχια!

Update: Μολις ειδα πως ο παραπανω τροπος δε θα δουλεψει γιατι θα εχεις 36000 στηλες να σορταρεις χειροκινητα μια-μια που ειναι αδυνατο. Βρηκα τον παρακατω τροπο, αλλα χρειαζεται ενα add-in που ειναι επι πληρωμη. Σορταρει ολες τις στηλες ανεξαρτητα τη μια απο την αλλη. Ψαξε μηπως υπαρχει παρομοια λυση που δε χρειαζεται πληρωμη
https://reshapexl.com/HowTo/Function/Arrange

Εναλλακτικα, μπορεις να χρησιμοποιησεις καποια λυση με VBA, μπορεις να βρεις ευκολα με λιγη αναζητηση

Επεξ/σία 11 Ιανουαρίου 2023 από archer100

[vs_skg]

1 ώρα πριν, archer100 είπε

Αυτο που θες να κανεις λεγεται text similarity check και υπαρχουν διαφοροι τροποι και μετρικες για να συγκρινεις 2 κωδικους μεταξυ τους. Το καλυτερο ειναι να σορταρεις ολους τους κωδικους αλφαβητικα (εννοω να σορταρεις τους ιδιους τους κωδικους και οχι την στηλη με τους κωδικους) και να τρεξεις ενα text similarity check. Εγω εχω χρησιμοποιησει σε αρκετα projects το Levenshtein distance που σου δειχνει ποσο ομοιοι ειναι 2 κωδικοι, πχ αν απεχουν μεταξυ τους 1 χαρακτηρα (πχ αλογο-αλογμο, κλπ), 2 χαρακτηρες, κλπ και το εχω κανει με Python

https://blog.paperspace.com/implementing-levenshtein-distance-word-autocomplete-autocorrect/#:~:text=The Levenshtein distance is a,transform one word into another.

Για το παραδειγμα σου, ΧΟΙΡΙΝΗ ΜΠΡΙΖΟΛΑ ΚΤΨ" και το "ΜΠΡΙΖΟΛΑ ΧΟΙΡΙΝΗ ΚΤΨ" με τον παραπανω τροπο θα βγαλουν  Levenshtein distance = 0 δηλαδη ειναι ομοιοι (αφου εχουν σορταριστει)

Ξεκινηστε με ολα τα Levenshtein distance = 0 και μετα μπορειτε να δουλεψετε στα Levenshtein distance = 1 

Τα πρωτα μπορουν να διαγραφουν σχεδον με ασφαλεια και αρκετα απο τα δευτερα, θα προτεινα ομως να τα περασετε και ενα ελεγχο χειροκινητα για την περιπτωση που δεν προκειται για ομοιους κωδικους πχ Φασολια1 και Φασολια10 μπορει να ειναι διαφορετικα προιοντα και δεν πρεπει να σβηστει καποιο απο τα 2, η προιοντα που ειναι διαφορετικα αλλα εχουν αναγραμματισμο 

Με Levenshtein distance = 2 μην ασχοληθειτε καθολου γιατι εκει ο κινδυνος να μην ειναι ομοιοι οι κωδικοι ειναι πολυ μεγαλος. Πχ ρυζι και ζυμη θα βγαινουν ομοια επειδη εχουν και τα 2 το ζυ, κλπ

Καλυτερα να προσλαβετε εναν επαγγελματια να σας το κανει, δε θα χρειαστει πανω απο 4-5 ωρες δουλεια, ισως λιγοτερο, οποτε με 100-200 ευρω θα εχετε καθαρισει και θα εχετε κανει καλη δουλεια και οχι του ποδαριου

αυτή είναι η μοναδική σωστή απάντηση

αν δωθεί σε επαγγελματία ενδεχομένως να μπορεί να βρει και συνώνυμα μέσω word embeddings χρησιμοποιώντας πχ spacy

Επεξ/σία 11 Ιανουαρίου 2023 από vs_skg

[rodosf1]

μου κάνει εργασία για Power-BI της Microsoft αν εισάγει κανείς εκεί το φύλλο εργασίας, νομίζω σορταρει εύκολα περιπτώσεις σαν της... ΜΠΡΙΖΟΛΑς. 

Κάποιος που γνωρίζει όπως ειπώθηκε θα στο κάνει σε μια μέρα με, ένα νορμάλ ποσό. Οπότε βρίσκεις κάποιον κ το κάνεις.