Σύνολο δεδομένων απώλειας βάρους: Γιατί τα μη ισορροπημένα δεδομένα είναι κακά για τη μηχανική μάθηση;

Εξάλλου, το πρόβλημα είναι ότι τα μοντέλα που εκπαιδεύονται σε μη ισορροπημένα σύνολα δεδομένων έχουν συχνά φτωχά αποτελέσματα όταν πρέπει να γενικεύσουν (να προβλέψουν μια κλάση ή να ταξινομήσουν αθέατες παρατηρήσεις). Παρά τον αλγόριθμο που επιλέγετε, ορισμένα μοντέλα θα είναι πιο ευαίσθητα σε μη ισορροπημένα δεδομένα από άλλα.

Πώς επηρεάζει η κλίμακα των βαρών τη συνάρτηση απώλειας;

Εσωτερικά, τα βάρη w πολλαπλασιάζονται με τα υπολείμματα στη συνάρτηση απώλειας [ 1 ]: Επομένως, σημασία έχει η σχετική κλίμακα των βαρών. Το N μπορεί να περάσει ως έχει εάν αντικατοπτρίζει ήδη τις προτεραιότητες. Η ομοιόμορφη κλιμάκωση δεν θα άλλαζε το αποτέλεσμα. Ακολουθεί ένα παράδειγμα.

Μπορείτε να ορίσετε το βάρος της κλάσης για κάθε κλάση όταν το σύνολο δεδομένων δεν είναι ισορροπημένο.

Πώς κανονικοποιείτε την απώλεια σε ένα μοντέλο παλινδρόμησης;

reduction='mean': η απώλεια θα κανονικοποιηθεί με το άθροισμα των αντίστοιχων βαρών για κάθε στοιχείο. Είναι η προεπιλογή. reduction='none': θα πρέπει να φροντίσετε μόνοι σας για την κανονικοποίηση. Συνήθως, αυξάνετε το βάρος για τις τάξεις μειοψηφίας, έτσι ώστε να αυξηθεί και η απώλειά τους και να αναγκαστεί το μοντέλο να μάθει αυτά τα δείγματα.

Πώς μπορώ να ορίσω το βάρος της κλάσης για μη ισορροπημένα σύνολα δεδομένων;

Μπορείτε να ορίσετε το βάρος της κλάσης για κάθε κλάση όταν το σύνολο δεδομένων δεν είναι ισορροπημένο. Ας υποθέσουμε ότι έχετε 5000 δείγματα της κλάσης dog και 45000 δείγματα της κλάσης not-dog και τροφοδοτείτε το class_weight = {0: 5, 1: 0.5}.

Ποια διαμόρφωση βάρους κλάσης είναι η καλύτερη για το XGBoost σε μη ισορροπημένο σύνολο δεδομένων;

... Συνδέοντας τα παραπάνω, το παρακάτω παράδειγμα αναζητά οκτώ διαφορετικά θετικά βάρη κλάσεων για τον αλγόριθμο XGBoost στο μη ισορροπημένο σύνολο δεδομένων. Θα μπορούσαμε να περιμένουμε ότι η ευρετική στάθμιση κλάσεων είναι η διαμόρφωση με τις καλύτερες επιδόσεις.

Έτσι, εξετάσαμε ένα μεγάλο σύνολο δεδομένων από μια εφαρμογή κινητού τηλεφώνου για να κατανοήσουμε την επίδραση των εβδομαδιαίων προτύπων θερμιδικής πρόσληψης στην επιτυχία της απώλειας βάρους.

Τι σημαίνει κανονικοποίηση των μεταβλητών;

Η "κανονικοποίηση των μεταβλητών" δεν έχει νόημα. Η σωστή ορολογία είναι "κανονικοποίηση / κλιμάκωση των χαρακτηριστικών". Αν πρόκειται να κανονικοποιήσετε ή να κλιμακώσετε ένα χαρακτηριστικό, θα πρέπει να κάνετε το ίδιο και για τα υπόλοιπα. Εμφάνιση δραστηριότητας σε αυτή τη θέση. Αυτό έχει νόημα επειδή η κανονικοποίηση και η τυποποίηση κάνουν διαφορετικά πράγματα.

Τι είναι ένα μη ισορροπημένο σύνολο δεδομένων; Με απλά λόγια, ένα μη ισορροπημένο σύνολο δεδομένων είναι εκείνο στο οποίο η μεταβλητή-στόχος έχει περισσότερες παρατηρήσεις σε μια συγκεκριμένη κλάση από ό,τι οι άλλες. Για παράδειγμα, ας υποθέσουμε ότι έχουμε ένα σύνολο δεδομένων που χρησιμοποιείται για την ανίχνευση μιας δόλιας συναλλαγής.

Αυτό το σύνολο δεδομένων περιλαμβάνει δεδομένα σχετικά με τη διατροφή, τη σωματική δραστηριότητα και την κατάσταση βάρους των ενηλίκων από το Σύστημα επιτήρησης παραγόντων κινδύνου συμπεριφοράς.

Κατασκευασμένα δεδομένα σχετικά με την απώλεια βάρους και την αυτοεκτίμηση σε διάστημα τριών μηνών, για τρεις ομάδες ατόμων: Δίαιτα και δίαιτα + άσκηση.

Οι ερευνητές διερεύνησαν αν τα οικονομικά κίνητρα θα βοηθούσαν τους ανθρώπους να χάσουν βάρος με μεγαλύτερη επιτυχία.

Στη συνέχεια, τα άτομα έμειναν μόνα τους για τρεις μήνες και έκαναν έλεγχο του βάρους τους μετά από επτά μήνες για να δουν αν η απώλεια βάρους συνεχίστηκε μετά τους τέσσερις μήνες της αρχικής θεραπείας.

Το Kaggle είναι η μεγαλύτερη κοινότητα επιστήμης δεδομένων στον κόσμο με ισχυρά εργαλεία και πόρους που θα σας βοηθήσουν να επιτύχετε τους στόχους σας στην επιστήμη δεδομένων.

Κάθε χρήστης έχει τρεις στατικούς στόχους: 2) έναν εβδομαδιαίο στόχο απώλειας βάρους και 3) έναν ημερήσιο στόχο καθαρών θερμίδων.

Πότε η απώλεια γίνεται σταθμισμένος μέσος όρος στο scikit-learn;

Η απώλεια γίνεται σταθμισμένος μέσος όρος όταν το βάρος κάθε δείγματος καθορίζεται από το class_weight και την αντίστοιχη κλάση. Μπορείτε να υπολογίσετε το βάρος της κλάσης προγραμματιστικά χρησιμοποιώντας το sklearn.utils.compute_class_weight () της scikit-learn.

Τι είναι ο αλγόριθμος scikit-learn;

Η εφαρμογή του scikit-learn βασίζεται στον αλγόριθμο που περιγράφεται στο Παράρτημα Α του (Tipping, 2001), όπου η ενημέρωση των παραμέτρων α και λ γίνεται όπως προτείνεται στο (MacKay, 1992). Η αρχική τιμή της διαδικασίας μεγιστοποίησης μπορεί να οριστεί με τις υπερπαραμέτρους alpha_init και lambda_init.

Τι είναι ένα γραμμικό μοντέλο στο scikit-learn;

Γραμμικά μοντέλα - scikit-learn 1.0.1 τεκμηρίωση 1.1. Γραμμικά Μοντέλα ¶ Τα παρακάτω είναι ένα σύνολο μεθόδων που προορίζονται για παλινδρόμηση στην οποία η τιμή-στόχος αναμένεται να είναι ένας γραμμικός συνδυασμός των χαρακτηριστικών. Σε μαθηματικό συμβολισμό, αν y ^ είναι η προβλεπόμενη τιμή.

Αυτό το σεμινάριο δείχνει πώς να δημιουργήσετε μια συνάρτηση απωλειών για ένα ανισόρροπο σύνολο δεδομένων στο οποίο η τάξη μειονότητας αναλογικά με την υποεκπροσώπησή της.

Είναι καλύτερο το L1 ή το L2 σε ένα ισορροπημένο ή μη ισορροπημένο σύνολο δεδομένων;

Το L1 ή το L2 δεν θα αποδώσουν ιδιαίτερα καλύτερα σε ένα ισορροπημένο ή μη ισορροπημένο σύνολο δεδομένων, αυτό που θέλετε να κάνετε είναι να καλέσετε ελαστικά δίκτυα (που είναι ένας συνδυασμός των δύο) και να κάνετε διασταυρωμένη επικύρωση πάνω στους συντελεστές καθενός από τους κανονικοποιητές. Επίσης, το να κάνετε αναζήτηση πλέγματος είναι πολύ περίεργο, είναι καλύτερα να χρησιμοποιήσετε απλώς διασταυρωμένη επικύρωση και να δείτε ποιες παράμετροι λειτουργούν καλύτερα.

Ποιοι είναι οι περιορισμοί του υπολογισμού των απωλειών σε ένα μη ισορροπημένο σύνολο δεδομένων;

Ο περιορισμός του υπολογισμού των απωλειών στο σύνολο δεδομένων εκπαίδευσης είναι ότι τα παραδείγματα από κάθε κλάση αντιμετωπίζονται με τον ίδιο τρόπο, πράγμα που για ανισόρροπα σύνολα δεδομένων σημαίνει ότι το μοντέλο προσαρμόζεται πολύ περισσότερο για τη μία κλάση από ό,τι για την άλλη.

Πώς να βελτιώσετε τις επιδόσεις σε μη ισορροπημένα σύνολα δεδομένων;

Θα συνιστούσα να δοκιμάσετε μερικές από τις μεθόδους επαναδειγματοληψίας και να επιλέξετε μια μετρική (π.χ. απώλεια καταγραφής ή παρόμοια) που αποτυπώνει καλύτερα τον στόχο του έργου σας. Αναφέρατε ότι "τα δέντρα αποφάσεων συχνά αποδίδουν καλά σε μη ισορροπημένα σύνολα δεδομένων".

Μόνο τα δεδομένα 4 μηνών (με τις ελλείπουσες τιμές να παραλείπονται) αποθηκεύονται στο WeightLossIncentive4.

Θα πρέπει επίσης να κανονικοποιηθούν οι ετικέτες των δεδομένων παλινδρόμησης; Πρόσφατα μου είπαν ότι οι ετικέτες των δεδομένων παλινδρόμησης θα πρέπει επίσης να κανονικοποιηθούν για καλύτερο αποτέλεσμα, αλλά είμαι αρκετά αμφίβολος γι' αυτό. Δεν έχω δοκιμάσει ποτέ την κανονικοποίηση των ετικετών τόσο στην παλινδρόμηση όσο και στην ταξινόμηση, γι' αυτό δεν ξέρω αν αυτή η κατάσταση είναι αληθινή ή όχι.

Πηγαίνετε στο αρχείο Πηγαίνετε στο αρχείο T; Πηγαίνετε στη γραμμή L; Αντιγράψτε τη διαδρομή Αντιγράψτε το Permalink; Αυτή η δέσμευση δεν ανήκει σε κανέναν κλάδο αυτού του αποθετηρίου και μπορεί να ανήκει σε μια διακλάδωση εκτός του αποθετηρίου.