[23/12/2022] Σεμινάριο Τομέα Στατιστικής και Επιχειρησιακής Έρευνας – Βασίλης Απιδόπουλος (Πανεπιστήμιο της Γένοβας) – Επαναληπτική ομαλοποίηση για προβλήματα ταξινόμησης μέσω διαγώνιων μεθόδων κλίσης της συνάρτησης κόστους hinge

Τίτλος: Επαναληπτική ομαλοποίηση για προβλήματα ταξινόμησης μέσω διαγώνιων μεθόδων κλίσης της συνάρτησης κόστους hinge

Περίληψη: Η επαναληπτική ομαλοποίηση είναι μια κλασική ιδέα στη θεωρία της ομαλοποίησης, η οποία έχει γίνει πρόσφατα δημοφιλής στη μηχανική μάθηση. Από τη μία πλευρά, επιτρέπει το σχεδιασμό αποδοτικών αλγορίθμων που ελέγχουν συγχρόνως την αριθμητική καθώς και τη στατιστική ακρίβεια. Από την άλλη πλευρά, επιτρέπει την καλύτερη ανίχνευση των καμπυλών μάθησης που παρατηρούνται κατά την εκπαίδευση των νευρωνικών δικτύων. Στην παρούσα εργασία, εστιάζουμε στην επαναληπτική ομαλοποίηση στο πλαίσιο των προβλημάτων ταξινόμησης (classification). Αφού συγκρίνουμε αυτό το πλαίσιο με εκείνο της παλινδρόμησης (regression) και των αντίστροφων προβλημάτων, αναπτύσσουμε μια μέθοδο επαναληπτικής ομαλοποίησης που βασίζεται στη χρήση της συνάρτησης κόστους hinge. Πιο συγκεκριμένα μελετάμε μια διαγώνια προσέγγιση για μια οικογένεια αλγορίθμων για την οποία αποδεικνύουμε σύγκλιση καθώς και ταχύτητα σύγκλισης. Η προσέγγισή μας συγκρίνεται ευνοϊκά με εναλλακτικές μεθόδους, όπως επιβεβαιώνεται και σε αριθμητικές προσομοιώσεις.