Une nouvelle méthode d'accélération pour LASSO par élimination sûre de variables

Thu-Le Tran (1) , Clément Elvira (2) , Hong-Phuong Dang (3) , Cédric Herzet (4)

1 IRMAR - Institut de Recherche Mathématique de Rennes
2 IETR - Institut d'Électronique et des Technologies du numéRique
3 LaTIM - Laboratoire de Traitement de l'Information Medicale
4 SIMSMART - SIMulation pARTiculaire de Modèles Stochastiques

Nous présentons une nouvelle région de sûreté (safe region) pour la mise en oeuvre de techniques d'"élimination sûre de variables" (safe screening) pour le problème LASSO. La région proposée a une géométrie de dôme et exploite une représentation canonique de l'ensemble des demi-espaces contenant l'ensemble réalisable du problème dual. Nous montrons que la région proposée est toujours incluse dans la "sphère GAP" et le "dôme GAP" introduits par Fercoq et al. (et strictement sous certaines conditions non restrictives), tout en induisant la même complexité calculatoire. Les expériences numériques démontrent que notre nouvelle région de sûreté permet de concevoir des règles d'élimination de variables plus efficaces que celles basées sur les régions GAP et conduit à une accélération significative de la résolution de LASSO.

Keywords: Mots-clef : LASSO; réduction de dimensionalité; élimination de variables; safe screening

Domains: Statistics [stat]; Machine Learning [stat.ML]; Engineering Sciences [physics]; Signal and Image processing

Thu-Le Tran, Clément Elvira, Hong-Phuong Dang, Cédric Herzet. Une nouvelle méthode d'accélération pour LASSO par élimination sûre de variables. CAP 2022 - Conférence sur l'Apprentissage automatique, Jul 2022, Vannes, France. pp.1-6. ⟨hal-03806044⟩