Literatur vom gleichen Autor/der gleichen Autor*in
plus bei Google Scholar

Bibliografische Daten exportieren
 

Relevance-driven Input Dropout : an Explanation-guided Regularization Technique

Titelangaben

Gururaj, Shreyas ; Grüne, Lars ; Samek, Wojciech ; Lapuschkin, Sebastian ; Weber, Leander:
Relevance-driven Input Dropout : an Explanation-guided Regularization Technique.
Berlin ; Bayreuth , 2025 . - 21 S.
DOI: https://doi.org/10.48550/arXiv.2505.21595

Volltext

Link zum Volltext (externe URL): Volltext

Abstract

Overfitting is a well-known issue extending even to state-of-the-art (SOTA) Machine Learning (ML) models, resulting in reduced generalization, and a significant train-test performance gap. Mitigation measures include a combination of dropout, data augmentation, weight decay, and other regularization techniques. Among the various data augmentation strategies, occlusion is a prominent technique that typically focuses on randomly masking regions of the input during training. Most of the existing literature emphasizes randomness in selecting and modifying the input features instead of regions that strongly influence model decisions. We propose Relevance-driven Input Dropout (RelDrop), a novel data augmentation method which selectively occludes the most relevant regions of the input, nudging the model to use other important features in the prediction process, thus improving model generalization through informed regularization. We further conduct qualitative and quantitative analyses to study how Relevance-driven Input Dropout (RelDrop) affects model decision-making. Through a series of experiments on benchmark datasets, we demonstrate that our approach improves robustness towards occlusion, results in models utilizing more features within the region of interest, and boosts inference time generalization performance.

Weitere Angaben

Publikationsform: Preprint, Postprint
Keywords: machine learning; explainable AI; relevance; input dropout
Institutionen der Universität: Fakultäten > Fakultät für Mathematik, Physik und Informatik > Mathematisches Institut > Lehrstuhl Mathematik V (Angewandte Mathematik) > Lehrstuhl Mathematik V (Angewandte Mathematik) - Univ.-Prof. Dr. Lars Grüne
Fakultäten > Fakultät für Mathematik, Physik und Informatik > Mathematisches Institut > Lehrstuhl Angewandte Mathematik
Profilfelder > Advanced Fields > Nichtlineare Dynamik
Fakultäten
Fakultäten > Fakultät für Mathematik, Physik und Informatik
Fakultäten > Fakultät für Mathematik, Physik und Informatik > Mathematisches Institut
Fakultäten > Fakultät für Mathematik, Physik und Informatik > Mathematisches Institut > Lehrstuhl Mathematik V (Angewandte Mathematik)
Profilfelder
Profilfelder > Advanced Fields
Titel an der UBT entstanden: Ja
Themengebiete aus DDC: 000 Informatik,Informationswissenschaft, allgemeine Werke > 004 Informatik
500 Naturwissenschaften und Mathematik > 510 Mathematik
Eingestellt am: 03 Jun 2025 06:59
Letzte Änderung: 03 Jun 2025 06:59
URI: https://eref.uni-bayreuth.de/id/eprint/93880