Towards new cross-validation-based estimators for Gaussian process regression: efficient adjoint computation of gradients

Sébastien Petit (1, 2, 3) , Julien Bect (2, 3) , Sébastien da Veiga (4, 3) , Paul Feliot (1, 3) , Emmanuel Vazquez (2, 3)

1 Safran Aircraft Engines
2 L2S - Laboratoire des signaux et systèmes
3 GdR MASCOT-NUM - Méthodes d'Analyse Stochastique des Codes et Traitements Numériques
4 Safran Tech

We consider the problem of estimating the parameters of the covariance function of a Gaussian process by cross-validation. We suggest using new cross-validation criteria derived from the literature of scoring rules. We also provide an efficient method for computing the gradient of a cross-validation criterion. To the best of our knowledge, our method is more efficient than what has been proposed in the literature so far. It makes it possible to lower the complexity of jointly evaluating leave-one-out criteria and their gradients.

Nous nous intéressons à l'estimation par validation croisée des paramètres d'une fonction de covariance d'un processus gaussien. Nous suggérons l'utilisation de nouveaux critères de validation croisée dérivés de la littérature des scoring rules. Nous proposons de plus une méthode efficace pour le calcul du gradient d'un critère de validation. Cette méthode est plus efficace que ce qui est présenté dans la littérature à notre connaissance, et permet en particulier de réduire la complexité de l'évaluation jointe des critères de validation croisée et des gradients associés.

Mots clés: Gaussian process; cross-validation; scoring rule; reverse-mode differentiation

Domaines: Calcul [stat.CO]; Machine Learning [stat.ML]

Sébastien Petit, Julien Bect, Sébastien da Veiga, Paul Feliot, Emmanuel Vazquez. Towards new cross-validation-based estimators for Gaussian process regression: efficient adjoint computation of gradients. 2020. ⟨hal-02490981v1⟩