ガウス過程事後分布の更新についてのメモ
はじめに $f\sim\mathcal{GP}(0,k)$ から得られる観測を1点ずつ加えて事後分布を $n$ 回逐次更新した結果と、$n$ 点のデータ集合 $\mathcal{D}_n$ をまとめて条件付けて一度に計算した事後分布が同一であることを示します。 設定 次の設定を仮定します。 $f \sim \mathcal{GP}(0, k)$: 目的関数 $f$ は平均 $0$、カーネル関数 $k(x, x')$ のガウス過程に従う $\mathcal{X}$: 有限集合である入力空間 $x_t$: 入力空間 $\mathcal{X}$ の中で獲得関数を最大化する点 ($t > 1$) $y_t = f(x_t) + \varepsilon_t$: 入力点 $x_t$ に対する観測 $\varepsilon_t \sim \mathrm{i.i.d.}\ \mathcal{N}(0, \sigma^2)$: 観測ノイズ $\mathcal{D}_t = \{(x_i, y_i)\}_{i=1}^{t}$: $t$ ステップまでに得られたデータ集合 記号 証明では次の記号を用います。 $k(x, x')$: カーネル関数 $\bm{k}_n(x) = [k(x, x_1),\ k(x, x_2),\ \dots,\ k(x, x_n)]^\top$ $\bm{K}_n$: カーネル行列($(i, j)$ 成分が $k(x_i, x_j)$ である $n \times n$ 行列) $\tilde{\bm{K}}_n = \bm{K}_n + \sigma^2 \bm{I}_n$ 逐次更新の場合 観測1回目 ($t=1$) 入力空間 $\mathcal{X}$ の中で一様分布に従って $x_1$ を選択します。関数 $f$ は $\mathcal{GP}(0, k)$ に従うので ...