NMFの乗法更新則と勾配降下法の関係

非負値行列因子分解(NMF)の乗法更新則と勾配降下法(最急降下法)にはある関係があります。

/img/post/nmf-from-gradient-descent/nmf-mu_and_gd.png

NMFの乗法更新則と勾配降下法の関係は?

それは「乗法更新則は、得られる行列が非負という制約を必ず満たすように学習率を調整した勾配降下法である」というものです。今回はこのことを目的関数がユークリッド距離の場合に限定して、数式と数値シミュレーションで確認します。

[Read More]

欠損値ありデータへの協調フィルタリングには素のNMFではなく欠損値用NMFを使おう

例えば、ユーザが映画を評価できるようなWebサイトがあったとします。このとき、ユーザは全映画を評価しているかと言えばそんなことはなく、ごく一部の映画しか評価していません。つまり、大部分の映画評価データが欠損していることになります。このような欠損値のあるデータに対して、もし仮に素の非負値行列因子分解(NMF)を用いた協調フィルタリングを試そうと考えた場合、欠損値を別の値($0$や平均値など)で埋めてから実行することになります。この埋め方で何か変わるのでしょうか?この記事ではまず、埋め方によって学習結果にどのような影響があるのかを調査します。その後、欠損値を埋めないでNMFが行える手法の1つである重み付き非負値行列因子分解(WNMF)を紹介します。

[Read More]

ブログを始めた理由と意気込み

はじめまして、Akiと申します。

現在大学院修士課程1年生でして、専攻は制御工学です。
研究では制御工学に機械学習を絡めようと日々努めていますが、最近は学んだことを消化し切れてないような気がしています。
なので、学んだことをアウトプットする場としてブログを始めることに決めました。
三日坊主にならないように頑張る所存です。

目指せ月1更新!!

それではよろしくお願いいたします!

雑記