math

マシンラーニングサマースクール

今年度のマシンラーニングサマースクールに行ってきた人が教えてくれました。 http://seminars.ijs.si/mlss2004/default.asp 講義のストリーミング再生ができます。

Sequential Monte Calro

昨日のこと。持橋さんの博士論文公聴会を聞いてきた。 ひとことで言うならエキサイティング!最近の Sequential Monte Calro 勉強会でも何度も感じたことだけ やっぱりサンプリング法は便利。 ベイズやるうえで、解が「漸近的最適」と言えるのはとっても嬉し…

ある種の最適化問題(続報)

重みの更新式がきれいな形にまとまった。 これはイタダキかも。 あとあり得べき問題は、過適応の可能性だが、 これは regularization 項を適当に入れてやれば何とかなる予定。 ARD とか入れてやってもいいしね。楽しい計算だったけども、次のこともやってお…

ある種の最適化問題

どうにも行き詰まっていたちょいと複雑な最適化問題が、 ある種の既知の最適化問題クラスに帰着。 行き詰まってはいたものの、何か方法はありそうな気はしていた。 ただ、これ以上は無理そうな気もしていたところで、 なんとかしてくれそうな強力な助っ人に…

空目空耳の統計モデル

観測が、真の対象にノイズが載って得られたものであるとき、その解釈が事前知識に引き摺られること。例:「ぜろっくすらいふ」を観測したのにもかかわらず「○っくすらいふ」と読んでしまうなお、欠測予測の統計モデルも参考のこと。

線型部分空間同士のなす角度は、singular valuesで計ることができる

ベクトルと線型部分空間がなす角度は、ととがなす角度の最大値である。 線形部分空間と線型部分空間がなす角度は、ととがなす角度の最大値である。 行列,のcolumn vectorsが、それぞれの線型部分空間の直交基底をなしているとき、部分空間同士のなす角度のco…

Linear Dependent Dimensionality Reduction

ただし、Yは観測された行列 XはLow Rank Reduction() Z はノイズ。 普通のPCAではZとして全成分でindependentなガウスノイズを仮定しているが、 このNIPS論文では、Zとして非ガウス、非加法的ノイズを仮定しても大丈夫な方法を検討している。 そのためのキー…