cloudera/oryx · GitHubSimple real-time large-scale machine learning infrastructure.
Stochastic Average Gradient法を解説する | 射撃しつつ前転
Stochastic Average Gradient (SAG)はNIPS 2012で提案された新しい最適化手法である。目的関数がstrongly convexである場合、という条件付きではあるが、線形収束が保証されている。要するに、速い。 A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets 論文の解説についてはOiwa神の記事を参照すると良いと思う。以下では、SAGの考え方について、一般的なSGDとの差異を中心に説明したい。 SGDの復習 SAGを説明する前に、SGD（Stochastic Gradient Descent、確率的勾配降下法）とはどんな手法だったかを確認しておこう。 SGDはランダムに1つのデータを取ってきてgradientを計算し、そのgr
Jubatusにおける大規模分散オンライン機械学習
1. Jubatusにおける⼤大規模分散 オンライン機械学習 2011/12/08 @⼤大規模データ処理理勉強会 株式会社Preferred Infrastructure 海野 裕也 (@unnonouno) 2. ⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l Preferred Infrastructure (PFI) 研究開発部⾨門リサーチャー l 社員20⼈人くらい l 検索索・レコメンドエンジンSedueの開発など l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング l Jubatusプロジェクト内での役割 l 主に特徴抽出エンジン、機械学習エンジンの研究開発 2 3. Big Data ! l データはこれからも増加し続ける 多いことより増えていくということが重要 l データ量量の変化に対応できるスケーラブルなシ
オンライン凸最適化と線形識別モデル学習の最前線 - Preferred Networks Research & Development
内容は線形識別モデルの学習について（Perceptron, PA, CW, AROW, NHELDとNLP2010のtutorial + 最新のアップデート. 更新式が整理されています）、オンライン凸最適化のregret解析、sublinearなSVMの学習の話です。最近公開したjubatusの中の学習アルゴリズムの解説でもあります。 コスト関数が凸である場合のOnline Gradient Descentのregret解析の証明は美しかったので、普通はこういうのはプレゼンではやらないとおもうのですが紹介しました。 Sublinearの学習の話は今後いろいろ発展しそうです。各学習例に動的に重みをつけて優先的に学習する方法は直感的にはできそうだと昔考えてたのですが、こういう形できれいに定式化できるのだと感心しました。 IBISはそこそこ参加していますが、毎年新しい分野の問題が登場してきて面白
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
