2011-12-29
■ はじめての並列処理プログラミング
1日たっても素性抽出が終わっていない. ボトルネックはデータベースへのアクセスの場所のようだ. 標準入出力をデータの受け渡しに使っているが, もっと低レイヤーで受け渡せば高速化できるはず..
だが,生憎ここをチューニングする余裕がない. なので,並列処理をして,なんとかすることに.
ついでに,素性抽出と学習を分割してできるように, 中間オブジェクトも永続化できるようにした.
いろいろデバッグしていたら,朝の5時..
1日たっても素性抽出が終わっていない. ボトルネックはデータベースへのアクセスの場所のようだ. 標準入出力をデータの受け渡しに使っているが, もっと低レイヤーで受け渡せば高速化できるはず..
だが,生憎ここをチューニングする余裕がない. なので,並列処理をして,なんとかすることに.
ついでに,素性抽出と学習を分割してできるように, 中間オブジェクトも永続化できるようにした.
いろいろデバッグしていたら,朝の5時..