1000万行のCSVファイルの集計しませんか?
データマイニングは、MUSASHI というオープンソースのソフトが好きでずっと昔からかかわっていましたが、なかずとばずでした。
それが最近、MUSASHI の後継のKGMODというのがでてきたのと、昔からの知り合いの古庄さんが作っているLFMというソフトが超高速なんで、俄然、やる気がでてきました。
KGMODについては、
活用事例 もでてきています。
LFMは
ベンチマークにあるように超高速です。
1000万行のCSVの集計は、LFMのおかげでなんの苦痛もなくできます。
このことは、POSのように大きなデータを扱う業界にとっては大きなインパクトだと思うのですが、なかなか知られていません。
そこでまずは、データマイニングナイト を行って、徐々に普及活動を積み重ねる予定でうs。
そして、その後展開としては、KGMOD,LFM さらにR言語などを組み合わせて、データマイニング用の処理サービスや、ツールの学習支援を行って行く予定です。