bigdata - 磯谷商店IT事業部( BigData )

日本発の超高速データ処理技術
ターボデータラボラトリーのLFM技術（特許第3581831号　米国第6,643,644号　富士通BSCに特許の解説有り）

1兆行の表形式データを高速処理できます。

（磯谷商店IT事業部は、LFM普及の応援をしています。）

【特徴】 よく分かる原理で、体験で納得の超高速、実績も豊富

メモリ、ディスクへの表形式データ保存で、超高速検索、抽出が可能
インメモリベースエンジンでは、大手SIベンダに採用実績あり
ディスクベースは、公的機関に納入決定

【原理】
表形式のデータを項目ごとに、並べ替えて、整数（自然数）で符号化し、メモリやディスクの物理的アドレスに等間隔で配置するビッグデータ用のファイルフォーマット　特許取得ずみ（特許第3581831号表形式データを高速に処理するための基本データ構造）

【特徴】
（メモリ、ディスク共通）
★はじめから並べ替えてあるので、並べ替え、検索が線形時間に収まる
★物理的アドレスに配置されるので、インデックス不要になり、計算（四則演算）だけでアドレスが特定でき、データ取得が超高速

ディスクの場合
★単なるファイル　クライアントが検索する。
スマホクライアントからでも検索可能で、同時アクセス数は、ファイル・システムに依存。NASにただ置くだけで使用可能

【用途】
（インメモリ）
★超高速なエクセルとして利用
エクセルで処理できない１００万行以上のデータを、エクセル的に手軽に処理するのに活用。特にもともとエクセルでは実現が難しいJOINの機能が大活躍。ターボデータのエンジンを使った日本ソフト開発のスーパーリアリズムを活用しているアパレルブランドでは、２週間で新入社員が使いこなし、高評価。
★データクリーニングとして
データ移行時に発生する事前予測不能な様々な問題に柔軟に対応。自治体の住民データ移行に、日本ソフト開発のスーパーリアリズムが活用され、高い評価を得る。

（ディスク）
★異常データの検索
（例）膨大取引から、異常な情報を検索、抽出し、異常検知に利用する。サーバソフトが不要なために、システム負荷が軽く、超高速で検索可能なので、作業効率が大幅に上昇。異常検知は、もともとビッグ・データ向けの手法、2000年頃にリアルタイムの異常検知で、クレジット不正使用が減少したのは有名。膨大な履歴データからの異常データ検出もターボの技術で可能に。
★POSデータをスマホから検索可能
（例）莫大な顧客データから、個別の購買履歴をスマホ等の軽いクライアントから、検索、抽出可能。
★単なるファイルなので、保守管理が容易
サーバプログラムが不要なので、ソフトウェアの保守は、クライアントのみ。バージョンアップの管理コストがほとんどかからない。

【ぜひ導入検討を】

SAP　hana、ネティーザ、テラデータ、エクサデータなどを導入検討されている方にディスクを使うLFM技術は特におすすめです。
ファイルをNASにおいておくだけで十分です。Hadoop で集めたデータの処理にお困りの方にもお勧めです。
エクセル、アクセスでシステム構築してお困りの方は、実績あるインメモリが即戦力になります。一時的なデータクリーニングニーズも同様です。
★インメモリの技術では、日本ソフト開発が経験豊富です。
★特許第3581831号を読んで、すごい思った方は、ぜひターボデータに直接連絡で、即導入検討よろしく

★相談ベースなら、長尾正（磯谷商店IT事業部担当 facebook http://www.facebook.com/tadashi.nagao ）にお気軽にご連絡ください。