bigdata



日本発の超高速データ処理技術
ターボデータラボラトリーのLFM技術(特許 第3581831号 米国第6,643,644号 富士通BSCに特許の解説有り

1兆行の表形式データを高速処理できます。

(磯谷商店IT事業部は、LFM普及の応援をしています。)





特徴】 よく分かる原理で、体験で納得の超高速、実績も豊富
  1. メモリ、ディスクへの表形式データ保存で、超高速検索、抽出が可能
  2. インメモリベースエンジンでは、大手SIベンダに採用実績あり
  3. ディスクベースは、公的機関に納入決定


 【原理】
表形式のデータを項目ごとに、並べ替えて、整数(自然数)で符号化し、メモリやディスクの物理的アドレスに等間隔で配置するビッグデータ用のファイルフォーマット 特許取得ずみ( 特許 第3581831号     表形式 データ を高速に処理するための基本 データ 構造)


 【特徴】
(メモリ、ディスク共通)
★はじめから並べ替えてあるので、並べ替え、検索が線形時間に収まる
★物理的アドレスに配置されるので、インデックス不要になり、計算(四則演算)だけでアドレスが特定でき、データ取得が超高速

ディスクの場合
★単なるファイル クライアントが検索する。
スマホクライアントからでも検索可能で、同時アクセス数は、ファイル・システムに依存。NASにただ置くだけで使用可能

 【用途】
(インメモリ)
★超高速なエクセルとして利用
エクセルで処理できない100万行以上のデータを、エクセル的に手軽に処理するのに活用。特にもともとエクセルでは実現が難しいJOINの機能が大活躍。ターボデータのエンジンを使った日本ソフト開発のスーパーリアリズムを活用しているアパレルブランドでは、2週間で新入社員が使いこなし、高評価。
★データクリーニングとして
データ移行時に発生する事前予測不能な様々な問題に柔軟に対応。自治体の住民データ移行に、日本ソフト開発のスーパーリアリズムが活用され、高い評価を得る。

(ディスク)
★異常データの検索
(例)膨大取引から、異常な情報を検索、抽出し、異常検知に利用する。サーバソフトが不要なために、システム負荷が軽く、超高速で検索可能なので、作業効率が大幅に上昇。異常検知は、もともとビッグ・データ向けの手法、2000年頃にリアルタイムの異常検知で、クレジット不正使用が減少したのは有名。膨大な履歴データからの異常データ検出もターボの技術で可能に。
★POSデータをスマホから検索可能
(例)莫大な顧客データから、個別の購買履歴をスマホ等の軽いクライアントから、検索、抽出可能。
★単なるファイルなので、保守管理が容易
サーバプログラムが不要なので、ソフトウェアの保守は、クライアントのみ。バージョンアップの管理コストがほとんどかからない。

【ぜひ導入検討を】
SAP hana、ネティーザ、テラデータ、エクサデータなどを導入検討されている方にディスクを使うLFM技術は特におすすめです。
ファイルをNASにおいておくだけで十分です。Hadoop で集めたデータの処理にお困りの方にもお勧めです。
エクセル、アクセスでシステム構築してお困りの方は、実績あるインメモリが即戦力になります。一時的なデータクリーニングニーズも同様です。
★インメモリの技術では、日本ソフト開発が経験豊富です。
特許 第3581831号を読んで、すごい思った方は、ぜひターボデータに直接連絡で、即導入検討よろしく
★相談ベースなら、長尾正(磯谷商店IT事業部担当 facebook http://www.facebook.com/tadashi.nagao )にお気軽にご連絡ください。