ストリームデータ処理ツール「GUST（ガスト）」

近年ビジネスにおいてビックデータの活用は不可欠なものとなっています。しかし「ビックデータを活用したい」という企業様が増える一方で、スマートデバイスやIoTの普及により、取り扱うデータ量が爆発的に増加しており、「データが大きすぎて保存できない」、「分析に時間がかかる」といった問題が発生しています。かもめエンジニアリングのストリームデータ処理ツール「GUST」は、ビッグデータをリアルタイムに処理することでそのような問題を解決します。

ニーズに合ったリアルタイムデータ処理を実現

リアルタイムデータ処理を「ストック」から「フロー」へ

リアルタイムデータ処理に求められているのは「すぐ結果を知りたい・効率化」というニーズが増えており、そのニーズに応えるには、膨大なデータ量を「ストック」するのではなく「フロー」しながら処理することが必要となっています。

≪求められているニーズ≫
■人や物の動きを把握
・在庫・物流・人員配置の管理
・ヘルスケア・見守り分野でのインシデント検知
・ターゲティング広告
・交通・通信・その他インフラのコントロール　など
■リスクや予兆を検知
※機械学習との連携が必要
・機器やシステムの故障・異常を事前に予測
・不正行為に至るパターンを検知　など
■発生するデータの整理、効率化
・インフラコスト（DB, アプリサーバ負荷）を大幅に軽減
・前処理で検索を高速化　など

上記ニーズに応えるためのデータ処理方法は２種類

≪従来の方法≫
データベースに溜めてクエリで「集計・抽出・加工」
・Hadoop※などでバッチ高速化
・規模に合わせてスケールアップ
※ビッグデータを処理するためのソフトウェア。オープンソースとして公開されている。

≪課題≫
１、データが連続的に発生
２、保存するのが非現実的・コストに合わない
３、分析結果を早く取得したい

ストリームデータ処理技術を使った「GUST」なら以下の適した方法での対応が可能となり、課題を解決します。
≪適した方法≫
データを溜めずに順次「集計・抽出・加工」
・並列分散アーキテクチャが基本
・規模に合わせてスケールアウト
・アーキテクチャはストリームデータ処理

「GUST」は、従来のHadoopをはじめとしたビッグデータ関連製品と競合するのではなく、共存しての動作が可能です。おもに従来のビッグデータ関連製品の「前処理」として、データの抽出、集約、正規化などを対応。また、リアルタイムにデータのモニタリングを行うことが可能となるため、膨大なデータの中から重要なデータを検知して、リアルタイムに必要なアクションを行うことも可能です。

GUSTの特徴

秒間数10万件以上の処理性能

低スペックのマシンでも十分に高性能を発揮する独自のアーキテクチャで実装されており、1.8GHz程度のミニサーバ10台で秒間約10万件の処理性能を実現。大手ベンダーと協力して、100台規模の高集積サーバにおける性能試験を実施した実績もあります。また、かもめエンジニアリングが開発した分散KVS製品 「KFEP」により高速処理を可能にしています。

キャリアグレードの高品質な製品

「GUST」は、かもめエンジニアリングがこれまでに多くの大手通信業に提供してきた「高速分散処理技術」、「大量データ処理技術」をベースとして開発しており、様々な業界のなかでも要求が難しいといわれている通信業界向けの品質を満たす製品です。

安心のサポートサービス

これまで、大手通信事業者様をはじめとした、大手企業のインフラコア部分に採用実績豊富なかもめエンジニアリングがサービスを提供。オープンソースの商用利用は検証、サポートが大変ですが、すべて自社製品のため完全サポート対応します。

GUSTの活用事例「発信者特定システム」

”発信者の特定“ が抱える課題

GUSTの活用事例のひとつとして「発信者特定システム」が挙げられます。インターネット上の匿名掲示板などに犯行予告、脅迫、誹謗中傷などの書き込みを行う事件が起き、発見者や警察からの通報を受けて、インターネットサービスプロバイダ(ISP)が対応し、発信者を特定する作業が行われています。しかしISPが行うこの発信者特定の作業は、膨大な過去のログファイルから発信者を特定する際、単純な文字列検索ではなく複数のログファイルを突き合わせる複雑な処理が必要となるため、発信者の特定に数時間から数日程度時間がかかるのが課題となっています。

◆利益を生むシステムではないのに、負担が大きい
誰が・いつ・どのサイトに書き込みしたかの特定では２種類の方法があり、ひとつは既成アプライアンス製品を購入することですが、高価格なため必要コストの負担が大きくなります。もうひとつは人力で複数のログから検索する方法ですが、膨大な過去のログファイルを突き合わせる必要があるため、作業コスト負担が大きくなります。「利益を生むシステムではないのに、負担が大きすぎる」というのが多くのISPが抱えている課題です。

≪各種の生ログの保管コスト≫
◆発生データ量（例）
中規模事業者（アクティブユーザ数：20,000）
　･･･ 秒間1,000件→90日間で･･･ 約1.5TB
大規模事業者（アクティブユーザ数：800,000）
　･･･ 秒間40,000件→90日間で･･･約60TB

「発信者特定システム」導入のメリット

必要コストや作業コストの負担が大きい問題がありますが、かもめエンジニアリングが開発した「発信者特定用システム」なら、ネット上の書き込みから短時間で発信者を特定することができるため解決できます。

「発信者特定用システム」導入で、ログデータを保管するためのストレージ容量を約90%削減が可能となり、発信者特定のためのログ抽出・分析にかかる時間を約95%も削減することも可能です。

◆ログ分析を、軽く、速く、リーズナブルに
・ログデータの保管コストを削減
　蓄積データストレージ容量：約90%減が可能
　※ 現在のログデータ量や使用状況により異なります
・必要な時に高速な検索
　ログ抽出・分析の所要時間：約95%減が可能
　※ 現在のログデータ量や使用状況により異なります
・リーズナブルなコストを実現
　必要な機能だけに絞り込み、従来のソリューションでは実現できなかった価格を実現

◆拡張・応用例
・秒間100,000アクセスを超える大規模システムへの適用
・特殊なログデータとの突き合わせ、照合への対応
・発信者特定以外の用途でのログデータ圧縮
・高速化などへの適用
・オンプレミス、クラウドなど、様々な環境に対応可能

お客様のニーズに沿った製品サポート

・Q&A対応
お客様において発生した障害の原因究明や、運用に関する技術的なお問い合わせ対応。
※ハードウェアやOS等に関しては範囲外とさせていだきます。
※オンサイト対応や現地での作業は含まれておりません。

・バグフィックス
明らかな不具合があった場合、修正版またはパッチのご提供を行います。

・サポートポリシー
製品販売終了後、5年間はサポートサービスのご提供を行います。
製品が使用するOSのサポートが終了した場合は、原則として製品サポートの提供を終了させていただきます。
※ OS更改時に低価格で最新OS対応の製品をご導入いただける「OSアップグレードパス」をご提供します。