Stream」は、多種多様なデバイスやサービスからのイベントデータをリアルタイムに分散処理します。
Twitter社が OSSとして公開した Apache Stormをベースとし、 HTTP/SNMP/JMSといった数十種類のプロトコルに対応したインタフェースや、ビッグデータ処理に欠かせない Hadoop/HBase/Cassandraなどのデータストアとの連携機能を、「エコシステム」として提供しており、イベントやログのリアルタイム解析を行えます。

本フレームワークを利用することにより、 絶え間なく発生する「ストリームデータ」に対して、 リアルタイム集計やランキングを行うシステム、また、トラフィックや行動パターンのリアルタイム分析による異常検知を行うシステムなどを、 効率的に開発することが可能となります。

datagridAbout

Stream」は、イベントを受信する「ゲートウェイ部」、受信したイベントを分散処理によって加工・処理する「ストリームデータ処理部」、収集データ・分析結果を保存する「データストア部」で構成されています。

AcroMusashi

ゲートウェイ部

ゲートウェイ部では 代表的なプロトコル(HTTP、MQTT、RESTなど)に対して、定義だけで対応することができるため、データ収集・受付処理の開発を大幅に効率化することが可能です。

AcroMusashi

ストリームデータ処理部

Apache Storm を導入しており、簡単に分散リアルタイム処理を開発することが可能です。また、Stormクラスタにノードを追加するだけで容易にスケールアウトして、性能を向上させることが可能です。

AcroMusashi

データストア部

データストア部では、JDBC、HDFS、HBase、Cassandraなどに対応しており、ストリームデータ処理部から各種データストアに、連続的にデータの保存が可能です。

本プラットフォームは、 OSSとして公開しています。 Stormによるストリームデータ処理を、より効率的に開発できるようにしています。また、 Stormをベースとしたオンライン機械学習のライブラリも、あわせて公開しています。
URL: https://github.com/acromusashi/acromusashi-stream
URL: https://github.com/acromusashi/acromusashi-stream-ml

また、Stormクラスタの構築を容易にするインストーラも合わせて公開しており、環境構築にかかる手間を大幅に削減することができるようにしています。
URL: https://github.com/acromusashi/storm-installer