Elasticsearchの仕切り直し導入 その6（CentOS 7.5、2019/01/24） [Linux]
Elasticsearchですが、なんとなく使い方が分かってきました。私なりの解釈で、ざっとおさらいしてみます。
1.Elasticsearchってどういうソリューション？
大量のテキストデータを扱うことを得意とするデータベースです。蓄積したデータの、高速検索や可視化を行うことができます。
2.Elasticsearchの使い方が、うまくイメージができない
ネットワークエンジニアがイメージしやすい使い方としては、syslogサーバやsnmp trapサーバでしょうか。膨大なログを高速検索できるようになります。
ただし、単純なsyslogサーバやsnmp trapサーバといった使い方だと、高速検索ができるだけのただのサーバです。本来の価値・能力を十分に発揮できていないと思います。
3.ElasticsearchとSplunkの違いは？
基本的に似たもの同士だと思います。CPUで言えば、IntelとAMDのような関係ですね。私の印象では、設計思想などの細かなところが違うといった感じです。（後述します）
4.Elasticsearchの上手な使い方は？
可視化を行うためには、集計することで価値や意味を見いだせるようなデータ（≒統計データ）を収集することです。そのためには、syslogデータをただのテキストデータとして収集するのではなく、送信元や時間、メッセージの中身（プロトコルやインタフェース、内容など）をきちんと分解し、集計できる状態で蓄積する必要があります。
5.テキストデータの分解ってどうやるの？
基本的に正規表現を駆使します。なかなかうまくいかないので、基本的にトライアル・アンド・エラー（試行錯誤）の繰り返しになるかと思います。
ただSplunkに関しては、Apacheログやxxxxログ向けといった各種ひな形プラグインが用意されているように見え、有償もしれませんが、定型ログを対象するなら立ち上げは早そうです。
6.素人でも使える？
エンタープライズ用途で使うなら、専門のSIerさんに任せた方が無難かと思います。
7.ElasticsearchとSplunkの違いは？（詳細編1）
お金を払うと使える機能が増え、正式サポートを受けられるところは同様です。ただ、Splunkはログの転送量（≒従量制）によっても追加料金が発生するようです。
8.ElasticsearchとSplunkの違いは？（詳細編2）
Elasticsearchは（Splunkに比べて）情報が少なく、マニア・ハッカー向けといった感じ。一方、Splunkはやや成熟している感じで、国内に多くのエンジニア（SIer、有識者）がいます。
まぁ、英語になりますがElasticsearchには公式のちゃんとしたマニュアルがありますけどね。
9.ElasticsearchとSplunkの違いは？（詳細編3）
Elasticsearchは、"Elasticsearch"、"Kibana"、"Logstash"などと主要コンポーネントが分かれていて、サーバの分散化は容易かもしれませんが、その分、管理は面倒なのかもしれません。
Splunkはインストールしたことがありませんが、コンポーネントが分かれているような話は聞かないので、パケージとしてまとまっているのではないでしょうか。
10.ElasticsearchとSplunkの違いは？（詳細編4）
Elasticsearchはデータを蓄積する前にテキストデータの分解を行います。うまく事前加工すれば、蓄積データ量の削減につながると思います。
Splunkは、紹介ページを見る限り、データ蓄積後にGUI上でデータ分解ができるように見えました。インタフェースは使いやすそうですが、ストレージに無加工のデータが蓄積するので、転送容量（つまりは料金体系）は多くなりそうです。
1.Elasticsearchってどういうソリューション？
大量のテキストデータを扱うことを得意とするデータベースです。蓄積したデータの、高速検索や可視化を行うことができます。
2.Elasticsearchの使い方が、うまくイメージができない
ネットワークエンジニアがイメージしやすい使い方としては、syslogサーバやsnmp trapサーバでしょうか。膨大なログを高速検索できるようになります。
ただし、単純なsyslogサーバやsnmp trapサーバといった使い方だと、高速検索ができるだけのただのサーバです。本来の価値・能力を十分に発揮できていないと思います。
3.ElasticsearchとSplunkの違いは？
基本的に似たもの同士だと思います。CPUで言えば、IntelとAMDのような関係ですね。私の印象では、設計思想などの細かなところが違うといった感じです。（後述します）
4.Elasticsearchの上手な使い方は？
可視化を行うためには、集計することで価値や意味を見いだせるようなデータ（≒統計データ）を収集することです。そのためには、syslogデータをただのテキストデータとして収集するのではなく、送信元や時間、メッセージの中身（プロトコルやインタフェース、内容など）をきちんと分解し、集計できる状態で蓄積する必要があります。
5.テキストデータの分解ってどうやるの？
基本的に正規表現を駆使します。なかなかうまくいかないので、基本的にトライアル・アンド・エラー（試行錯誤）の繰り返しになるかと思います。
ただSplunkに関しては、Apacheログやxxxxログ向けといった各種ひな形プラグインが用意されているように見え、有償もしれませんが、定型ログを対象するなら立ち上げは早そうです。
6.素人でも使える？
エンタープライズ用途で使うなら、専門のSIerさんに任せた方が無難かと思います。
7.ElasticsearchとSplunkの違いは？（詳細編1）
お金を払うと使える機能が増え、正式サポートを受けられるところは同様です。ただ、Splunkはログの転送量（≒従量制）によっても追加料金が発生するようです。
8.ElasticsearchとSplunkの違いは？（詳細編2）
Elasticsearchは（Splunkに比べて）情報が少なく、マニア・ハッカー向けといった感じ。一方、Splunkはやや成熟している感じで、国内に多くのエンジニア（SIer、有識者）がいます。
まぁ、英語になりますがElasticsearchには公式のちゃんとしたマニュアルがありますけどね。
9.ElasticsearchとSplunkの違いは？（詳細編3）
Elasticsearchは、"Elasticsearch"、"Kibana"、"Logstash"などと主要コンポーネントが分かれていて、サーバの分散化は容易かもしれませんが、その分、管理は面倒なのかもしれません。
Splunkはインストールしたことがありませんが、コンポーネントが分かれているような話は聞かないので、パケージとしてまとまっているのではないでしょうか。
10.ElasticsearchとSplunkの違いは？（詳細編4）
Elasticsearchはデータを蓄積する前にテキストデータの分解を行います。うまく事前加工すれば、蓄積データ量の削減につながると思います。
Splunkは、紹介ページを見る限り、データ蓄積後にGUI上でデータ分解ができるように見えました。インタフェースは使いやすそうですが、ストレージに無加工のデータが蓄積するので、転送容量（つまりは料金体系）は多くなりそうです。
コメント 0