influxDBとGrafanaを使ってみた所感とその覚書

influxDBとGrafanaというものにすこしふれてみて「これはすごそう！」となったので，後に使うことになった時の備忘録としてやってみたことを書こうと思う．

influxDB

influxDBはタイムスタンプを伴った時系列に特化したデータベース．

とあるデータをデータベースに値を記録するときにタイムスタンプが自動的に押されて記録される．

利用例としてログやIoTセンサー記録，リアルタイム解析などに用いられる（下記サイト参照）

www.influxdata.com

influxDBの扱いについてはほとんど以下のブログを参考にさせていただきました．

この記事になぞらえて，Macだったのでbrewでインストールして，ちょこちょことさわってみた．

influxDBを実際にさわる前に別端末で以下をしてあげる必要がある．

$ influxd -config /usr/local/etc/influxdb.conf

とても柔軟なデータベースであるからか記録もとても簡単で扱いやすい．

kakakakakku.hatenablog.com

また，influxDBへのコマンドをまとめた日本語記事もあった．

qiita.com

influxDBへの接続

このサイトではRubyからinfluxDBに接続しているが，今回はPythonを用いてinfluxDBに接続する．

github.com

READMEに大まかなチュートリアルが記載されている．

導入はpipで行った

$ pip install influxdb

Exampleの欄には簡単な使用例が記載されている．

大まかな流れとしては，

InfluxDBClientでクライアントオブジェクトを生成する
↓
create_databaseでデータベースを生成する
↓
write_pointsでデータを突っ込む

となる．

上でデータベースにデータを突っ込むところについてはwrite_points()で行うと書いたが，この関数で登録するためのプロトコルはlineかjsonの2通りである．デフォルトではJSON形式が採用されている．

JSONで登録する際には「dictのlist」で表された記述をする必要がある．（Exampleより下記引用）

このうちtimeを省略した場合は，データベースに登録した際のタイムスタンプが押される．

json_body = [
    {
        "measurement": "cpu_load_short",
        "tags": {
            "host": "server01",
            "region": "us-west"
        },
        "time": "2009-11-10T23:00:00Z",
        "fields": {
            "value": 0.64
        }
    }
]

今回は例に用いられている↓のデータを用いて，lineで登録をしてみる．

https://s3.amazonaws.com/noaa.water-database/NOAA_data.txt

lineでの登録の仕方は簡単で，protocolにlineを指定してあげればよい．

from influxdb import InfluxDBClient as idbc

filename = 'NOAA_data.txt'
f = open(filename)


client = idbc('127.0.0.1', '8086', 'root', 'root', 'NOAA_test')
client.create_database('NOAA_test')

for line in f:
	client.write_points(line, time_precision='s' protocol='line')

f.close()

実行したあとに確認してみた結果，データベースに登録されていて，クエリを投げることもできた．

> show databases
name: databases
name
----
_internal
NOAA_test

> use NOAA_test
Using database NOAA_test
> select count(*) from average_temperature
name: average_temperature
time count_degrees
---- -------------
0 15258