English

SINETStream ユーザガイド

S3固有のパラメータ

MessageWriter, MessageReader に共通するパラメータ

• brokers
  • 指定できない
• consistency
  • AT_MOST_ONCE のみ指定できる
• s3
  • endpoint_url (必須)
    • S3ストレージのURL
  • bucket (必須)
    • S3バケット名
  • prefix (必須)
    • オブジェクト名の先頭につける文字列
  • suffix (必須)
    • オブジェクト名の最後につける文字列
  • name (必須)
    • オブジェクト名に日付・時刻を埋め込むときの書式
    • day
      • 日単位のフォルダを作成してオブジェクトをまとめる。
      • オブジェクト名: {prefix}/{topic}/{西暦}/{月}/{日}/{topic}-{client-uuid}-{seqno}{suffix}
      • client-uuid は Writer/Reader を作成したときに生成されるUUID version4(ランダム)
      • seqno は0から
    • hour
      • 時単位のフォルダを作成してオブジェクトをまとめる。
      • オブジェクト名: {prefix}/{topic}/{西暦}/{月}/{日}/{時}/{topic}-{client-uuid}-{seqno}{suffix}
    • minute
      • 分単位のフォルダを作成してオブジェクトをまとめる。
      • オブジェクト名: {prefix}/{topic}/{西暦}/{月}/{日}/{時}/{分}/{topic}-{client-uuid}-{seqno}{suffix}
  • aws_access_key_id (必須)
    • S3接続用のアクセスキーID
  • aws_secret_access_key (必須)
    • S3接続用のシークレットアクセスキー

MessageWriter に関するパラメータ

• s3
  • utc_offset
    • 日付・時刻を生成するときに参照する協定世界時との差
    • ±HHMM の形式で指定する。
    • 省略時はローカルタイムゾーンになる。

MessageReader に関するパラメータ

なし

S3の設定例

AWS S3にテキストを保存する場合の設定例。 保存したデータの利用は外部アプリケーションを想定して user_data_only: yes を指定している(デフォルト設定の user_data_only: no だと読み出しにSINETStreamが必要になるため)。

service-s3:
  type: s3
  topic: test-topic
  value_type: text
  user_data_only: yes
  s3:
    endpoint_url: "https://s3.amazonaws.com"
    bucket: test-bucket
    prefix: test-prefix
    name: minute
    suffix: .txt
    aws_access_key_id: "<ACCESS_KEY>"
    aws_secret_access_key: "<SECRET_ACCESS_KEY>"