こういうことがしたい！ S3 Bucket / logs / 20140707 / [サーバーA] / access.log S3 Bucket / logs / 20140707 / [サーバーB] / access.log S3 Bucket / logs / 20140707 / [サーバーC] / access.logfluentdでログをS3に流していますが、frontサーバーにオ…

以前に構築したEC2インスタンスでmongodbにログを貯めていったところ、 すぐに使用容量が一杯になってしまいました。Volumeを見ると、デフォルトの8GB...orz 思い切って100GBに拡張してみたその手順。

前回と前々回の続き。最終的な構成↓ EC2 Webサーバ2台に fluentをインストール。 MySQLのSlaveサーバにmongoとfluentをインストール。 インストール手順はこちら参照。やっぱりログは圧縮してS3にぶっ込んでおいたほうがいいよね！と途中で思い直したので、S…

DynamoDBと格闘の末、mongoDBで頑張ってみる結論を出しました。 開発環境にとりあえず全部突っ込んでみる。 AmazonEC2 microインスタンス mongodb 2.4.4 fluent (td-agent) 1.1.13 構築ログ (Root権限で作業) # リポジトリ追加 vim /etc/yum.repos.d/td.repo…

【作業メモ】Apacheログをfluentd+MongoDBで収集しRubyで集計してみたが… http://d.hatena.ne.jp/fat47/20120426/1335428063fluentdのin_tailプラグインでjsonを読む http://d.hatena.ne.jp/atsumu-t2/20120911/1347363094アプリを支えるFluentd+mongo dbを…