Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
東北地方太平洋沖地震・首都圏帰宅ログ :: デイリーポータルZ
これが今日現在までに集まった「帰宅ログ」。2011年3月11日、地震があった後、首都圏のみなさんがどのようにして帰ったか、の記録だ。青は鉄道・バスなどの公共交通機関、そして赤は徒歩による移動。 東京の被害は東北のそれに比べれば軽微なものだったが、それでも大きな問題だった思うのは、やはり交通網が麻痺した際の、首都圏の帰宅難民だ。ぼくも帰れなくなった。 情報があまり得られない中、どのタイミングでどういう手段で帰ればいいのか、という判断はかなり難しかった。さんざん話には聞いていたが、いざほんとうにそうなってみると戸惑うことばかり。関東大震災以来、東京にとってはじめての、実際に起こった大規模な帰宅難民問題だったはずだ。 と同時に、多くのみなさんと同様、ここ数日ぼくも「自分に何ができるだろうか？」と考えていた。で、出した結論がこれ。とりあえずみなさんの帰宅のログを残しておこう。後のために。誰かのため
ssh上で行った作業のログをとる - もぎゃろぐ
linuxサーバにログインしていろいろしたとき、翌日になって何かまずいことをしでかした事に気づく(でもログがないから何をしたかわからない)ということがままある。というわけでlinuxサーバにsshでログインして何かしたとき、すべてログに残すノウハウ。もうあちこちで紹介されているけど、自分用メモということで。 ~/.bash_profileに下記を追加 # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH unset USERNAME # keep everything in the lo
（高速に）Apache の log を解析する正規表現（追記あり） : a++ My RSS 管理人ブログ
※(多分)最終バージョンはこちらです。 ⇒[ぴ] - Apache Combined Log を効率的にパースする正規表現メモ , Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05) ※ベンチマークありがとうございました。 ネタ的には既出なんですが・・・ Ref: [ぴ] - Apache Combined Log を効率的にパースする正規表現メモ グーグル先生でよく教えてもらえる正規表現というのがありまして、 !^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"! これ、使ってみると 1万行解析するのに 7.617 秒かかりました。ありえない。（Let's note T5 / CentOS） で、バックトラックかからないよう、例えばこんな感じに適当に変更： !^([^\s]*) [^
Analytics Toolbox: 50+ Ways to Track Website Traffic
From analyzing your RSS feed to counting page views to visual representations of where your visitors are clicking, there is no shortage of companies looking to help you better understand your web site’s traffic. In our latest “toolbox” installment, we analyze (pun intended) the wide variety of applications and tools available for keeping tabs on how your sites, feeds, blogs, emails, or even your i
ページビューという指標はもう終わり？ - 木曜不足
知人が「サイトのページビューを〇倍にするように指示が出て、どうやってそれを実現するか考えてる」とこぼしていた。 あるいは静的なコンテンツが主であるサイトならば、まだページビューでもいいのかもしれない。 しかし動的なサービスを多数含むサイトで、「ページビュー〇倍」とか言うのはもはや自分の首を締めるだけだと思うのだが。 例えば簡単な検索フォームを考えてみると、ユーザの利便性を考えれば Ajax で実装した方がいいという判断ができるかもしれない。が、Ajaxで通常用いる XmlHttpRequest は当然ページビューのカウントには含まれない。 検索結果のページ送りや補助的な検索(郵便番号検索とか)がある場合も考慮すれば、レガシーな検索フォームであれば３〜10PVにはなったものが、Ajaxにしてしまったがために１PVに減ってしまう。 しかし、一般的にどちらがよりよいユーザ体験を提供できるかは言う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://fluentd.org/doc/
IDEA * IDEA
MKstats Y2K compliant version - Free log file analizer statistics program
Login | Performancing Metrics
オーサカPHP - アクセス解析
桐乡屑几汽车服务有限公司