Kacam.net

障害調査

P99 涨到 3 秒,平均值几乎没动

P99 从 80ms 涨到 3 秒,平均值只从 40 涨到 90 —— 你先问什么?

プロンプトをコピーして、どれか一つを選んでください。答えを並べるのではなく、面接官として場面ごとに問い詰めてきます。

アプリを入れたスマートフォンなら、そのままアプリが開きます。WeChat の中では外部アプリを開けないので、先にブラウザで開いてください。

一个订单查询接口,P99 爆了但平均值几乎没动,错误率和 QPS 都正常。你要做的是提问:要监控、要日志、要拆维度,它按一份你看不见的真相回答,而且只回答你问到的。

这一份的诊断链最干净(理论最短 4 问),适合第一次做,用来熟悉这个形状。

现场里埋了几条会带偏人的观察 —— 同期确实有一次发布、确实有几个指标在涨。收尾时它会告诉你,你在每条伪线索上花了几问。

★★★☆☆ · 約 30 分 · 問われるのは:分位数背离、按维度拆、分清原因和结果

この一本が鍛える動き

まず数で押さえる 軸で切り分ける 原因と結果を分ける

この問題はやったか

ログインすると「この問題はやった」を記録できます。次に来たとき、いつやったか分かります。

やった人の手記

まだ誰も書いていません。やり終えたら、そのやり取りで何が出てきたか書いてください —— どの場面で詰まったか、あとで変えた結論はどれか。

ログインすると手記を書けます。

使い方

現場(何のサービスか、症状、いつから、影響範囲)を渡したあと、黙ります。あなたが質問し、監視・ログ・パケットを要求し、仮説を出す —— それに対して、見えない真相どおりに答えます。

**次にどこを見るべきかを自分から言うことは禁じています。** 聞かなければ言いません、あなたが十分間ぐるぐる回っていても。これは意図的です:現実には隣で「フレームグラフを見たら」と言ってくれる人はいません。障害調査の力とは「何を聞くべきか思いつく」ことそのものです。

始め方

  1. 一本選んで開き、プロンプトをコピーします。
  2. 新しい空の会話に貼ります。
  3. 現場を提示して止まります —— **そこからはあなたの番です。**

途中でいつでも使える四つの合図

  • 给个方向 答えではなく方向だけをもらう(回数に計上されます)
  • 公布真相 真相を明かして締める
  • 换一个 別の障害でやり直す
  • 复盘 すぐ締めて振り返りカードを出してもらう

三つの落とし穴

  • 末尾の真相を先に読まないこと —— 読んだらこの一本は練習になりません。
  • いきなり原因を当てにいかないこと。まず範囲を決めます(どれだけ/どの部分/いつから)。範囲が、コードの問題か環境の問題かを教えてくれます。
  • どの現場にも偽の手がかりを仕込んであります:同時期の無関係なリリース、原因ではなく結果である指標、教科書どおりの容疑者。締めのカードで、それぞれに何問使ったかが出ます。

最初は「P99 が 3 秒」から。診断の筋が一番きれいです。次に「一部のマシンだけ」——ここで学ぶ一条は応用範囲が最も広い。「たまに起きるタイムアウト」は後回しに、答えが自分のシステムの外にあります。「レポートが合わない」はシステムの知識が要りません。