データ分析のレビューを依頼する際に心掛けていること
こんにちは、@kuri8iveです。
先日、@dittoさんがデータ分析のレビューについて以下のブログ記事を投稿されていました。
よい記事で触発されまして、私も普段心掛けていることを整理がてら文字に起こしておこうと思い、この記事を書いてみることにしました。ただし同じ観点だと芸がないかなとも思ったので、逆、つまりレビューを依頼する側の観点のお話とします。重複する話も出てきそうですが、気にせずに書きます。
前提
本記事は、以下を前提とします。
- 自身が分析を実施、レポートを作成して納品する役割を担う
- レビュアーは自身と同じまたは隣接するチームの分析者かマネージャーで、分析ドメインについてある程度の理解がある
レビュー依頼前
大まかなスケジュールを想定して共有する
レビュアーが分析者であれマネージャーであれ、分析レビュー専任で他にやることが一切ない、というのはかなり稀でしょう。各々、別のタスクも抱えていることが普通だと思います。レビューを依頼しそのタスクに巻き込むからには、彼らの事情を当然考慮すべきです。
その一環として、タスクに着手しようとする段階で、私は大まかなスケジュールを想定して共有するようにしています。その共有には、いつ成果物を納品する必要があるのか、タスクのどの部分に不確実性が大きいのか、レビューを依頼するであろうタイミングはいつか、などを含めています。大まかなものであっても見通しが得られることで、レビュアーは自身のタスク状況等を踏まえて予定を調整しやすくなります。
なお、この想定スケジュールは少し悲観的に、時間がかかるものとして見積もるのがよいと考えています。サンドバッギング、つまり意図的に自分の能力を低く見せようとしている、と見られないようには注意が必要ですが、試行錯誤や手戻りもしばしば生じるデータ分析においては長めに見ておくのが安全ではないでしょうか。私自身、データの定義確認に時間がかかったり関係者から追加の要望を受けたりして当初の想定スケジュールは楽観的すぎた、となったことが何度もありました。レビュー対応が必要な箇所がたくさん出てくる、というのもよくあることでしょう。経験を積んで想定の精度が高まっていったとしても、不測の事態に対応できる余裕はほしいところです。
レビュー依頼時①:分析タスク
目的、分析指針、手法などを文字に起こす
レポートでは当然これらは文字になって記載されているでしょうが、分析のレビュー依頼時にもこれらを言語化しておくことは大事かなと思っています。また、企画書等で目的が既に文字になっていたとしても、自分自身の言葉で書くことが重要だと考えています。そうすることにより、自身がその分析プロジェクトをどの程度咀嚼し理解できているかを洗い出せるからです。
見るべき指標・観点が複数あるとき、それらの立ち位置を明確にする
たとえば広告関連のA/Bテストの分析を行うとしたら、広告売上やCTR、広告が掲載されているメディアのPVなど様々な指標の変動を確認することになるかもしれません。そしてその際、各指標がどういった立ち位置にあるのかを考え、明示することは大事だと考えています。これは先に述べた目的を文字に起こすこととも関連しますが、分析の対象となっている施策が何を目的としているかによって、どの指標が一番重要で、どの指標は副次的なものなのか、上がっていれば嬉しい指標は何で、下がっていたら展開できない指標は何なのかは大きく異なってきます。
alu.jp分析着手時にも整理するようにはしていますが、レビュー依頼時にも改めて言語化しておくことで、方向性が妥当かを早めに検証できるのではないかと思っています。
レビュー依頼時②:分析レポート
自己完結したものにする
レポートは可能な限り自己完結するように意識しています。つまり、その分析を理解するために必要十分な情報を引用とともにそのレポートの中に記載し、+αの話題は記載しない、という書き方です。読むと理解がより深まったり全容が把握しやすかったりする類のものは、「〇〇の詳細はこちら:(wikiのURL)」といった形で案内だけ出すようにしています。
分析によっては、過去の様々な取り組みを経て行われるものもあるでしょう。その場合関連する資料が膨らんでしまい、今回作成中のレポート以外にもほんとは多くのものに目を通してもらいたい…といった心情に至ることがあるかもしれません。ただし関連資料を含め過ぎてしまうと、レポートの読み手はもちろんレビュアーにも負荷のかかるレポートとなってしまいます。あくまで単体で、その分析の価値や提案が理解できるようにすべきです。
事実と解釈を明示的に分ける
これらが混ざっていると読みづらく、レビューもしづらいです。たとえば私は以前、
XXXとYYYの両方を閲覧したユーザーは、XXX or YYYを閲覧後SystemSSSへのリクエスト時点で、flag_aとflag_bの両方がfalseになっているはずだが、そうはなっていなかった
といった文言をレポートに書いたことがありました。この文中で「〜〜はず」の部分は解釈に当たるため、たとえば以下のように切り離すべきです。
- 事実
- XXXとYYYの両方を閲覧したユーザーは、XXX or YYYを閲覧後SystemSSSへのリクエスト時点で、flag_aとflag_bの両方がtrueになっていた
- 解釈
- いずれもfalseになっているはずなので、この部分に問題が生じている可能性がある
このように分けることで、レビューもやりやすくなるでしょう。事実については根拠となるダッシュボードを確認し、解釈については仕様を確認する、というように対応が一目で分かりやすくなるためです。
レビュー依頼時③:分析タスク・レポート共通
多面的なセルフレビューを試みる
他の方の工数を使ってレビューをしてもらう以上、自身でできる範囲の改善・修正を終えておくことは義務だと思います。どの段階・どの対象物であってもセルフレビューは必ず行うべきです。
ここで私が意識しているのは、できるだけ多面的にセルフレビューすることです。たとえば、
- セルフレビュー後に時間を空け、一旦別タスクや休憩を挟んでから再度行う
- 「(過去にレビューしてくださった)〇〇さんなら何が気になるだろうか?以前コメントもらったような改善点が残っていないか?」と他人目線になりきって行う
といったやり方によりその実現を試みています。自身が実施している分析は、深く入り込んでいる故にどうしても盲目になる部分があると思います。そこで、なるべく分析者である自身の視点から離れ客観視できるよう試行錯誤しています。
alu.jpテンプレを利用する場合、変更した変数を明示する
私が所属しているチームでは、よくあるA/Bテストの分析対応を省力化できるテンプレを開発し活用しています。具体的には、集計日時や各テストパターンの範囲などを指定してBIツールを実行すると、分析結果が文字や表になったmarkup(wikiに貼り付ける用)が出力される、というテンプレです。
レビュアーの負担が減らせるならそうするに越したことはありません。こういったテンプレを活用しているなら基本的には変更箇所とその影響が及ぶ範囲を見てもらえばよいはずなので、それがどこになるかを特定するようにしています。
特に気になっているところ、理解が怪しいと思うところ、相談したいと思うところを明示する
レビュアーも人間で、その注意資源は限られています。タスクやレポートの隅々まで綿密に見ることは現実的ではないでしょう。
そこで、特に気になっていたり、理解が怪しかったり、相談したかったりする部分はそれを明示するようにしています。たとえばレポートのレビュー依頼時には、そのレポートwikiにコメントとして記載しています。何も記載がなければ、その箇所にはぜひコメントがほしいのか、それとも重要度が低く見てもらわなくてもいいのか、当然側からは判別できません。明示しておくことで、分析者自身が気になっている部分にまず対応してもらえますし、レビュアー目線でも優先度が高い箇所を漏らさず対応でき、両者ともハッピーなのではないかと思っています。
質問は選択肢の提示と、こういう理由からこれがよいと思いますという意見を添えて行う
ここで言いたいことは、基本的に以下のブログ記事にあるお話がすべてではあります。提案のレベルが高ければ高いほど、回答・レビューは楽になるでしょう。
そして選択肢が複数ある場合、それらの立ち位置を明確にしておくべきだと考えています。レビュアーが全選択肢の性質や位置付けを常に把握できているとは限らないので、その文脈からしばらく離れていたり多忙だったりする時でも、そのメッセージ内に閉じて理解ができるように工夫すると親切ではないでしょうか。
必要に応じてビデオ会議/対面で直接話す
直接話してしまった方が伝わりやすい、早いといった利点がある状況であれば積極的に話しにいくようにしています。話題によっては、どうしても文字だとうまくニュアンスまで伝わりづらい、といったものもあるのではないでしょうか。そういった場合にはまず会話して互いの認識を揃えた上で、その会話内容を文字に起こし、それらを踏まえて改善・改めてのレビュー依頼をするようにしています。無理に文字だけで完結しようとするより、ずっとスムーズに進められるはずです。
レビュー依頼後
レビューを受けて変更した箇所を明示する
レビューを受けて変更し、「レビュー対応しました!」と連絡するだけだと、実際どう対応したかはパッと見では分かりません。そのため、「- 〇〇の箇所を、△△という表現に修正, - ××について…」といった形で何をどう修正したかを一覧としてまとめレビュアーに共有するようにしています。まとめることで、レビュアーは自身のコメントにどう対応してもらえたのかをその投稿を見るだけで一瞥できますし、対応漏れがないかも簡単に確認できます。
また、こういったレビュー対応事項のまとめ投稿が検索可能な形で残れば、それは組織にとっての資産になるとも思っています。新しく入ってきた人や将来の自分が同じような対応が求められる、という状況は普通に発生するでしょうし、検索すればその対応方法がすぐ分かることの価値は非常に高いはずです。
自分用チェックリストを加筆修正する
レビューで様々にコメントしてもらえることは、成果の品質向上には欠かせない取り組みとはいえ、当たり前のことではありません。もしレビューを依頼する側が何度も何度も同じコメントをもらうようであれば、「え、また…?もしかして改善する気がない…?」と疑念を抱かれてしまい、レビュアーの徒労感を増やしかねないでしょう。仕事とはいえ、まったく成長の気配が見えないのにいつまでも丁重に扱ってもらえると思うのは驕りではないかとすら感じます。
そういった事態に陥らないよう、私は自分用のチェックリストを作成しています。そしてそれを分析を進める過程で逐一確認し、なるべく妥当な進行ができるようにしています。また、分析プロジェクトが一つ終わるごとにもらったコメントについて加筆修正し、同じレビューコメントを二度もらわないよう仕組みによる解決を試みています。そうすることでレビュアーの負荷は大きく軽減できると信じていますし、セルフレビューの質も高まっていくので必然的に自走力も高まるでしょう。実際、毎回このチェックリストを活用しながら分析を進めることで、比較的低い水準のコメントをもらってしまうケースは相当減ったのではないかと感じています。
レビューで助かった点があれば喧伝する
レビューによくある問題点の一つは、「かけた労力に見合うほど報われにくい」ことにあると思っています。問いを立て、分析を遂行し、然るべき形で知見を整理した分析者はもちろん報われるべきでしょうが、別にタスクを抱えながらも時間を割いて分析の質を保証するために精を出したレビュアーもやはり報われるべき存在です。
ただし、レビュアーによる貢献は外部からは見えにくいものです。その貢献を一番理解しているのは、レビューを依頼した側に他ならないでしょう。であるなら、レビューによって助かった、改善できた、救われた点があれば、それを喧伝することが恩返しの一つになるのではないでしょうか。チャットツールのチームチャンネルはもちろん、チームの定例会議や分析プロジェクトの発表等でも積極的に広めましょう。そうすることで、レビューで分析の質が高まったことが評価者や関係者にも伝わり、レビュアーの労力に報いることができます。
alu.jpレビュアーが報われる組織は、助け合いが報われる組織だと思います。そうした組織の成果の質や生産性は必然的に高まっていくことでしょう。
おわりに
以上、分析レビューを依頼する際に心掛けていることを整理してみました。レビュアーが工数を割いて助けてくださることに感謝と敬意の念を持ち、それを依頼の仕方・振る舞いとして表現できるように意識はしているつもりです。