データを鵜呑みにする前に問いたい、そのデータは“真実”ですか……？

私がGoogle 本社の人事戦略室に配属になったとき、上司はまず「People are bad at knowing what they want．（人は何を欲しているのか、自分でもよくわかっていない）」という大事なことを教えてくれました。その後の3年間、本当にいろいろな場面でデータに踊らされそうになりましたが、その度にこの言葉を思い出し、「待てよ」と自分を制して別視点から考えてみたものです。

収集したデータをそのまま鵜呑みにする危険性を、いくつかの実例で解説します。例えば当時Googleでは採用プロセスのなかで「候補者体験（Candidate Experience）」を大切にする流れが起きていました。年間数百万件の応募がある企業ですから、採用体験が悪かったことでブランドを嫌いになり、ユーザーとしても離れていってしまうことにつながると、それは大変なことです。「候補者体験を向上させるなら、まずは現状把握ができていなければダメだ」ということで、数年前から全候補者を対象に「採用体験満足度サーベイ」をとることになりました。

候補者サーベイの結果、「Time to Hire（応募から採用までに要した期間）」が長いことに不満を感じている候補者が多いことがわかりました。たしかに、面接プロセスが長引けば不安も募るでしょうし、満足度が低くなるというのも納得はできます。

次に気になるのは「何日間までなら不満に感じず我慢できるのか」です。これを把握すべく採用管理システムのデータから実際に各候補者のTime to Hireを出し、何日目に我慢の限界がくるのかを調査しました。

ところが、調査の結果わかったことは、実際のTime to Hireと候補者の不満度合いには、強い相関がなかったということです。一体どういったことなのでしょう。そこで浮かび上がった仮説は、「候補者は採用期間に不満なのではなく、採用期間の期待値と現実のギャップに不満なのではないか」ということでした。この仮説をもとに各採用担当者から、「採用プロセス全体像はこのようなもので、平均でX週間かかり、長ければY週間になることもある」、「面接の結果はZ日に出る予定なので、その日にまたアップデートの連絡を入れます」など、候補者への事前のコミュニケーションを徹底してもらうことにしました。

その結果、Time to Hireが実際に短縮したわけではなくとも、候補者の満足度向上につながったのです。競合優位性や現場の負荷などを考えると、採用期間を短縮する努力自体ももちろん大切です。しかし、採用プロセスの変革が必要となれば大幅なメス入れが必要でプロジェクトが長期化してしまっただろうと考えると、「データの本質を突く」ことで迅速に手堅い成果につなげられた良い事例だと感じます。

また、時に人は「自分がどう思っているかわからない」のではなく、「あえて教えない」こともあります。上述の候補者満足度の文脈でいうと、採用プロセスが進行中の候補者に「本日の面接はいかがでしたか？ 面接官へのフィードバックを残してください。（このフィードバックは面接の評価に影響しないので正直に答えてください）」と聞いても良い印象の内容しか返ってきませんでした。しかしタイミングを変えて、面接の合否が出たあとしばらくしてから同じ質問をすると、良いフィードバックも悪いフィードバックも両方を収集することができました。

これらの事例からいえるのは、盲目的にデータを信じる前に、データがどのようなコンテキストで収集されたか、母集団によるサンプリングバイアスが発生しないか、他のデータ群と矛盾しないか、といった、“真実”に近づくための疑問の投げかけが大切だということです。

昨今流行っている「エンゲージメントサーベイ」にしても然りです。現在会社にいる従業員の不満にだけ耳を傾けると、意見が偏っていることに気づかないまま対策を講じてしまう「生存者バイアス」の罠にはまる場合があります。たとえば、退職者が在職中に受けたアンケートで不満に感じていたことと比較したり、従業員が本音を言いやすいようにアンケートの収集方法は匿名性が守られる設計になっているか確認をしたりと、データの本質を見極めるためにできることはたくさんあります。そのような工夫をしていくことでバイアスやトラップが外れ、今まで見えていたストーリーとは違う“真実”が見えてくるかもしれません。

後編では、発見した課題を解決するために必要なリソースとその解決方法について、Googleの年間エンジニア工数を10,000時間削減したプロジェクト事例を交えて解説します。