はじめに
こんにちは、@kuri8iveです。
本記事では個人的に好きな Algorithmic Effects on the Diversity of Consumption on Spotify [Anderson et al. 2020] という論文の紹介を中心に「サービス提供者はユーザーの多様なコンテンツ消費を促すべきか？」について考えたいと思います。
（※画像はいずれも紹介する論文内のものになります。）
この記事は情報検索・検索技術 Advent Calendar 2022の13日目の記事になります。 adventar.org
背景とデータ
多様な消費とユーザー体験
Twitter、YouTube、Spotifyなど、多数のコンテンツが楽しめるオンラインプラットフォームの多くでは、検索のようにユーザー自身で発見するか、アルゴリズムによる推薦のようにシステム側からの提案によってコンテンツを消費します。そして、当然のことながら、その消費したコンテンツによってユーザー体験の良し悪しが決まってきます。
さて、コンテンツ消費には様々な性質がありますが、その基本的な性質の1つは多様性です。つまり、ユーザーは似たコンテンツばかり消費するかもしれないし、違うものばかり消費するかもしれないということです。ここで、前者は後者より良いユーザー体験を享受できている、あるいはその逆が成り立つでしょうか？もちろんどのサービスも良いユーザー体験を提供したいでしょうから、この問いは重要なはずです。著者はSpotifyのデータを活用しその問いへの回答を試みます。
対象となるデータと曲埋め込み
主なデータは2019年7月の最初の28日間に記録された、数百万曲を累積約700億回聴いた1億人以上のユーザーのリスニング履歴で構成されます。なお、Spotifyには広告付きの無料ユーザーと有料ユーザーが存在しますが、前者はスキップ回数やオフライン利用に制限があるため、この研究では有料ユーザーのみが対象となっています。
これらのデータのうち、主にユーザーが作成した8億5000万以上のプレイリストを用いて曲の定量表現として曲埋め込みを作成しています。これはword2vecの音楽版といった感じで、word2vecにおける単語を曲、文章をプレイリストに置き換えて曲のベクトル表現を獲得します。つまり、プレイリスト内でよく一緒に再生される曲がベクトル空間上で近くに位置するように学習された表現が得られます。
GSスコア
消費の多様性はどう測ればよいでしょうか？著者は自身が過去に提案したgeneralist-specialist score（以降GSスコアと表記）を採用しています。GSスコアはユーザーが消費した曲の重心ベクトルとある曲の埋め込みとのコサイン類似度で表現されるものです。よって、似た曲ばかり聴く人（スペシャリスト）のGSスコアは平均的に高く、様々な曲を聴く人（ジェネラリスト）のGSスコアは低くなります。
一般には消費の多様性はジニ係数やエントロピーなどのアイテムの消費回数を用いた定義がよく使われるようですが、 これらの指標はアイテム間の多様性を無視しているため、アイテムの消費回数とアイテム間の類似性の両方を考慮した指標が望ましい、ということです。（なお，GSスコアとジャンルカテゴリのユーザーエントロピーは の相関関係があり、GSスコアとジャンルカテゴリのユーザージニ係数は
の相関関係があるため、それらの指標を用いても本稿で報告した結果と質的には似たものとなることが考えられると付記してあります。）
様々な観点から見た消費多様性とユーザー体験の関係
消費多様性と活動レベル
はじめに、データに含まれる全ユーザーのGSスコアを計算し、活動レベルごとの分布を示したのが以下の図です。
活動レベルが極めて低い人はスペシャリストである人が多い（薄い赤線がGSスコアが高い右側に寄っている）ものの、消費多様性と活動レベルの間の相関関係がわずかなものでした。稀にだけ聴く人は興味のあるものをちょろっと聴いて終わりでしょうし、たくさん聴く人のスタイルは様々でしょうから、これはそうですねという感じがします。
ユーザー／アルゴリズム駆動の消費多様性
次に、ユーザー／アルゴリズム駆動のリスニング履歴から別々にGSスコアを計算し算出した同時分布が以下の図に示されています。
この図から、ほとんど常にユーザー駆動リスニングの方が多様性があることが分かります。（と言われてもぱっと見よく分からないと思いますが、淡い青になっている部分のほとんどがよりも上にあることがそれを示しているようです。）Spotifyの推薦アルゴリズム次第なところもありますが、今まで聴いてないタイプの曲を初めて聴くのは検索起点が多いのでしょうかね。
消費多様性と人口統計学的属性
それから、ユーザー／アルゴリズム駆動のGSスコアと年齢や性別との結びつきを、2つの分布の対数オッズ比を用いて調べたのが以下の図になります。比較は18-24歳／45歳以上のユーザーの多様性で行われており、18-24歳が多数を占めていれば青、逆の場合は赤が濃く表示されています。
図から色の分布がハッキリ違うように、
- 年齢が上がるにつれてユーザー駆動→アルゴリズム駆動となる明白なパターンが見られた。
- また、対数オッズ比は2となり（→一方の確率が他方の7倍になることに相当し）効果も大きい。
と結論付けています。やはり（？）歳を取ると冒険しなくなるものなのでしょうか。
ちなみに、男女間には有意な差はなかったようです。
消費多様性と顧客維持率
続いて、サービスにとって極めて重要な顧客維持率との関係を調査しています。2018年7月に活動があった数千万人のユーザーを対象とし、この月のGSスコアを測定、1年後にアクティブである経験的確率を計算した結果を下図に示します。 （図ではChurn rate、解約率の高低として縦軸で表現されています。）
- 傾向は驚くほど明確で、サービスに留まる確率はジェネラリストの方がかなり高かった。
- 活動レベルが高くなると、GSスコアの変化は活動レベルの変化よりもユーザ保持率の変化との関連性が高くなる（図の曲線が互いに重なり始める）。
- ユーザーエンゲージメント（i.e. 活動レベル）が伝統的にユーザー保持の最も強力な予測因子であることを考えると特に注目に値する。
この結果が本研究のメインの分析結果の一つと言えるでしょう。1点目に関して、もちろん、因果関係を示したわけではないので多様な消費をさせると解約が減るとまでは言えません。しかし、全体的な消費多様性が減少していた場合、ユーザーが離れていってしまう前兆かもしれない、と警戒しても良いかもしれないですね。
また、2点目に関しても著者が述べているように興味深い結果ではないでしょうか。基本的にサービス運営者はユーザーにそのサービスをたくさん使ってもらうことに苦心するわけですが、ある程度以上使ってくれる人に対してはそれ以上を求めるよりも多様な体験を提供した方が良いかもしれない、ということを示唆している結果となっています。
消費多様性とコンバージョン
コンバージョン率、つまり有料会員になる割合はSpotifyにとって顧客維持率と同様に非常に大事な指標です。さて、ジェネラリスト／スペシャリストのどちらが有料会員になりやすいでしょうか？調査結果が以下の図です。（ここでは2018年7月の無料会員のデータを使用しています。）
- 顧客維持率よりもさらに明白な効果があり、スペシャリストよりもジェネラリストの方が有料会員に移行する可能性がはるかに高い。
- この効果は活動レベルの高いユーザーに特に顕著で、活動レベル最大のユーザーではジェネラリストが平均より38pp高いのに対し、スペシャリストは平均よりわずかに3pp高くなるに留まる。
こちらも同様に、面白い結果となっていますね。少なくともSpotifyにおいては、様々な曲を聴いてくれるユーザーの方がサービスの価値を感じてくれているということなのでしょう。
多様な消費は探索がもたらす？
ここまで紹介してきた[Anderson et al. 2020]はコンテンツの多様性の拡大と定着率やコンバージョンが非常に強く関連していることを示しました。また、主な貢献として「短期的に楽しめるコンテンツを推薦すると同時に、ユーザーが長期的にコンテンツ空間を探索して満足できるようにする、バランスを取ることの重要性を明らかにした」と述べています。確かに探索を促すと消費も多様になりそうですが、果たして本当にそうなのだろうか…？と思っていたら、しっかり後続研究 The Dynamics of Exploration on Spotify [Mok et al. 2022] で調べてくれていました。
ただし、その後続研究によると、探索と多様性の間にあるのは単純な関係ではないようでした。
彼らの分析によると、若い人ほど探索行動は少ないが多様性は大きい、つまり広く浅く消費するのに対して、年齢を重ねるほど逆の傾向、つまり狭い範囲を深く探索する傾向にあるようでした。ひとえに多様な消費や探索といっても、「どの基準で」なのか、ジャンルなのか時間軸なのかテンポなのか、単純には言えないということなのかもしれません。
この結果は音楽サブスク特有のもの？
さてここまでの研究はいずれもSpotifyという音楽プラットフォームに関するものでした。当然、「音楽以外ではどうなんだろう？」と思うわけですが、ありがたいことにニュースで検討した研究が2つほど今年発表されていました。
まず、ニュースサイトの記事の多様性が継続利用に与える影響の分析 [菅沼ら 2022]ではGunosyのユーザー行動ログを用いた分析が行われています。曲をニュース記事に置き換えてGSスコアを計算し、傾向スコアマッチングにより記事閲覧の多様性の継続利用率への影響を調べたところ、閲覧した記事の同質度合いが上位50%のスペシャリストは有意に継続利用割合が低かったようです。
また、ニュースアプリにおける閲覧記事の多様性とユーザーアクティビティについての考察 [佐々木ら 2022]では、Yahoo! JAPANアプリ内のニュース記事に関する行動ログで同じくGSスコアを計算し、いくつか分析を実施しています。分析の結果、多様な記事を閲覧するユーザーの方が離脱率、閲覧記事本数、セッション数などの複数の観点から将来よりアクティブになることを示しました。また、複数の記事閲覧ロジックの併用が閲覧記事の多様性に繋がる可能性を示唆する結果も得ています。
これらの結果から、[Anderson et al. 2020]で議論されていた内容は、音楽ドメインに留まらない可能性は十分ありそうですね。
おわりに
ここまでに紹介してきたいくつかの研究結果を踏まえると、良いユーザー体験をユーザーが享受できているかについて、消費の多様性はその一端を示しうると言えるのではないでしょうか。また、活動レベルが高いユーザーにとっての消費多様性の影響の大きさは、サービスの設計・改良を行う上で無視できない要因のように感じます。サービスのドメインや提供するサービスの種類によって消費多様性の意味するところは大いに変わってくるとは思いますが、ご自身のサービスで多様な消費をしてくれるユーザーはどういう動きを見せているか、一度調べてみる価値はあるかもしれません。
