こんにちは、@kuri8iveです。
推薦システムが好きなので関連する話題をよく眺めているのですが、表題の文字列がおぼろげながら浮かんできたのでなんとなく書きます。
- 当たり前にある推薦システム
- 推薦システムのUXにも及ぶ影響
- 推薦をUXの中心に据える流れ
- 推薦システムがUXの中心になるということ
- UXの中心に推薦システムを据えるなら
- UX評価指標策定の参考になりそうな文献たち
- おわりに
当たり前にある推薦システム
推薦システムはかつてないほどに当たり前の存在として、様々なサービスで活用されている技術になりつつあります。これは推薦システム関連研究の進展に加えて、Recommendations AIのようなフルマネージドサービスの登場や、RecBoleのような推薦システムに特化したライブラリの興隆も後押しになっているように思います。こういった技術・サービスの進歩によって、今までは知見や開発・運用リソースの不足で導入が難しかった企業もその恩恵に与ることができるようになってきました。その結果として、推薦システムの価値は社会全体に広く認知されるようになってきたのではないでしょうか。
推薦システムのUXにも及ぶ影響
推薦システム研究の第一人者であるミネソタ大のKonstan教授らが昨年公開した論文によると、推薦システムは単純接触効果以上の消費を促進するようです*1。より具体的には、実験の被験者はアイテムを見なかった場合よりも見た場合の方が高い確率で消費するが、この効果は"推薦されて"見たアイテムの場合倍となったという結果を報告しています。これはユーザーがアイテムに感じている不確実性を推薦システムが軽減することで起きていると著者らは見ています。このことは推薦そのもののUXへの影響を示唆しているでしょう。
推薦をUXの中心に据える流れ
さてそんな推薦システムですが、近年ではTikTokやNetflixのようにサービスの補佐的な立ち位置ではなくUXの中心に据えるサービスが業界の一番手の地位を確立しているケースが見受けられます。これらのサービスではコンテンツ自体は動画ではあるものの、そのUXを大きく形作っているのは推薦システムといえるでしょう。「TikTokのミッションは、創造性を刺激し、喜びをもたらすことです*2。」とのことですがこれを具体的に実現するために推薦システムは重要な役割を果たしていますし、有名な話ですがNetflixは視聴の8割が推薦から生まれているようです*3。他にもSpotifyにおいては、Discovery Weeklyという推薦機能で5年間で23億時間という膨大な再生時間を記録しています*4。
推薦アルゴリズムを公開*5して世間を驚かせているTwitterも（この記事の執筆時点のiOSアプリでは）おすすめがデフォルトのタブとなっており、ユーザーの反応は賛否両論ではあるものの推薦システムによるUXを中心に据えたいという方針のようです。また、私が業務で携わっているLINE NEWSも最近この方向性でリニューアルを行いました。（直接このリニューアルに携わってはいないのですが）
推薦システムがUXの中心になるということ
推薦システムがUXの中心になるということは、UXの大きな割合に対してユーザー自身が能動的に関与できるということを意味します。実際、Twitterの推薦アルゴリズムが公開されたことで、早速そのアルゴリズムを踏まえてより広めやすいツイートの仕方を整理し実践する人が出てきています。このケースは公式が具体的なアルゴリズムを公開した特殊ケースではありますが、公開されていないにしても過去の反応等からより恩恵を最大化する行動をとるようになるのは必然です。例えばTikTokに関連した研究群のユーザーインタビューで見られるように、アルゴリズムが公開されていなくても推測しハックすることを試みるユーザーが現れるわけです*6*7。
つまり、実装されている推薦システムがユーザーの行動をある程度規定、あるいは誘導しているといえます。
UXの中心に推薦システムを据えるなら
そういった背景を鑑みると、UXの中心に推薦システムを据えるのであればその設計はサービス全体のUXの設計そのものに近づいてきているはずであり、より直接的な結びつけが求められているのではないでしょうか。であるならば、サービスが究極的にはユーザーにどのような価値・体験を提供したいのか、ここから出発し策定した評価指標（UX評価指標、とでもつけておきます）を持って推薦システムを改善すべきだと考えます。これは必然的に各サービスの特徴や固有の事情を踏まえたものになってくるでしょう。例えばTikTokは動画の視聴完了を興味が強く現れている指標としていると述べていますが*8、
- 興味ないものはさっさと飛ばして面白いコンテンツを探しにいってもらうというサービスのスタンス
- ショート動画という動画の視聴完了がそれほどユーザーの負担ではないというコンテンツの性質
が故の判断であり、Amazon Prime Videoのような比較的長い動画中心のサービスはもちろん、YouTubeであってもこの判断をそっくり真似すべきではなくよく検討する必要があるはずです。
キングダム46巻で「法とは願い」、国家にとって国民にどうしてほしいという願いを法に込めるべきだという趣旨の台詞があります。これと同様にして、推薦システムがコアとなるサービスにおいては特に、その国家たるサービス運営者が法たる推薦システムをどう設計するかは、国民たるユーザーにどのような行動を取ってもらえると嬉しいかということの具現化に他ならないわけです。
例えばTwitterにおいては、リツイート一つとってみても、その文脈は全く異なっています。ユーザーとツイートとのインタラクションを増やしたい、という意図は同じでも、どういったリツイートを増やそうと推薦システムが試みるかによってユーザーが得る体験は別物になります。そしてそこには当然サービス運営者の思想が入ってくるわけです。同じ一つのリツイートにしても、より長く深い継続に繋がるような心地良い文脈で発生するようにシステムはツイートを推薦すべきでしょう。これを、精度のようにUXを直接的には表現できていない指標だけで評価しアルゴリズムをチューニングするとしたら、目指しているユーザー体験を提供できているかの判別はできません。
その判別のためには、UX評価指標を主な評価指標として、精度のような推薦システムの表現力をチェックする指標はABテスト実践ガイドが言及しているところの「ガードレール指標」として見るべきではないでしょうか。ここで単に見る指標を増やすだけでなくUXに関わる指標を主な評価指標にするという区別は、企業がバリューを掲げる理由と同様に、迷った時の判断やサービス全体の将来を考える上で大事だと考えます。
余談ですが、本節と近い話題が今日公開されたLyftの推薦システム運用事例記事にも少し記載されており、あわせてお読みいただくと良いかもしれません*9。
UX評価指標策定の参考になりそうな文献たち
とはいえUX評価指標のようなものを0から定義することは必ずしも容易ではないと思いますが、幸い参考になりそうな文献がいくつか存在します。まず推薦システム実践入門の3.2節やABテスト実践ガイドの6章が参考になりそうです。最近の研究では、例えば「到達点として設定したアイテムにユーザーがたどり着けたか」という視点で指標をいくつか設計し、これらを中心に各手法を比較した研究を読んでみるとヒントが得られるかもしれません*10。他に、人の価値観をどう推薦システムに取り込むか様々に議論している論文の5章も役立つかもしれないですね*11。
また、そもそもどういった定義になりそうかというイメージについては、一般的な指標をまとめた記事や近年のBeyond accuracyの流れを踏まえたサーベイ論文がその具体化を助けてくれそうです*12*13。
おわりに
推薦システムは、時間や注意資源等が限られた人間にコンピューターの力を活かしてできるだけ興味にあったものを届けようとする、個人的にとても好きな技術です。この技術が当たり前に素敵な体験まで届けてくれる未来になったらいいなぁと思わずにはいられません。
*1:The Economics of Recommender Systems: Evidence from a Field Experiment on MovieLens
*3:The Netflix Recommender System: Algorithms, Business Value, and Innovation (TMIS'19)
*4:SpotifyユーザーのDiscover Weeklyプレイリストの再生が2015年以降23億時間以上に
*5:Twitter's Recommendation Algorithm
*6:Trick and Please. A Mixed-Method Study On User Assumptions About the TikTok Algorithm (WebSci'21)
*7:Algorithmic Folk Theories and Identity: How TikTok Users Co-Produce Knowledge of Identity and Engage in Algorithmic Resistance (CSCW'22)
*8:How TikTok recommends videos #ForYou
*9:The Recommendation System at Lyft
*10:Influential Recommender System (ICDE'23)
*11:Building Human Values into Recommender Systems: An Interdisciplinary Synthesis
*12:レコメンドつれづれ ～第3回 レコメンド精度の評価方法を学ぶ～
*13:Survey on the Objectives of Recommender Systems: Measures, Solutions, Evaluation Methodology, and New Perspectives (ACM Computing Surveys'22)
