メトリクスの変化を分析する(Part 5):ミックスシフト (Sequoia Capital)

このシリーズの以前の記事では、製品や季節要因、そして、主要指標に影響する可能性のあるその他の外部要因について検討しました。本記事では別の要因となるミックスシフトについて検討します。

「ミックス」には複数の意味があり、時にシンプソンのパラドックスとして語られます。会社の「売上品ミックス」は売れた各製品の総売上に対する比率を意味します。同様に、「ユーザー人口ミックス」とは、特定のユーザー基盤の(例えば、特定の国のユーザー)の全ユーザー基盤に対する比率です。

ミックスの経時的な変化は「ミックスシフト」として知られています。例えば、ある製品のデイリーアクティブユーザー(DAU)が、t1時点において米国が75%、米国外(ROW: rest of the world)が 25%であり、t2時点において米国60%、ROW 40%とします。このケースでは、米国群でもROW群でもTS/DAU(デイリーアクティブユーザー1人当たりの消費時間)に変化が見られないとしても、全体のTS/DAUが延びる事態は起こり得ます。

例えば、米国におけるAmazonプライムを検討してみましょう。図1はプライムの平均取引額の経時的変化を示していますが、変化の要因としては価格調整と、種々の群におけるミックスシフトの双方が認められます。Amazonプライムでは、通常の顧客、学生顧客、低所得層の顧客、年間プラン、月間プラン、時折のセールで異なる額を提示しています。

f:id:bfore:20180901210857p:plain

2016年から2017年にかけての顧客1人当たり平均額の下落は、低所得層会員、月間会員、学生会員の利用者数の増加がほぼすべての原因です。この3種類の会員はいずれも、他の顧客層と比べて支払金額が少なくなります。同期間に各製品の価格は同じレベルに保たれており、変化したのは顧客ミックスの方でした。同期間の顧客ミックスについての完全な情報が与えられれば、図1に示されるそれぞれの変化を正確にミックスシフト要因に帰することができるでしょう。

今、消費者向け企業でt1とt2におけるTS/DAUを調査しているとしましょう。TS/DAUの変化の原因のどの程度がミックスシフトによるものであり、どの程度がそれ以外のすべての変化によるものであるかを突き止めたいと考えています。以下の極端なケースでは、ミックスシフトの影響をどのように特定するかが示されます。

ケース1:完全なミックスシフト効果

t1時点において、米国のユーザーのTS/DAUは1日当たり10分、ROWでは1日当たり5分です。ユーザーの80%は米国のユーザーで、その結果、全体のTS/DAUはユーザー1人当たり9分になります。

t2時点において、TS/DAUは米国でもROWでもt1時点から変化しませんでした。しかし、ユーザーミックスはひっくり返りました。今では米国の占める割合は20%で、残りの80%がROWです。その結果、全体のTS/DAUはユーザー1人当たり6分へと変化しました。ユーザー1人当たり3分の短縮ですが、これは完全にミックスシフトが原因です。

f:id:bfore:20180901210916p:plain

この例が示すように、製品も個々のユーザーのエンゲージメントも変化しない状況でも、ミックスシフトは全体のエンゲージメントを低下させることがあります。

ケース2:ミックスシフト効果なし

今回も、t1時点において、米国のユーザーのTS/DAUは1日当たり10分、ROWでは1日当たり5分です。また、今回も米国は80%のユーザーシェアを占め、全体のTS/DAUはユーザー1人当たり9分です。

しかし、t2時点において、米国のTS/DAUは1日当たり20分に延び、ROWでは不変でした。シェアもまったく変わりませんでした。その結果、全体のTS/DAUはユーザー1人当たり17分へと変化しました。8分の延長ですが、これは完全に米国ユーザーのエンゲージメントの増加が原因で、ミックス効果はありません。

f:id:bfore:20180901210933p:plain

以上の2つの例は極端なものです。実際には、全体のエンゲージメントは通常、ミックス効果と内在的なエンゲージメント変化の双方によって変化がもたらされます。これらの効果を定量化する公式を作り出すのは比較的容易です。

ミックスシフト効果は、国、地域、プラットフォーム、年齢、性別、コネクティビティクラス、デバイスクラスなど、多くの特質において分析することができます。ミックスシフト分析の効果を最大化するためには、最初に問題を慎重に検討して、ミックス効果についての仮説を立てる必要があります。

重要なポイント

ミックスシフトを分析すれば、集団ミックスの変化の影響とユーザーのエンゲージメントの内在的変化の影響を特定する助けになります。

 

この記事は、Sequoia CapitalのData Scienceチームによるものです。Jamie Cuffe、Avanika Narayan、Chandra Narayanan、Hem Wadhar、Jenny Wangが執筆協力しています。質問、コメント、その他のフィードバックにつきましては、data-science@sequoiacap.comまでメールでお送りください。

 

著者紹介 

Sequoia Capital (Medium)

アイデアから IPO、そしてそれを超えて、Sequoia は大胆な創業者たちが、伝説的な起業を作ることを助けます。

記事情報

この記事は原著者の許可を得て翻訳・公開するものです。
原文: Analyzing Metric Changes Part V: Mix Shift (2018) 

BFORE (Biz FOR Engineers) はスタートアップに関するノウハウを届けるエンジニア向けのメディアです

運営元