サイネージの効果が分からない理由は、たいてい測定ツールの不足ではありません。比べられる状態を作らないまま掲出を始めてしまうことが原因です。
掲出面は一つひとつ条件が違います。入口の正面にある画面と、通路脇にある画面。同じ内容を出しても、目に入る回数はまるで違います。この差を揃えないまま「A店では効いた、B店では効かなかった」と結論すると、施策の効果と置き場所の効果が混ざったものを読むことになります。面の数が少ないほど、この混ざりの影響は大きくなります。
この記事では、仮説と検証指標の対応表、面の条件差を揃える手順、UTMとAIカメラの実装、そして測れないものの線引きまでを順に示します。効果測定を含むサイネージ運用の全体像は親記事の店舗売上を伸ばすデジタルサイネージ運用|失敗しない7つの設計にあります。本記事はその原則6を実装まで降ろすものです。
なお当社(デジタルプロモーション)はサイネージを提供している側です。だからこそ、測れないものと、AIカメラを入れなくてよいケースにも独立した章を割いています。
「効果が分からない」の正体
掲出してから測ろうとすると、比較対象が消える
効果測定の相談で最も多いのが、「半年運用したので効果を検証したい」という依頼です。この時点で打てる手は、実はほとんど残っていません。
理由は単純で、比較する相手がないからです。掲出前の数字を取っていない。全店で一斉に始めたので出していない店がない。同じ画面で内容を何度も差し替えたので、どの期間がどの施策か分からない。この3つが揃うと、手元にあるのは「掲出した半年間の売上」だけになります。それが高いのか低いのか、判断する材料がありません。
効果測定は掲出後の作業ではなく、掲出前に「何と何を比べるか」を決める作業です。順序を逆にすると、あとから精緻な分析手法を持ち込んでも埋まりません。
仮説とKPIの立て方は、別の記事で扱っています
「目的を決めてからKPIを置く」「仮説を先に立てる」という考え方そのものは、店舗売上を伸ばすデジタルサイネージ運用の原則6と、店舗販促のKPI設計|天候・客数・施策の交絡を切る比較フレームで扱っています。本記事では繰り返さず、実際に使う対応表から入ります。
仮説と検証指標の対応表
サイネージで検証したい仮説は、実務ではおおむね次の型に収まります。仮説ごとに、見るべき指標と、必要な比較の形が変わります。
■ の列が、掲出を始める前に手当てしておくものです。ここが空のまま走ると、あとから検証できません。
この表の使い方は1つだけです。掲出を決めた時点で、右端の列に書いてあるものを先に用意する。 全部を測ろうとして全部が中途半端になるより、1つに絞って確実に読めるほうが、次の判断が早くなります。
右端が用意できない仮説は、今回は結論を出す対象から外すと決めてください。捨てる必要はありません。数字は眺めておいて、気づいたことは次回の仮説にする。ただし「効果があった」という結論には使わない。この線引きをしておかないと、用意していなかった指標で都合のいい差を見つけて報告することになります。
なお対応表では、1行目の指標を「対象商品の点数構成比」にしていて、店全体の売上は見ていません。これは意図的なものです。店全体の売上は、来客数・天候・品揃え・価格など多くの要因で日々動きます。その中に埋もれた1面ぶんの影響を取り出すには、相当な期間と店舗数が要ります。まず動きが見える粒度の数字で読むのが、測定設計の第一歩です。
掲出面の条件差をどう揃えるか
ここからが本記事の中心です。比較設計の教科書的な話は各所にありますが、面そのものの条件差をどう扱うかは、あまり書かれていません。
面ごとに違うもの
同じ「デジタルサイネージ1面」でも、次の要素が違えば結果は変わります。
- 通行量:その面の前を1日に何人が通るか
- 視認距離と滞在時間:通り過ぎるだけの場所か、待ち時間がある場所か
- 画面の高さと大きさ:目線の高さにあるか、見上げる位置か
- 周囲の情報量:他の掲示物やポスターに埋もれていないか
- 時間帯の客層:昼と夜で通る人が入れ替わる場所か
「A店とB店を比べる」とき、この5つが揃っていることはまずありません。そして揃っていないまま比べると、出てきた差のうちどこまでが施策によるものかを、分けられなくなります。
揃える、揃えられないなら割る
現実的な手順は次の3段構えです。
上から順に試し、できないときだけ下に降ります。③まで降りたら、結論は「傾向」までに留めます。
①が使えるなら①を使ってください。 1つの画面で内容を交互に出せば、通行量も高さも周囲の情報量も自動的に揃います。訴求の比較なら、ほとんどの場合これで足ります。
ただし①にも1つだけ落とし穴があります。午前と午後で入れ替える形にすると、比べているのが「訴求の違い」なのか「時間帯の違い」なのか分からなくなります。 昼と夕方では客層も混雑も違うので、面の条件は揃っても客の条件が揃いません。
これを避ける組み方は単純です。時間帯を固定して、日ごとに交互に出す。 月曜はA、火曜はB、水曜はA……とし、さらに翌週は順番を入れ替えます(AB/BAの順で回す)。曜日の効果と、前に出した内容が残る効果の両方を薄められます。手間はほとんど変わらないので、最初からこの形で始めてください。
②は、複数面を持つ店舗で置き場所を比べたいときです。すべてを揃えるのは無理なので、比較に影響が大きい順に揃えます。 経験上は通行量、次に周囲の情報量、その次に高さです。画面サイズは意外と後回しで構いません(※1)。
③は最後の手段です。読み取り数を推定通行量で割る、来店数を客数で割る。実数のままでは比較にならない面どうしを、率に直して並べます。
ただし③には弱点が3つあります。分母の通行量そのものに推定誤差が乗ること。通行量の少ない面ほど率が暴れること(分母が小さいと、1件の増減で率が大きく動きます)。そして率そのものが面の規模と無関係とは限らないことです(通行量の多い面ほど率が下がることもあれば、その逆もあります)。
したがって③で出た差は、「傾向」であって「効果の大きさ」ではありません。 社内で報告するときは、率だけでなく分子と分母の実数を必ず併記してください。「読み取り率3%」ではなく「通行量2,000に対して読み取り60」と書けば、読む側が誤解しません。通行量が数百に満たない面は、そもそも率で語らないほうが安全です(※2)。
面が1つしかない店舗はどうするか
小規模店舗では、そもそも比べる面がありません。この場合に取れるのは時間の中で比べる方法だけです。
- 同じ曜日・同じ時間帯で、内容を出す週と出さない週を交互にする
- 1日の中で、掲出する時間帯としない時間帯を作る
いずれも、比べているのは面ではなく期間です。したがって天候や客数の変動をまたぐと、差が施策によるものか外部要因によるものか分けられなくなります。
面が1つの店舗が、最低限これだけは守るという線を3つ挙げておきます。
- 曜日を揃える。出す週と出さない週で曜日構成が変わらないようにする(月〜日を丸ごと単位にするのが簡単です)
- 順番を入れ替える。出す→出さないを1回ずつで終わらせず、出す→出さない→出さない→出す のように前後を入れ替えて2巡させる
- 件数が少ないうちは判断しない。読み取りが週に数件しか出ない状態では、増減はほぼ偶然です。判断の前に、比較する各条件で最低でも数十件は貯める
そのうえで、天候や同時施策の切り分けは店舗販促のKPI設計を参照してください。
計測の実装
ここからは具体の手順です。
UTMの設計
QRから遷移した先を計測するとき、面ごと・クリエイティブごとにURLを分けていないと、あとから切り分けられません。 最低限、次の3つを分けておきます。
- どの店舗のどの面か
- どのクリエイティブか
- いつの掲出か
命名は、あとで見て意味が分かるものにします。たとえば source=signage を固定し、medium に面の識別子(store01-entrance store01-register)、campaign にクリエイティブと期間(summer-fair-0811)を入れる、といった形です。ここで店舗名を日本語やスペース入りで書かないでください。 集計画面で別のキャンペーンとして分かれてしまい、後から手作業で名寄せすることになります。
分け方より大事なのは、分けたものを一覧で残しておくことです。QRを刷った時点で、どのQRがどのURLかを表にしておく。これがないと、3か月後に「このQRはどの面のやつだったか」が分からなくなります。実際、計測が破綻する原因の多くはツールではなくこの管理表の不在です。
AIカメラで取る指標と、その前に決めること
AIカメラを入れると、画面の前を通った人数や、立ち止まった人数を取れます。ただし導入前に決めておくことが2つあります。
1つ目は、「視聴」と「購買」を別の指標として分けて記録することです。 見た人が増えたことと、買った人が増えたことは別の話です。ここを1つの「効果」にまとめると、視聴が伸びて購買が伸びなかったときに、クリエイティブの問題なのか商品の問題なのか切り分けられなくなります。
2つ目は、どこまで取るかの線引きです。 ここは法令とガイドラインの領域なので、一次情報に当てて設計してください。
総務省・経済産業省とIoT推進コンソーシアムがまとめた「カメラ画像利活用ガイドブック ver3.0」(令和4年3月)は、店舗内カメラの使い方について、事業者が配慮すべき点を整理しています。同ガイドブックは、撮影画像から骨格・輪郭・目や鼻や口の位置関係などを抽出して数値化したものを特徴量データと定義しています。そのうえで、顔認識のように特定の個人を識別できる水準のものを個人識別符号として扱い、次のように述べています(出典:カメラ画像利活用ガイドブック ver3.0)。
カメラ画像や特徴量データ(個人識別符号)を即座に破棄するケースに比べ、特徴量データ(個人識別符号)をデータベース化して一定期間保有し、一定期間にわたり行動履歴や属性推定の結果を紐づけて取得し分析する場合、生活者の行動や属性を継続的に把握し得るため、データを取得し続ける期間が長くなるほど、プライバシーへの影響が高まる
同様に、分析の対象となる空間を広げるほど(1店舗に限定せず、同一事業者が運営する多数の店舗で行う場合など)影響が高まるとされ、動線分析やリピート分析のようにリスクが相対的に高い利用については、慎重に実施を検討すべきと明記されています。
実務への落とし込みは単純です。サイネージの効果測定に必要なのは、たいてい「何人が前を通り、何人が立ち止まったか」までです。 同じ人が何度来たかを追う必要は、ほとんどの場合ありません。であれば、特徴量データを保持せず即座に破棄する設計にしておく。取れるからといって取りにいくと、得るものが小さいわりに説明責任だけが重くなります。
ただし、即座に破棄する設計にすれば手続きが不要になるわけではありません。 破棄の有無にかかわらず、次の項目は導入前に決めて社内で共有しておいてください。
- 撮影する範囲(どこからどこまでが画角に入るか)
- 利用目的と、それを生活者にどう伝えるか
- 誰が運用の責任を持ち、問い合わせをどこで受けるか
- 機器やデータの管理方法と、外部に委託する場合の委託先の管理
同ガイドブックは、事前告知を「生活者に対して事前に、カメラによる撮影の目的・取得するカメラ画像の内容等を詳しく説明すること」、通知を「カメラにより撮影中であること、撮影の目的等を説明すること」と定義しています。掲示物の文面を作るときは、この2つの水準の違いを踏まえて用意してください。
ふたつ補足します。ひとつは、同ガイドブックに「サイネージ」という語は出てこないことです。扱っているのは店舗内カメラによる属性推定や動線分析なので、サイネージに付けたカメラで人数や立ち止まりを測る行為も、考え方としてはこの枠組みの中にあります。
もうひとつは、ガイドブックに沿えば法令上問題ないと保証されるものではないことです。会員情報と紐づける、取得したデータを第三者へ提供する、防犯目的のカメラと兼用する。こうしたケースはそれぞれ別の検討が要ります。自社のケースの最終判断は、顧問弁護士や専門家に確認してください。
POSとの突き合わせ
売上側と突き合わせるとき、照合の鍵になるのは時間帯別のPOSデータと、配信スケジュールの記録の2つです。日次の売上と月次の配信内容では、粒度が合わず何も言えません。
ただしこの2つは「並べられる」ようにするためのもので、これだけで因果を言えるわけではありません。価格変更、欠品、キャンペーン、スタッフの人数といった要因が同じ期間に動いていれば、そちらが効いている可能性が残ります。この切り分けは店舗販促のKPI設計で扱っています。
現場で詰まりやすいのは配信スケジュールのほうです。「いつ何を流したか」を後から復元できるようにしておかないと、POSがどれだけ細かくても照合できません。配信管理の画面にログが残るなら、月末にエクスポートして保存する運用を最初に決めておいてください。
どこまで測れて、どこから測れないか
測定の設計で最も大事なのは、測れないものを測れると言わないことです。当社はサイネージを提供する側ですが、ここは正直に線を引きます。
この記事の設計で測れるものは、画面の前の人数と立ち止まり、QRの読み取り、遷移先での行動、対象商品の売上構成比、指名検索や経路検索の増減、そして現場で数えた回数です。
この記事の設計では測れないものは次の3つです。
- 画面を見たことが、どれだけ売上に寄与したかの金額。人は画面だけを見て買うわけではないので、店内の1面だけを取り出して金額に換算することはできません
- 見たけれど、その場では何もしなかった人のその後。個人を追跡しない設計をとる以上、数日後に来店した人を画面と結びつけることはできません
- ブランドイメージへの影響。掲出後にアンケートを取るだけでは、その結果が掲出によるものか元からの傾向かを分けられません
大事なのは、この3つが原理的に不可能なのではなく、この記事が扱う範囲の外にあるということです。実際には、掲出する地域としない地域を分けて差を見る方法(※3)や、広告投下量と売上の関係をまとめてモデル化する方法(※4)、会員IDと来店を紐づける方法、対照群を置いたブランド調査など、集計レベルで推定する手立てはあります。
ただしいずれも、相応の規模と予算、そしてデータの扱いに関する追加の設計が要ります。店舗数が限られる、あるいは1面から始める段階では、費用に見合いません。この段階では「測れません」と答えるのが正解で、無理に推定値を作ると、その数字が独り歩きして次の投資判断を誤らせます。規模が大きくなり、投下額が判断を左右する水準になったときに、あらためて検討する順番です。
AIカメラを入れなくてよいケースも明示しておきます。訴求の良し悪しを比べたいだけなら、同じ画面での出し分けとQRの読み取り率で足ります。カメラが要るのは、通行量そのものが分からず、面の条件差を割って補正する必要があるときです。目的が前者なら、投資は不要です。
ただしQRには弱点があります。読み取る人は、もともとスマホを出しやすく、時間に余裕がある人に偏ります。 読み取らずに買っていく人は数に入りません。したがって読み取り率は「どちらの訴求が伝わったか」の代理指標であって、そのまま売上への効き方だとは読まないでください。QRを読ませること自体が目的でない業態では、対象商品の売上構成比とあわせて見る必要があります(※5)。
効果測定を「制約→判断→結果→再現条件」で組む
測定設計は、理想形を描くより自社の制約から逆算するほうが早く決まります。
制約を書き出す。 面はいくつあるか。POSは時間帯別に取れるか。比較できる期間をどれだけ確保できるか。ここが曖昧なまま設計すると、走り出してから測れないことに気づきます。
検証する仮説を1つに絞る。 対応表から1行だけ選びます。同時に複数を検証しようとすると、掲出内容を揃える条件が競合して、結局どれも読めなくなります。
結果を、決めた比較の形でだけ読む。 掲出後に別の切り口で数字を眺め始めると、たまたま差が出た指標を拾ってしまいます。見る指標は掲出前に決め、それ以外は参考値として扱ってください。
再現条件を言語化する。 効いたなら、何が効いたのかを書き残します。「入口正面に置いたこと」なのか「訴求を1つに絞ったこと」なのか。ここを書かないと、次の店舗で同じ結果になりません。
この型の詳細は店舗販促のKPI設計に、業種ごとの運用の当てはめは飲食店のデジタルサイネージ活用と小売店のデジタルサイネージ活用にあります。
よくある質問
Q. すでに1年運用しています。今から効果測定はできますか。 過去にさかのぼった検証は困難ですが、これからの検証は今日から始められます。まず対応表から仮説を1つ選び、必要な事前データを2〜4週間取ってください。そのうえで内容を変える、あるいは出す時間帯を変える。過去1年を評価するより、次の3か月を読めるようにするほうが実りがあります。
Q. AIカメラは必須ですか。 必須ではありません。訴求の比較なら、同じ画面での出し分けとQRの読み取り率で足ります。カメラが必要になるのは、通行量が分からず面の条件差を補正できないときです。
Q. 効果測定で、どのくらいの期間を見ればよいですか。 仮説によります。訴求の比較は、読み取り数が一定量たまれば数週間で判断できます。指名検索のような認知側の指標は、数か月単位で見ないと動きが読み取れません。
期間より大事なのは、「何件たまったら判断するか」を先に決めておくことです。期間だけ決めて件数を決めずにいると、たまたま伸びた週に「効いた」と結論してしまいます。逆に件数が足りていれば、期間が短くても判断できます。そして差が出るまで延長しないでください。延ばし続ければ、いつか偶然の差が出ます(※6)。
Q. 本部から全店の効果を出せと言われています。 全店を1つの数字にまとめると、面の条件差が混ざって解釈できなくなります。条件の近い店舗をグループにして、グループごとに出すほうが読み取れます。
全社の数字が必要なときは、計算の順番に注意してください。面ごとに出した率を平均してはいけません。 通行量100人の面と10,000人の面の率を足して2で割ると、小さい面が同じ重みで効いてしまい、実態からずれます。正しくは、分子を全部足し、分母を全部足してから割る(読み取り数の合計 ÷ 通行量の合計)です(※7)。単純な話ですが、現場の集計で最も多い間違いがここです。
Q. 天候や客数の影響はどう扱えばよいですか。 本記事は面の条件差だけを扱っています。天候・季節・同時施策といった施策レベルの交絡は店舗販促のKPI設計|天候・客数・施策の交絡を切る比較フレームで扱っているので、そちらを参照してください。
自社の測定設計を確かめるときに
いま掲出している、あるいはこれから掲出する面について、次の4点を書き出してみてください。
- 掲出面の数(同一店舗内に複数あるか、店舗ごとに1面か)
- 条件の近い面、または条件の近い店舗が組めるか
- POSを時間帯別に取り出せるか
- AIカメラや通行量カウンターの有無
この4つが決まると、対応表のどの行を検証できるかがほぼ機械的に定まります。1が少なく2の組も作れない場合は、面を増やす前に同じ画面での出し分けから始めるのが確実です。
当社ではサイネージの運用代行とあわせて、測定設計そのもののご相談も承っています(デジタルサイネージ運用代行)。上記4点を添えてご相談いただくと、初回から具体の議論に入れます。測定の仕組みを増やさずに済むと判断できる場合は、その旨をお伝えします。
補足:もう一段踏み込むときの用語
本文は、分析の専門家がいなくても現場で守れる形に落としています。社内にデータを扱える方がいる場合、あるいは外部の分析会社と組む場合に備えて、それぞれに対応する正式な呼び名を挙げておきます。用語を知らないまま進めても本文の設計は成立します。 相談相手に話を通しやすくするための対応表として使ってください。
※1 面や店舗の「もともとの差」を織り込む
面ごと・店舗ごとの初めからある差を、計算の中で定数として扱う方法を固定効果モデルといいます。店舗数が多く、店舗ごとのばらつき自体も知りたい場合は階層モデル(マルチレベルモデル)を使います。どちらも「置き場所の差を差し引いてから施策の差を見る」ための道具です。
※2 通行量で割る代わりの、より正確な扱い方
率にしてから比べるのではなく、通行量を「接触の機会量」として計算に組み込む方法があります。ポアソン回帰のオフセットと呼ばれ、通行量の違いを補正したうえで面ごとの差を推定できます。分析担当者がいるなら、本文の③よりこちらが正確です。
※3 掲出する地域としない地域を分けて差を見る
地域単位で実施群と非実施群を分け、その差から効果を推定する方法をジオリフト実験といいます。実施前後の変化を両群で比べる形は差分の差分(DID)と呼ばれます。対照にできる地域が作れない場合は、実施しなかった地域の数字を組み合わせて「実施しなかった場合の推移」を人工的に作る合成コントロールという方法もあります。いずれも個人を追跡せずに済むのが利点です。
※4 広告投下量と売上の関係をまとめてモデル化する
複数施策の投下量と売上の関係を統計モデルで推定する手法をMMM(マーケティング・ミックス・モデリング)といいます。数年分のデータとまとまった投下量が前提になるので、規模が出てからの選択肢です。
※5 QRを読む人が偏る
測定できる人とできない人が体系的に違うことを選択バイアスといいます。QRの読み取りはスマホを取り出しやすい状況の人に偏るため、読み取り率で全体の反応を代表させることはできません。
※6 何件たまったら判断するか
必要な件数を事前に見積もる作業をサンプルサイズ設計といいます。データを何度も途中で見て「差が出た時点で止める」と偶然の差を本物と誤認しやすくなり、これはピーキング問題と呼ばれます。途中で判断したい場合は逐次検定という専用の手法があります。
※7 率を単純に平均しない
面ごとの率を足して割ると、分母の大きさが無視されます。全体の率は「分子の合計÷分母の合計」で出すか、分母で重みを付けた加重平均を使います。グループごとに見た傾向と全体をまとめた傾向が逆転する現象はシンプソンのパラドックスと呼ばれます。