はじめに～なぜ「A/Bテスト」を導入したのか～

「AbemaTV」では、日々プロダクトの様々なグロースを行なっています。その検証手段として導入している「A/Bテスト」に対して、デザインがどう向き合うか？を記していきます。

なお、本記事は「A/Bテストの正しい方法論」や「統計や分析に対する論点」ではなく、「デザインがどう向き合っていくか？」という考え方の部分を書いていきます。

「AbemaTV」は2016年4月にリリースし、直後から新機能追加やグロース施策を実施してきました。デザインが関わるグロースの軸は、2019年時点で主要なKPI毎に5つのプロジェクトがあり、それぞれにUIデザイナーが1~2名ずつ所属している体制です。

各プロジェクトの効果検証としてリリース日前後の比較検証を行なうことが多かったのですが、番組のコンテンツ要因や時節要因で指標が大きくぶれ「正しく定量評価できない」課題を抱えていました。

そこで、2018年中旬頃からA/Bテストでの検証を組織に取り入れ、検証方法自体の改善をし続けています。A/Bテストは便利な手法ですが、施策を重ねていくうちに、デザインの向き合い方が課題としていくつか浮き彫りになりました。

「AbemaTV」におけるA/Bテストの具体例

2019年時点での「AbemaTV」におけるA/Bテストの目的は、検証対象に対する「意思決定」です。

「アイテムの一覧性を上げることで、より応援してもらえるのでは」という仮説のもと、右のレイアウトを検証することにしました。デフォルトUIに加えて検証用UIを実装し、最小限の対象者（iOSユーザーの5%、など）に向けてリリースします。リリース後、分析レポートをもとに有意差検定を行ない効果測定をします。

多くの場合、検証用のUIに正の有意差がある場合は、そちらを100%適用します。負の有意差がある場合は、デフォルトのUIに戻すか、新たな打ち手を考えて再度検証します。

有意差があるとはいえない場合は、検定結果の次点となる意思決定の材料で評価を行います。

それは例えば

などで良く、あくまでも「意思決定の材料として何を選ぶか」は各プロジェクトに委ねられています（もちろん、なるべく個人の主観に拠らない意思決定をすることがポイントです）。

上の施策例の場合、「アイテムの一覧性により、応援ボタンのCTRが変わるのでは」という仮説の他に「ボトムシートが映像部分に重なることで、ユーザーのストレスを生むのでは」といった仮説もあります。

後者はユーザーテストなどをしない限りなかなか検証できませんが、仮説を持つことで意思決定の材料を整理できます。

重要なのは、A/Bテストでの有意差の結果を常に絶対正義として進めているのではなく、あくまでも「検定結果は意思決定の材料」となっていることです。

さらに、A/Bテストは「どちらが良いか分からない時に、どちらが良いか決める」ものです。極論、経営判断として提供したい意思があるアップデートなら細かく検証する必要はない、という認識で開発を進めています。

【補足】
2019年時点では複数のプロジェクトでA/Bテストを行なっており、担当者が変わっても検証の基準がブレないように意思統一をしています。

• ・施策をリリース後、「数字による確証はハッキリとないまま、なんとなく喜んだり、なんとなく腑に落ちなかったりすること」が減った。
• ・デザイナーが、自分のデザインが事業に対して好影響をもたらしたのかどうかが「数字となって保証されている感覚」を得られる。
• ・検証内容とは別の要因に左右されないことで、対象の目標にとことん向き合える風土になり、意識改善ができた。
• ・「小さく試す」ことが可能になり、全画面にまたがる機能改善だとしても「一画面でまずは検証して、良かったら全画面の実装を行う」という意思決定もできるようになった

課題① デザインの仮説に対する思考の甘さ

A/Bテストは「小さく試す」ことができるため、「開発スピード」を求められることが多いです。「答えがわからない仮説を小さく、速く検証するマインド」で進めていくと、どうしても「とりあえずA/Bテストしよう！」となりがちです。もちろん、基本的にはそれは良いことです。

しかし、そうすると結果的に「サービスとして譲れないポイント」や「本来提供したいブランド価値やユーザー体験」がおざなりになってしまうことがあります。

「答えがわからない仮説を小さく、速く検証する」ことが目的なので、少し矛盾してしまうのですが「熟考し吟味する姿勢が失われていくこと」がデザインの課題として見えてきたのです。

課題② コンポーネントが揃わなくなる=デザインの負債

といったものがあります。どれも「今すぐ目に見えて困る」出来事ではないのがポイントです。

課題③ 小さな施策が増えてしまう

目的達成の打ち手として、抜本改善することより、小さな目の前の課題と向き合うことに集中しすぎてしまうと、プロダクトの成長率が低くなるのではないでしょうか。

A/Bテストを繰り返した結果、「本当にサービスが成長しているか？」という視点を忘れてしまいがちです。

そうなった場合、事業戦略に責任を持つ立場の人だけが大局を見ているが、手を動かす開発者が目の前の課題しか見えていない状況で、すれ違いが起きてしまいます。

デザイナーとしても「何をどうデザインするか？」は俯瞰して考えることが重要なはずですが、A/Bテストという便利なツールにより「原点に立ち返るタイミング」が少なくなってしまいました。

課題④ 品質をあげるタイミングが失われる

デザイン自体には複数の観点での「品質」があります。

ユーザビリティの品質

まず、ユーザビリティにはレベルがあります。「使いやすい or 使いにくい」のどちらか一方ではなく、「様々な構成要素からなるグラデーションが存在している」と考えます。そのユーザビリティの構成要素としてよく挙げられるのは以下です。

このユーザビリティについては評価が難しいものの、今後何年も続くサービスを目指す「AbemaTV」では、どこまでも向上させることに意義はあります。

しかしユーザビリティの向上には評価方法も含め試行錯誤が必要で、「小さく速く」が求められるA/Bテストで提供する機能や施策には、その試行錯誤のタイミングはありません。

この「タイミング」の話をしてしまうと、問題なのはA/Bテストではなく開発組織としての優先度やスケジュールの立て付け方なのでは？ という声が聞こえてきてますが、それは確かにその通りです。

つまりは、A/Bテストという強い武器を手に入れたことで、デザインの品質に対してどう向き合うか？という課題がより浮き彫りになったのです。

ブランディングを支える品質

また、インターフェースの審美性や、グラフィックやラベリングによる印象の持たせ方など、ブランディングの一端を担う観点もデザインの品質として捉えています。

「かっこいい、ダサい、オシャレ、楽しい、つまらない、映える、キモイ」などといった印象は完全な個人の主観ですが、「その印象をどうしたいか？そのためにどう努力するか？」は大切な姿勢となっていきます。

プロダクトデザインの情報設計も、サービスデザインのブランド設計も、日々の開発業務の中では俯瞰してデザインしていくことが求めらますが、局所最適を繰り返す検証を実行している最中には、なかなかそこまで頭が回らないのです。

ちなみに筆者は
「まず事業成果を出すことが第一で、プロダクトの印象のデザインは二の次だ」という考えにも賛成できますし「印象をデザインできているからこそ、事業成果に繋がるのでは？」という考えにも賛成できます。筆者はこの論点の答えを出すことはできていませんが、「AbemaTV」では少なくとも、経営目線から印象をデザインすることを求められています。

どう向き合っていくか？

A/Bテストという素晴らしいツールのおかげで、「組織としてデザインとどう向き合うべきか？」という課題が浮き彫りになり、「AbemaTV」では「プロダクトデザインのビジョンやポリシー」を策定することとしました。具体的にどのように策定したか、詳しくはこちらのblogで公開していますのでご覧ください。