アクセス解析ソフトにもう挫折しない！
Web解析ツールの実践的活用指南
文＝ 安西 敬介 全日空システム企画（株）
ANAのWebサイトのマーケティング・分析支援を行う
第7回
テストでサイトを最適化する
Web解析で行うことのひとつに「テスト」がある。世界中からアクセスされるWebサイトにおいて、実際のユーザーニーズに合わせて最適化していくためには、テストが欠かせない。今回そのテストの手法について言及する。
■■■
Webサイトを制作するにあたって、リリースのタイミングで、クライアントや制作者、そして何よりユーザーが100%で満足できるコンテンツをつくれるといことは、ほとんどないと言ってもよいだろう。
それは、制作時の「妥協」であったり「仮説」でものをつくっている部分があるからにほかならない。特に「仮説」については、正しいかどうかがリリースしてからでないとわからない。
サイトを最適化し、コンテンツを100%に近づけていくことは非常に重要なことである。今回はそのための方法としての「テスト」について解説する。
■テストを行うことが簡単なWeb
テストを行う場合、通常はテスト対象のとなる人の属性などを合わせてテストを行う。これは、テストの結果からなるべく変動要素を減らすために行うものである。しかし、実際に対象となる人を事前に選定し、かつ、属性を取得したうえでテストを行っていくという、たいへんな作業となってくる。
これを簡単にするために、対象となる人々を無作為で抽出しテストする方法がある。これは対象者を無作為で抽出することで、統計的にも信頼性のある結果を出すことが可能となる。テレビの視聴率調査もこの無作為抽出によって対象者を決定している。
Webではこの無作為抽出を利用したテストを非常に簡単に行うことができる。リアルタイムでアクセスしてきたユーザーにランダムでパターンを見せ、分けることができるからだ。コンテンツの入れ替えについても非常に行いやすいのは大きなリーチであろう。
また、コンバージョンへの結びつきやクリックスルーなどテストに対する効果も非常に取得しやすいのがメリットとなっている。通常、広告効果を取得するのは非常に困難なため、こういった効果測定ができる指標が複数用意されているのは非常にテストがしやすい環境といえる。
■実施と検証が簡単なA/Bテスト
無作為抽出によるテストを行う場合に、実施、検証ともに簡単なのがA/B（エービー）テストである【1】。これは来訪者に対して、ランダムでふたつの違うテスト対象を見せることで、その結果の違いを評価する方法である。
【1】A/Bテストで分析を行う場合はページ単位で比較するテストとなる
ランダムに振り分けることで実施するA/Bテストはその比較も簡単である。特に統計処理などは行わずに、コンバージョン率や直帰率などの反応の差を見るだけでよいのである。
最近のLPOツールではこういった検証設定が簡単になっているものが多く出ているので、そういったものを利用するとよいだろう。
ただしA/Bテストは実施が簡単な半面、さまざまなパターンをテストするには時間がかかるという欠点がある。これは1回のテストにおいて、テストの対象とする個所をひとつしか行うことができないためである。
■多変量解析テスト
A/Bテストに対して、多変量解析を利用したテストの方法というのがある【2】。海外ではMVT（Multi-Variate Testing）などとも呼ばれ、最近ではこれに対応したツールも多く日本で扱われ始めている。
【2】多変量解析でテストを行うとページ内に複数のテストを埋め込むことができる
通常、A/Bテストによってあるページの最適化を行う場合、そのページで最適化を行う場所ごとにテストを行っていく必要がある。ひとつのページで複数テストを行いたい部分がある場合、「テスト個所」×「パターン数」=テストパターン数となってしまい、その組み合わせを同時に行おうものなら大量のパターンのページを作成しなければならなくなってしまう。
この大量のパターン数を統計処理により、最適なパターンと期間で行うようにしているのが多変量解析を利用したテストである。これによってすべてのパターンのページをつくらなくてもテスト個所ごとの最適なクリエイティブを見つけることができるようになってくる。
■どうテストするのか?
テストを行う場合には、テストの計画をして以下の4点を明確にしておく必要がある。
● 最終的に評価するのは何か?
● 何をテストするのか?
● どうやってテストをするのか?
● どうやって評価するのか?
そのうえで、いくつかのテストを優先順位をつけて対応を行っていくとよいだろう。ここではテスト対象ごとにその方法を見ていきたい。
メッセージ
バナーやボタンのメッセージは、意外とその効果は大きく、意識しているよりも重要なテスト対象のひとつである。バナーやボタンのメッセージのテストを行うのであれば、クリックスルー率を比較するのがよいであろう。これは「そのボタンを表示した件数」÷「クリックした回数」で求められる。
コンバージョンプロセスの入り口となるボタンであればコンバージョンまで結びつけてもよいだろう。ただし、その場合はそのあとのページの構成にも影響を受けてしまう可能性がある。
ページ
ページのテストはそのテストの対象が何であるかによってそのテスト方法は大きく変わる。
テストの対象がページデザインやページ全体の主題の場合、A/Bテストによってページ全体の比較を行ったほうがよいだろう。これは部分的に入れ替えるよりもページ全体を比較するという要素が大きくなるためである。テスト結果の比較はページの目的に合わせて、コンバージョン率、直帰率/離脱率といった中から選択するとよいだろう。
これに対し、ページを構成するパーツやメッセージのテストを行う場合は、A/Bテストよりも多変量解析を利用したテストのほうが向いている。ページの1カ所をテストするのであれば、A/Bテストでもかまわないが、複数個所のテストを行う場合、それでは時間がかかってしまう。テストの結果は個々のパーツのクリックスルー率やコンバージョン率を見るとよいだろう。
UIの変更／追加
コンバージョンプロセス中のボタン追加や場所の変更など、ユーザーインターフェイス（UI）の変更などがこれにあたる。ユーザーインターフェイスの変更の場合、既存のユーザーが拒絶反応を起こしてしまい最悪ユーザーが離反してしまう可能性もある。できるだけテストをしてから導入するのがよいだろう。
実際のテストでは、変更したページからの離脱率を見るのがわかりやすい。また、場合によっては直接そのページ自体に影響が出るのではなく、別のページのエラー率を低くするなど、修正したものとは違う場所に結果が出る場合もある。最初に修正する個所を決定する際に、期待する効果をきちんと見定めておく必要があるだろう。
まとめ
Webサイトをテストを行いながら最適化していくということは、日本ではまだそれほど浸透していない。これは、ユーザー視点に立って考えられていなかったり、リリース日が目的になってしまっているということがあるだろう。
「仮説」が正しいかを検証しないのであれば、それは「仮説」ではない。「仮説」を「仮説」とするためにもテストを行うことは非常に重要な方法であろう。
利用している人に聞きながらサイトを良い方向に改善していく。無理にリリース前に頭をひねって終わりにするよりも、実はよほど楽な方法なのではないだろうか。
本記事は『Web STRATEGY』2008年7-8 vol.16からの転載です
Web解析ツールの実践的活用指南
文＝ 安西 敬介 全日空システム企画（株）
ANAのWebサイトのマーケティング・分析支援を行う
第7回
テストでサイトを最適化する
Web解析で行うことのひとつに「テスト」がある。世界中からアクセスされるWebサイトにおいて、実際のユーザーニーズに合わせて最適化していくためには、テストが欠かせない。今回そのテストの手法について言及する。
■■■
Webサイトを制作するにあたって、リリースのタイミングで、クライアントや制作者、そして何よりユーザーが100%で満足できるコンテンツをつくれるといことは、ほとんどないと言ってもよいだろう。
それは、制作時の「妥協」であったり「仮説」でものをつくっている部分があるからにほかならない。特に「仮説」については、正しいかどうかがリリースしてからでないとわからない。
サイトを最適化し、コンテンツを100%に近づけていくことは非常に重要なことである。今回はそのための方法としての「テスト」について解説する。
■テストを行うことが簡単なWeb
テストを行う場合、通常はテスト対象のとなる人の属性などを合わせてテストを行う。これは、テストの結果からなるべく変動要素を減らすために行うものである。しかし、実際に対象となる人を事前に選定し、かつ、属性を取得したうえでテストを行っていくという、たいへんな作業となってくる。
これを簡単にするために、対象となる人々を無作為で抽出しテストする方法がある。これは対象者を無作為で抽出することで、統計的にも信頼性のある結果を出すことが可能となる。テレビの視聴率調査もこの無作為抽出によって対象者を決定している。
Webではこの無作為抽出を利用したテストを非常に簡単に行うことができる。リアルタイムでアクセスしてきたユーザーにランダムでパターンを見せ、分けることができるからだ。コンテンツの入れ替えについても非常に行いやすいのは大きなリーチであろう。
また、コンバージョンへの結びつきやクリックスルーなどテストに対する効果も非常に取得しやすいのがメリットとなっている。通常、広告効果を取得するのは非常に困難なため、こういった効果測定ができる指標が複数用意されているのは非常にテストがしやすい環境といえる。
■実施と検証が簡単なA/Bテスト
無作為抽出によるテストを行う場合に、実施、検証ともに簡単なのがA/B（エービー）テストである【1】。これは来訪者に対して、ランダムでふたつの違うテスト対象を見せることで、その結果の違いを評価する方法である。
【1】A/Bテストで分析を行う場合はページ単位で比較するテストとなる
ランダムに振り分けることで実施するA/Bテストはその比較も簡単である。特に統計処理などは行わずに、コンバージョン率や直帰率などの反応の差を見るだけでよいのである。
最近のLPOツールではこういった検証設定が簡単になっているものが多く出ているので、そういったものを利用するとよいだろう。
ただしA/Bテストは実施が簡単な半面、さまざまなパターンをテストするには時間がかかるという欠点がある。これは1回のテストにおいて、テストの対象とする個所をひとつしか行うことができないためである。
■多変量解析テスト
A/Bテストに対して、多変量解析を利用したテストの方法というのがある【2】。海外ではMVT（Multi-Variate Testing）などとも呼ばれ、最近ではこれに対応したツールも多く日本で扱われ始めている。
【2】多変量解析でテストを行うとページ内に複数のテストを埋め込むことができる
通常、A/Bテストによってあるページの最適化を行う場合、そのページで最適化を行う場所ごとにテストを行っていく必要がある。ひとつのページで複数テストを行いたい部分がある場合、「テスト個所」×「パターン数」=テストパターン数となってしまい、その組み合わせを同時に行おうものなら大量のパターンのページを作成しなければならなくなってしまう。
この大量のパターン数を統計処理により、最適なパターンと期間で行うようにしているのが多変量解析を利用したテストである。これによってすべてのパターンのページをつくらなくてもテスト個所ごとの最適なクリエイティブを見つけることができるようになってくる。
■どうテストするのか?
テストを行う場合には、テストの計画をして以下の4点を明確にしておく必要がある。
● 最終的に評価するのは何か?
● 何をテストするのか?
● どうやってテストをするのか?
● どうやって評価するのか?
そのうえで、いくつかのテストを優先順位をつけて対応を行っていくとよいだろう。ここではテスト対象ごとにその方法を見ていきたい。
メッセージ
バナーやボタンのメッセージは、意外とその効果は大きく、意識しているよりも重要なテスト対象のひとつである。バナーやボタンのメッセージのテストを行うのであれば、クリックスルー率を比較するのがよいであろう。これは「そのボタンを表示した件数」÷「クリックした回数」で求められる。
コンバージョンプロセスの入り口となるボタンであればコンバージョンまで結びつけてもよいだろう。ただし、その場合はそのあとのページの構成にも影響を受けてしまう可能性がある。
ページ
ページのテストはそのテストの対象が何であるかによってそのテスト方法は大きく変わる。
テストの対象がページデザインやページ全体の主題の場合、A/Bテストによってページ全体の比較を行ったほうがよいだろう。これは部分的に入れ替えるよりもページ全体を比較するという要素が大きくなるためである。テスト結果の比較はページの目的に合わせて、コンバージョン率、直帰率/離脱率といった中から選択するとよいだろう。
これに対し、ページを構成するパーツやメッセージのテストを行う場合は、A/Bテストよりも多変量解析を利用したテストのほうが向いている。ページの1カ所をテストするのであれば、A/Bテストでもかまわないが、複数個所のテストを行う場合、それでは時間がかかってしまう。テストの結果は個々のパーツのクリックスルー率やコンバージョン率を見るとよいだろう。
UIの変更／追加
コンバージョンプロセス中のボタン追加や場所の変更など、ユーザーインターフェイス（UI）の変更などがこれにあたる。ユーザーインターフェイスの変更の場合、既存のユーザーが拒絶反応を起こしてしまい最悪ユーザーが離反してしまう可能性もある。できるだけテストをしてから導入するのがよいだろう。
実際のテストでは、変更したページからの離脱率を見るのがわかりやすい。また、場合によっては直接そのページ自体に影響が出るのではなく、別のページのエラー率を低くするなど、修正したものとは違う場所に結果が出る場合もある。最初に修正する個所を決定する際に、期待する効果をきちんと見定めておく必要があるだろう。
まとめ
Webサイトをテストを行いながら最適化していくということは、日本ではまだそれほど浸透していない。これは、ユーザー視点に立って考えられていなかったり、リリース日が目的になってしまっているということがあるだろう。
「仮説」が正しいかを検証しないのであれば、それは「仮説」ではない。「仮説」を「仮説」とするためにもテストを行うことは非常に重要な方法であろう。
利用している人に聞きながらサイトを良い方向に改善していく。無理にリリース前に頭をひねって終わりにするよりも、実はよほど楽な方法なのではないだろうか。
本記事は『Web STRATEGY』2008年7-8 vol.16からの転載です
