先日この記事でアンケートを行いました。
そのアンケート結果を分析、反省していこうと思います。
アンケート結果
(※19/5/28時点)
割合に直すとこんな感じ。
「2ROM◯◯に価値を感じない派」と「2ROM◯◯にレート30以上の価値を感じる派」に大きく二分されることとなりました。
1勝で増えるレートは（同レートの相手だった場合）16なので、後者は2ROMの信頼性に2勝分以上の価値を感じていると言えるでしょう。
反省
選択肢の設定ミス
１つ目のミスは、レート2031~を細かく分けなかったことです。レート30以上の価値を感じる人がこれほど多いとは想定外でした。
自分の価値観を基準にして選択肢を狭めてしまったので、今後は冗長でも多くの選択肢を用意しなければと思います。ただ、選択肢が増えすぎるとかえって回答者への負担になるとも考えられますし、難しいところです。
アンケート文のミス
2つ目の致命的ミスは、「構築の強さ」とアンケート内で明示していなかったことです。つまり、「構築の強さ」ではなく「その人の強さ」という基準で回答した人が少なからずいたようです。
私も2000ROM2つの人と2001ROM1つの人どっちが強い(凄い)かと聞かれれば、後者だと答えます。2位を沢山獲った人より1位を一回だけ獲った人の方が強く見えるのと同じ感覚です。
また、勝負の秩序的にも2001ROM1つの人を称える方が望ましいです。
「レート2001獲った△△君よりも、2ROM2000獲った僕の方が強い〜」なんて理論が許されたら勝負の概念がめちゃくちゃになりますから。
例の記事は、導入に
『では、「2ROMでレート◯◯」といった表現の「2ROM」の部分は、構築の強さを示す要素としてどれだけの働きをしているのでしょうか。』
と書いたように、構築の強さが話題でした。
なのでアンケートもその前提で答えてもらえるだろうと甘えてましたが、これが駄目でした。記事冒頭の印象はどんどん薄れていくものですし、そもそも本文を読み飛ばしてアンケートだけ答える人も考慮しないといけません。
「2000(2ROMに価値を感じない)」回答が多かったことや、
Twitterで数人が「2ROMなんて意味ない」という旨の反応をしていたことが私には意外でした。
これは正しく意図が伝わってないなと思い、振り返ってみるとアンケートや話の組み立てに欠陥を発見した、という感じです。
極端な例ですが、
負けたら全財産を失う賭けがあったとして10ROM2000の実績を持つ構築と1ROM2001の実績を持つ構築が用意された場合、後者を選ぶ人はほとんどいないのではないでしょうか。
こういったニュアンスをアンケート文で表現できなかったのが駄目だったなあと思います。
あとがき
長々と書きましたが要するに、アンケ内で「構築の強さ」と明文化してないのが大きなミスだった、と反省しました。伝えたいことをちゃんと伝えるのって難しいですね。
今回始めて記事にアンケートを導入してみたのですが、読者の意見が知れて楽しいし、読者へ意図が伝わっているかも副次的にチェックできる場合があるので、今後も活かしていきたいと思います。