回答:
自然な会話を捉えるために、ペアプロセスを使用します。
被験者に背景の質問票を渡した後、自然なオフィス環境でマシンの前に置き、実行するタスクを与えます。私の仕事はプログラミングツールを扱っているので、被験者はペアプログラミングを行いますが、ペアアプローチは他のプログラムでも同様に機能します。ペアを使用する利点は、お互いに質問し、一緒に指示を理解しようとすることです。
ペアを使用することは、一般的な「大声で考える」アプローチよりも自然です。そのアプローチの問題は、被験者が使用するメタファーを簡単に捉えられないことであり、それによって彼らの思考への洞察が与えられます。たとえば、コンパイラツールの場合、「ああ、なぜそれが表示されているのですか？」、「うーん、一致を見つけるときのようですが、間違ったディレクトリを入力したのでしょうか？」トリックは、被験者がお互いの混乱を説明しなければならないとき、彼らは正直な努力をする十分な理由があるということです。
Camtasiaとマイクを使用して、画面の内容とその内容をキャプチャします。次に、セッションを書き起こし、画面上で発生した特定のアクションを注釈します。[Camtasiaは、MoraeのメーカーであるTechSmithからです。]カメラを使用して被写体をキャプチャし、指がどこを指しているのかを確認することができます。筆記録を調べることは、結果がどうなるかを書き込もうとするときにはるかに役立ちます。[さらに：書き込みプロセス自体は、結果を公開するつもりがない場合でも、適切な質問をするのに役立ちます。]
彼らがタスクを実行した後、彼らの経験、彼らがプログラムを何のために使用するだろうと思うか、彼らが何を好んだか、そして何を改善してもらいたいかを彼らに説明するように依頼してください。このフィードバックを得ることは必ずしもあなたがそれらを実装するために彼らの文字通りの提案を取るようにする必要はありません。むしろ、彼らの期待が何であったか、そして彼らがあなたが意図したものとは異なる方法でプログラムを概念化していたかどうかを確認するために、より深く見てください。繰り返しになりますが、彼らがどのような比喩を使用したかを確認します。
また、タスク自体のパフォーマンスも確認してください。彼らは彼らが想定していたことを達成しましたか？テストしているプログラムに基づいて、特定のタスクがそれらにかかった時間を計測したい場合があります。
非常に基本的なタスクと思われるものを使ってパイロットテストを開始します。単純なタスクでさえ、思っていたよりも長くかかることに驚くことでしょう。これまでのところ、私は自分のツールの構文を変更するために得たものを使用し、いくつかの機能をあちこちに微調整しました。しかし、私が見つけた最大の利点は、チュートリアルを作成してツールを組み立てる方法にあります。