ここで、1人目のメンバーを選んだので、各問題の配点を変更します。次のメンバーは、1人目のメンバーである「2さん」が不正解だった問題を解くことのできる人が好ましいと考えられます。逆に、2さんが正解した問題を解ける人はそこまで必要ではありません。従って、2さんが正解したか否かで問題の配点を変更します。
問題の配点を変更したら、採点をやり直して最高得点を取った人を2人目のメンバーとして選びます。ここでは、「2さん」が不正解だった問題の配点を高くしたので、その問題を解ける人が最高点数を取りやすくなります。この作業を一定回数繰り返すことでチームメンバーを選抜します。
こうしてメンバー（弱識別器）からなるチーム（強識別器）が決定しました。ある問題に対する答えは、最終的にチームとして一つまとめる必要がありますが、その過程では各メンバーがそれぞれ答えを提案します。チームとしての答えを決定するに当たっては、各メンバーの得点を考慮します。
一つひとつの弱識別器は、顔かどうかを識別する必要がありました。では、その識別は具体的にどのようにすればいいのでしょうか？
例としてリンゴとミカンの識別を考えます。リンゴとミカンの大きな違いは色なので、画像中の赤色およびオレンジ色の画素の多さによって識別ができそうです。ここでは、赤色とオレンジ色の画素の多さを画像の特徴量と呼ぶことにします。この特徴量は、弱識別器の作成にも利用します。
リンゴとミカンの識別では色の情報が特徴量として適しているように、顔の識別にも適した特徴量があります。詳細な説明は省きますが、今回はLBP（Local Binary Patterns）特徴量を利用しました。他にはHaar-like特徴量が顔検出によく利用されます。
