マルチスレッドによる高速化

ちょっと難しい話になります。
最近のパソコンはデュアルコア、クワッドコアを搭載し、マルチスレッドを上手く駆使すれば、簡単に処理能力を２倍、４倍にできそうな感じがします。
特に高速処理を要求される画像検査の領域では、相当効きそうな感じがします。
しかし・・・当方が直面した事実をお伝えしておきます。
「１つのスレッドを追加するごとに、すべてのスレッドが20％速度が低下する」
鋭い方はお気づきかと思いますが、この現象が発生するとそんな簡単に処理能力は上がりませんし、それどころか意外と早い段階で「スレッドを増やすと処理能力が低下する」という現象が見られます。
処理の内容にもよるのでしょうが、「こういうこともある」という事実を頭に入れておくだけでずいぶん違うと思います。私自身、「やられた！」という思いで・・・。
クワッドまでですね。それ以上は・・・。