不倫の前から夫婦仲が冷えきって共同生活していなかった場合

まず、「いつ」について考える。

慰謝料を支払うなど、不貞を行った者に厳しい措置がとられるのは、「婚姻共同生活の平和の維持という権利又は法的保護に値する利益*1」があるためだ。

『不倫―実証分析が示す全貌 』(五十嵐彰〈著〉 迫田さやか〈著〉/中央公論新社)

裏を返せば、婚姻生活の構成要素である同居や協力、扶助がない――具体的には、不倫の前から夫婦仲が冷えていて、共同生活をしていないようなときには、不倫によって家庭の平和という法益(法律によって保護される利益)が侵害されたわけではないので、不法行為が成立しない。