《远离天堂》将故事置于1957年秋天的美国康涅狄格州一座小镇。凯茜（朱丽安·摩尔饰）与丈夫弗兰克（丹尼斯·奎德饰）以及两个年幼的孩子过着舒适安稳的生活，这个看似美满的家庭也一直是邻里羡慕的对象。然而，凯茜意外发现弗兰克竟与一名男子有染，原本平静的生活由此出现裂缝，仿佛整个世界都要崩塌。
在与受过良好教养的黑人园丁雷蒙德（丹尼斯·海斯伯特饰）交谈后，凯茜从他的安慰中获得了些许力量。可随着种族问题浮现，周围人开始用异样的目光审视她。为了躲避流言蜚语，凯茜和弗兰克只能勉强维持婚姻关系，但两人的心中其实都牵挂着各自的爱人。
