小说以殖民地时期新英格兰生活为背景，以当时严酷的清教视为罪不可赦的一桩“通奸罪”为核心展开情节，细致入微地刻画了与这桩“罪行”有关的四个人物的神精世界。胸口上别着鲜红A字（Adultery——“通奸”一词的首字母）的赫斯特·普林经过长期赎罪而在精神上获得自新，那个耻辱的字母竟逐渐成为一个受人尊敬的标志。迪梅斯戴尔牧师则长期遭受信仰和良心的折磨，终于从狂热的宗教活动家成为一个有血有肉、敢于担当的男子汉。赫斯特的丈夫奇林沃思本是个皓首穷经的学者，却在复仇心理的驱动下完全丧失了人生。而“通奸”生出来的小波儿则活像个野性未驯的异教精灵。小说以人道主义的悲悯情杯，层层深入地探究了罪恶和人性的各种道德、哲理问题，全书以监狱和蔷薇开场，以墓地结束，充满丰富的象征意义。

十五赫斯特和波儿