小說描寫女主人公海絲特·白蘭跟丈夫從英國移居當時尚屬英殖民地的美國波士頓。中途丈夫被印第安人俘虜。海絲特隻身到美後，迫於生活，被一青年牧師誘騙懷孕。此事，被當地虛僞的清教徒社會視為大逆不道。當局把海絲特抓起來投入監獄，遊街示眾，還要終生佩帶象徵恥辱的紅色的A字（Adultery：通奸女犯）和站在示眾颱上受審。州長親自主持瞭對海絲特的審訊，她所屬教區的牧師丁梅斯代爾——一個被公眾視為最高道德典範的誘騙海絲特的奸夫，也假惺惺地勸說她招齣奸夫的姓名。但海絲特寜願一人受辱，誓死也不招供。在遠離社會，遠離人群，受盡屈辱的處境中，海絲特孤苦頑強地生活著，全仗刺綉為生。她生活中的惟一支柱是撫養掌上明珠般的女兒珠兒。海絲特這種忍辱負重、代人受過和不屈不撓的精神，使丁梅斯代爾大為感動，也大受刺激，不久他便心力交瘁地病倒瞭。而獲釋歸來，一直在暗中偵察底細的海絲特的丈夫羅傑·奇林渥斯醫生，在給丁梅斯代爾治病中，已基本瞭解到瞭真情，並欲置丁梅斯代爾於死地。為瞭逃脫，海絲特跟丁梅斯代爾議定在新市長就職那天，帶上孩於一同乘船到“看不到白人足跡”的地方去。但此事也被奇林渥斯 識破，逃脫不成。於是，丁梅斯代爾在新市長就職那天，攜海絲特和珠兒走上示眾颱，當叢宣布瞭自己誘騙海絲特的事實，並死 在海絲特懷抱中。海絲特也從此得到瞭解放，帶著珠兒遠走他方。若乾年後，珠兒長大成人，安瞭傢立瞭業，而海絲特卻一人 再迴到波士頓，仍帶著那個紅色的A字，用自己的“崇高的道德和助人精神”，把恥辱的紅字變成瞭道德與光榮的象徵，直到老死。

霍桑開始是以短篇小說傢著稱的，誠如第一個自覺地把短篇小說作為一種獨立的文學體裁並提齣短篇小說創作理論的愛倫·坡（１８０９—１８４９）在《評霍桑的（復述的故事）》一文中所說：短篇小說的創作過程是由作傢“精心設計瞭某種希冀的單一效果；於是他編製情節並將其連綴起來，以期在最大程度上達到預定的效果。”美國堪稱短篇小說的王國，在開創這一體裁上，霍桑和愛倫·坡同樣功不可沒。

霍桑曾在作品中多次聲明，他寫的不是小說，而是“羅曼史”。用我們今天慣用的文學術語來說，就是他寫的不是現實主義小說而是浪漫主義小說。我們姑且不去爭論這樣分類的概括性與各自的定義，但無論如何，現實主義強調的是客觀描繪，浪漫主義則側重於主觀抒發。在霍桑看來，創作“羅曼史” 時，也就更可以隨心所欲地自由發揮作者的想象力，而不必拘泥於現實。他這樣做瞭，而且取得瞭成功，不愧是美國文學史上浪漫主義小說的開創者。

霍桑還進一步把他的“羅曼史”稱為“心理羅曼史”，這足見其對心理描寫的重視。他之所以重心理描寫，一方麵固然受時代和宗教的影響，將精神和靈魂混為一談，認為靈魂既然有善惡，有愛恨，有罪孽，就應該揭示齣來，以達懲惡揚善、頒愛抑恨的目的；但另一方麵，人的行為舉止終有其心理依據，如不進行心理挖掘，人物隻能停留在錶象上，必然顯得膚淺。對於慣於閱讀我國傳統的以白描手法刻畫人物的讀者，或許會覺得其故事節奏過於緩慢，但他卻是美國心理分析小說的鼻祖。

愛默生在論述自然的本質時提齣：“每一種自然現象都是某種精神現象的象徵物”；霍桑也認為，客觀物質世界僅僅是假象，其“靈性”纔是本質。因此，在霍桑的作品中，一景一物都有其比喻象徵的含義。當年，英國作傢威廉·朗格倫在《農夫彼爾斯》（１３６２）和約翰·班揚在《天路曆程》（１６７８—１６８４）這類宗教小說中，就曾把七大罪惡或人的品德變成具體人物登場。這種把抽象概念人格化並用來直接給人物命名的寫法顯然比臉譜化更為原始和粗糙。霍桑的象徵比擬筆法卻另闢溪徑，況物寫景不僅配閤抒情和渲染氣氛，簡直本身當真有“靈性”，成為故事的參與者，缺瞭便會顯齣不足。這一手法當即為麥爾維爾所效法，經過愛倫·坡的推崇，轉而被法國的波德萊爾進一步發揚，遂開創瞭現代派文學的象徵主義流派。就此而論，稱霍桑是象徵主義的奠基人並不為過。