Место, выбранное им для постройки, недавно выпрямленный отрезок новой фешенебельной Бэк-стрит, пролегавшей по склону холма прямо над многолюдным Чипсайдом, не оставляло желать лучшего, а возведенное здание, в свою очередь, делало честь этому месту. Это было лучшее из того, что мог себе позволить человек с умеренными средствами, и Гаррис поспешил въехать в новый дом накануне рождения пятого ребенка. Мальчик появился на свет в декабре, но был мертворожденным. И в течение следующих полутора столетий ни один ребенок не родился в этом доме живым.

В апреле следующего года семью постигло новое горе: дети внезапно заболели, и двое из них Абигайль и Рут умерли, не дожив до конца месяца. По мнению доктора Джоуба Айвза, их унесла в могилу какая-то разновидность детской лихорадки; другие врачи единодушно утверждали, что болезнь скорее напоминала туберкулез или скоротечную чахотку. Как бы то ни было, но она, похоже, оказалась заразной ибо именно от нее в июне того же года скончалась служанка по имени Ханна Бауэн. Другой слуга Илайа Лайдесон постоянно жаловался на дурное самочувствие и уже собирался вернуться на ферму к своему отцу в Рехобот, как вдруг воспылал страстью к Мехитабель Пиэрс, принятой на место Ханны. Илайа умер на следующий год год воистину печальный, поскольку он был ознаменован кончиной самого Уильяма Гарриса, здоровье которого не выдержало климата Мартиники, где ему за последние десять лет приходилось часто и подолгу бывать по служебным делам.

Молодая вдова так и не оправилась от потрясения, вызванного смертью мужа, а кончина ее первенца Эльканы, последовавшая спустя два года, окончательно повредила ее рассудок. В 1768 году она впала в легкое умопомешательство и с тех пор держалась взаперти в верхней половине дома.