Нельзя сказать, что возвращение юного воина было абсолютно ничем не омрачено. Дом, правда, по-прежнему был в хорошем состоянии, а улица, на которой он стоял, переименована из Бэк-стрит в Бенефит-стрит, зато некогда крепкое телосложение Мерси Декстер претерпело весьма печальную и отчасти странную метаморфозу: эта добрая женщина превратилась в сутулую и жалкую старуху с глухим голосом и поразительно бледным лицом. На удивление сходное превращение произошло и с единственной оставшейся в живых служанкой Марией. Осенью 1782 году Фиби Гаррис родила мертвую девочку, а 15 мая следующего года Мерси Декстер завершила свою самоотверженную, скромную и добродетельную жизнь.

Уильям Гаррис, теперь уже полностью удостоверившись в существенно нездоровой атмосфере своего жилища, принял меры к переезду, предполагая в дальнейшем заколотить дом насовсем. Сняв на время комнаты для себя и жены в недавно открывшейся гостинице Золотой шар, он принялся хлопотать о постройке нового, более приличного дома на Вестминстер-стрит, в строящемся районе города за Большим мостом. Именно там в 1785 году появился на свет его сын Дьюти, и там семья благополучно проживала до тех пор, пока посягательства со стороны коммерции не вынудили ее вернуться на другой берег реки на Энджел-стрит, пролегавшую по ту сторону холма; в новый жилой район Ист-Сайд, туда, где в 1876 году ныне покойный Арчер Гаррис построил себе пышный, но безвкусный особняк с мансардной крышей. Уильям и Фиби скончались в 1797 году во время эпидемии желтой лихорадки, и Дьюти был взят на воспитание своим кузеном Рэтбоуном Гаррисом, сыном Пелега.

Рэтбоун был человеком практичным и сдавал дом на Бенефит-стрит внаем, несмотря на нежелание Уильяма, чтобы там кто-нибудь жил. Он полагал, что его святой долг перед подопечным заключается в том, чтобы собственность последнего приносила как можно больше доходу; при этом его немало не тревожили ни смерти и заболевания, в результате которых жильцы сменяли друг друга с быстротой молнии, ни все растущая враждебность к дому со стороны горожан.