Если изначально он представлял собой нечто вроде фермерского домика, то впоследствии приобрел ряд признаков типичной новоанглийской колониальной постройки середины восемнадцатого столетия и превратился в помпезный двухэтажный особняк с остроконечной крышей и глухой мансардой, с георгианским парадным входом и внутренней панельной обшивкой в тогдашнем вкусе. Дом стоял на склоне холма, поднимавшегося к востоку, и был обращен фасадом на юг; нижние окна с правой его стороны находились почти вровень с землей, зато левая сторона дома, граничившая с улицей, была открыта до самого фундамента. На архитектуре дома, строившегося более полутора столетий тому назад, отразились нивелировка и выпрямление дороги, пролегавшей в непосредственной близости от него. Речь идет все о той же Бенефит-стрит, которая прежде называлась Бэк-стрит и представляла собой дорожку, петлявшую между захоронениями первых поселенцев. Выпрямление ее стало возможным лишь тогда, когда тела были перенесены на Северное кладбище, и, таким образом, отпало всякое моральное препятствие к тому, чтобы проложить путь прямо по старым фамильным делянкам.

Первоначально западная стена дома располагалась на крутом склоне холма на расстоянии примерно в двадцать футов от дороги, однако в результате расширения улицы, осуществленного незадолго до революции, промежуточное расстояние существенно сократилось, а подвальный этаж обнажился настолько, что пришлось соорудить кирпичную стену с двумя окнами и дверью, оградившую его от нового маршрута для публичного передвижения. Когда сто лет тому назад был проложен тротуар, промежуток между домом и улицей исчез окончательно, и По во время своих прогулок мог видеть лишь стену серого скупого кирпича, начинавшуюся на одном уровне с тротуаром и увенчивавшуюся на высоте десяти футов старомодным, крытым гонтом корпусом самого дома.

Обширный земельный участок простирался от дома вверх по склону холма почти до Уитон-стрит.