Рассказчик получает письмо от старого друга Родерика Ашера, с которым они не виделись много лет. Ашер так отчаянно просит его приехать, что тому ничего не остаётся, как оседлать коня и отправиться в путь. При встрече рассказчика потрясает ужасная перемена, произошедшая с его товарищем, настолько измождённым и бесцветным стало его лицо! Родерик превратился в беспокойного человека, добровольно заточённого в стенах своего родового замка.
Им владело странное суеверие, связанное с домом, где он жил и откуда уже многие годы не смел отлучиться...
Ашер признаётся, что причиной его переживаний, с одной стороны, является беспощадный недуг и приближающаяся смерть единственного родного и любимого человека — сестры-близнеца Мэдилейн, с другой — болезненная обострённость его собственных чувств.
Рассказчик с удивлением отмечает, насколько облик родового имения соответствует характеру его владельцев. Дом в представлении его хозяина — это организм, образовавшийся из камней и плесени, растущей на них. Справедливость этой мысли будто бы подтверждается сгущением «своей особенной атмосферы» над озером и вокруг стен, которая пагубно сказалась сначала на предках Родерика Ашера, а теперь и на нём самом. Мрачную и гнетущую атмосферу дома он объясняет тем, что «растения способны чувствовать». Однако дом не кажется непрочным.
Только очень пристальный взгляд мог бы различить едва заметную трещину, которая начиналась под самой крышей, зигзагом проходила по фасаду и терялась в хмурых водах озера.
Родерик сухо и немногословно сообщает рассказчику о смерти леди Мэдилейн. Ашер уверен, что самое страшное случится после смерти его сестры... Он решает на две недели поместить гроб с её телом в подземелье дома, находящееся прямо под спальней рассказчика, а по истечении этого срока — захоронить на фамильном кладбище.
Однажды ночью, спустя «несколько невыразимо скорбных дней» после скоропостижной кончины леди Мэдилейн, начинается страшная гроза. Сквозь вой ветра, до рассказчика доносятся странные глухие звуки неизвестного происхождения. Чтобы успокоить и отвлечь Родерика от тягостных мыслей, он читает ему книгу. Вдруг по дому Ашеров разносится «треск и грохот ломающихся досок». Рассказчик связывает подозрительные звуки с ураганом за окном, и только Родерик Ашер понимает: это его умершая сестра взломала свой гроб. Он еле слышно бормочет, что похоронил Мэдилейн заживо, что не смел в этом признаться в силу своей трусости и что, желая отомстить ему, она стоит сейчас «здесь, за дверью».
Мощный порыв ветра распахивает тяжёлые, старинные двери в комнату — за ними в окровавленном саване стоит леди Мэдилейн.
Вся дрожа и шатаясь, она стояла на пороге... потом с негромким протяжным стоном покачнулась, пала брату на грудь — и в последних смертных судорогах увлекла за собою на пол и его, уже бездыханного.
Рассказчик в ужасе бежит прочь из замка. А еле различимая трещина в стене дома вдруг начинает расширяться, и сквозь неё льётся свет луны. Затем «...раздался дикий оглушительный грохот, словно рёв тысячи водопадов... и глубокие воды зловещего озера <…> безмолвно и угрюмо сомкнулись над обломками дома Ашеров».