Роман, действие в котором происходит в 1845–1855 гг., начинается с возвращения князя Сергея Мятлева и рассказчика Амирана Амилахвари после дуэли (окончившейся ничем) в просторный петербургский дом князя, наполненный копиями с античных шедевров. Гостиная превращена здесь в фехтовальный зал, карточные столы снесены в одну комнату, а жилые покои заколочены, кроме третьего этажа, где и расположился князь. Сын генерал-адъютанта, он принадлежит к элите своего времени, но, несмотря на это, нелюбим государем. Поступив после пажеского корпуса в кавалергардский полк, он был отправлен вскоре за невинную шалость в лейб-гвардии Гродненский гусарский полк, а затем, после отличия на Кавказе и смерти старого князя, вернулся в Петербург, где, выйдя в отставку, держит дома портрет государственного преступника Муравьева, ведёт жизнь праздную, в беседах с Амилахвари и «хромоножкой» — описателем родословных древ Андреем Владимировичем Приимковым, высланным из столицы за свои антипатриотические работы, разоблачающие безнравственность русской истории. Мятлеву кажется, что он влюблён в хладнокровную Анету, жену барона Фредерикса, но роман их недолог: та оставляет князя ради императора. Зато барон станет вскоре мятлевским начальником. В это же время Мятлев знакомится в своём парке с восьмилетним ребёнком, назвавшимся господином ван Шонховеном. Он будет постоянно появляться в мятлевском парке, а затем и в самом доме, где станет распивать чаи и беседовать с его хозяином. В действительности это переодетая Лавиния Тучкова (Бравура — так звали её отца, но удочеривший девочку генерал дал ей свою фамилию), которая влюбляется в князя на всю жизнь. Но роману их суждено осуществиться не скоро. Князь ещё молод, и на Невском, во время дождя, он знакомится с двадцатидвухлетней Александриной Жильцовой, дочерью декабриста (ставшего таковым «по неосторожности»), приехавшей в Петербург молить за томящегося в рудниках отца. На прошение её отвечено отказом, и, несмотря на привольную жизнь в доме Мятлева, чахотка окончательно подкашивает её силы, и Александрина бросается (вроде бы ) в Неву (позднее, во время своего путешествия, Мятлев остановится в гарнизоне, куда, кажется, сбежала на самом деле Александрина, — но понять это точно ему так и не удастся). Мятлев остаётся в доме с верным слугою Афанасием. Князь, впрочем, довольно быстро заводит роман с графиней Натали Румянцевой. Та соблазняет князя, беременеет от него, а затем поднимает по всему Петербургу волну слухов — князя даже вызывает к себе шеф корпуса жандармов граф Орлов. Тем временем мать выдаёт живущую в Москве Лавинию (ей идёт шестнадцатый год) за квартирохозяина, г-на Ладимировского.
Мятлев бросается в первопрестольную, но встреча с Лавинией и знакомство с её матерью кончаются ничем. Зато по возращении в северную столицу князь принуждён назначить венчание с забеременевшей (вроде бы от него) Натали на конец октября. Невеста приступает к решительной переделке любимого княжьего дома. Князь даже вынужден поступить на службу в ведомство графа Нессельроде. Возвращаясь от последнего, Мятлев заходит в лавочку г. Свербеева, где знакомится с неким г. Колесниковым, проповедующим ни с того ни с сего довольно крамольные идеи — революцию в Европе и пр. После чего жизнь его приобретает почти мистический характер: в дом является некто г. Тимофей Катакази, вытягивающий из князя сведения о гг. Приимкове и Колесникове. Император лично соединяет руки Натали и князя — деваться некуда, Мятлев женится, но инфлюэнца уносит жизнь молодой жены и младенца. Оправившись от потрясения, Мятлев садится за мемуары о погибшем своём товарище-поэте, г. Лермонтове. «Перечитав написанное, он вдруг понял, что писал не столько об убитом товарище, сколько сводил с царём личные счёты». Однако, встретив случайно г. Колесникова, князь отчего-то решается показать тому свою рукопись. Литератор в ужасе. А князь, мучимый хандрой и неясным стремлением к Лавинии, решает навестить её мать — якобы для покупки портрета князя Сапеги, на деле — с целью разведать план дома и попытаться однажды выкрасть Лавинию. Г-жа Тучкова оказывается тем не менее проницательнее князя и в полном иносказаний разговоре указывает ему на неосуществимость подобных намерений. Тот, однако, начинает испытывать жгучую тоску по Лавинии. Наконец та и сама прибывает в Петербург (шёл 1850 г.) и лично навещает князя в его доме!
Происходит решительное объяснение, во время которого Лавиния просит князя просто сохранять терпение, и тогда счастье настигнет их само по себе. Здесь же бывший г-н ван Шонховен признается, что две стихотворные строчки (давно уже ставшие лейтмотивом всего романа): «Помнишь ли труб заунывные звуки, / Брызги дождя, полусвет, полутьму?» — взяты из Некрасова.
Но попытка влюблённых поговорить на октябрьском балу в Аничковом дворце оканчивается неудачей: муж не отстаёт от Лавинии, повышенный (но безуспешный) интерес к юной красавице проявляет сам император, какой-то конногвардеец нелестно о ней отзывается (вот и повод для дуэли, с которой начинается роман)... Лишь встреча с Анетой приносит радость: та берётся за устройство их свиданий у себя дома. Но Лавиния признается зачем-то в своей связи мужу, и тот увозит её в деревню. Вернувшись весною в Петербург, г. Ладимировский тем не менее теряет свою супругу: 5 мая она сбегает с князем, после чего фамильный дом Мятлева рушится сам по себе. Николай распоряжается схватить беглецов, для чего за ними снаряжена погоня во всех возможных направлениях. Влюблённые же бегут в Москву. По дороге они знакомятся с милым помещиком Иваном Евдокимовичем, у которого надолго задерживаются и который тоже каким-то образом был связан с событиями 14 декабря. Лишь в день отъезда выясняется, что это — Авросимов (см. роман «Бедный Авросимов»).
Через Москву и Тулу беглецы отправляются в сторону Пятигорска, но неожиданная встреча с дружелюбно настроенным полковником фон Мюфлингом (которому на самом деле поручено задержать влюблённых, но которому влюблённые искренне нравятся) заставляет их повернуть в Тифлис, к родственникам Амирана. Следом, влекомый интуицией, едет и полковник, но гостеприимные грузины убеждают его не предпринимать ничего против счастливой пары. Фон Мюфлинг даёт обещание — но тут, на беду, появляется Тимофей Катакази, который и задерживает Лавинию с князем. Их препровождают в Петербург: князя — в крепость, Лавинию — к законному супругу. Последний надеется на восстановление семейных отношений, но бесполезно. Хотя князя лишают титула, состояния и отправляют в бессрочную рядовым на Кавказ, Лавиния по-прежнему любит его. Муки солдатчины усиливаются оттого, что терпеть их приходится в том самом гарнизоне, где влюблённые восстанавливали силы во время своего путешествия и где, судя по всему, и кончила свои дни Александрина. После ранения князя Лавиния вновь бросает мужа и под чужим именем поступает в сестры милосердия — чтобы быть рядом с любимым, но её вновь под конвоем возвращают в столицу. Через некоторое время Амиран (женившийся уже на Марго, подруге Лавинии) получает от неё письмо, где та сообщает о своём желании примириться с мужем и уехать с ним в Италию. Вскоре умирает Николай, и отчаявшийся уже было князь получает полное помилование. Он поселяется в своём имении в Костромской губернии, куда под видом ключницы приезжает изнеможённая этой жизнью Лавиния. Счастье их недолго: попытавшись открыть для крестьян больницу, а затем школу, князь умирает. Публикуемые в эпилоге письма проливают свет на некоторые подробности сей истории. Так, внезапный отъезд Лавинии в Италию был вызван письмом Елизаветы, сестры Мятлева, где та объявляла несчастную причиной всех бед князя.