Действие происходит в Москве и развёртывается в нескольких временных планах: середина 1930-х, вторая половина 1940-х, начало 1970-х гг. Научный работник, литературовед Вадим Александрович Глебов, договорившийся в мебельном магазине о покупке антикварного стола, приезжает туда и в поисках нужного ему человека случайно наталкивается на своего школьного приятеля Лёвку Шулепникова, здешнего рабочего, опустившегося и, судя по всему, спивающегося. Глебов окликает его по имени, но Шулепников отворачивается, не узнавая или делая вид, что не узнает. Это сильно уязвляет Глебова, он не считает, что в чем-то виноват перед Шулепниковым, и вообще, если кого винить, то — времена. Глебов возвращается домой, где его ждёт неожиданное известие о том, что дочь собирается замуж за некоего Толмачева, продавца книжного магазина. Раздражённый встречей и неудачей в мебельном, он в некоторой растерянности. А посреди ночи его поднимает телефонный звонок — звонит тот самый Шулепников, который, оказывается, все-таки узнал его и даже разыскал его телефон. В его речи та же бравада, то же хвастовство, хотя ясно, что это очередной шулепниковский блеф.
Глебов вспоминает, что когда-то, в пору появления Шулепникова в их классе, мучительно завидовал ему. Жил Лёвка в сером громадном доме на набережной в самом центре Москвы. Там обитали многие приятели-однокашники Вадима и, казалось, шла совсем иная жизнь, чем в окружающих обычных домах. Это тоже было предметом жгучей зависти Глебова. Сам он жил в общей квартире в Дерюгинском переулке неподалёку от «большого дома». Ребята называли его Вадька Батон, потому что в первый день поступления в школу он принёс батон хлеба и оделял кусками тех, кто ему приглянулся. Ему, «совершенно никакому», тоже хотелось чем-то выделиться. Мать Глебова одно время работала билетёршей в кинотеатре, так что Вадим мог пройти на любой фильм без билета и даже иногда провести приятелей. Эта привилегия была основой его могущества в классе, которой он пользовался очень расчётливо, приглашая лишь тех, в ком был заинтересован. И авторитет Глебова оставался незыблемым, пока не возник Шулепников. Он сразу произвёл впечатление — на нем были кожаные штаны. Держался Лёвка высокомерно, и его решили проучить, устроив нечто вроде тёмной, — набросились скопом и попытались стащить штаны. Однако случилось неожиданное — пистолетные выстрелы вмиг рассеяли нападавших, уже было скрутивших Лёвку. Потом оказалось, что стрелял он из очень похожего на настоящий немецкого пугача.
Сразу после того нападения директор устроил розыск преступников, Лёвка выдавать никого не хотел, и дело вроде бы замяли. Так он стал, к Глебовой зависти, ещё и героем. И в том, что касается кино, Шулепников Глебова тоже перещеголял: зазвал однажды ребят к себе домой и прокрутил им на собственном киноаппарате тот самый боевик «Голубой экспресс», которым так увлекался Глебов. Позже Вадим подружился с Шулепой, как называли того в классе, стал бывать у него дома, в огромной квартире, тоже произведшей на него сильное впечатление. Выходило так, что у Шулепникова было все, а одному человеку, по размышлению Глебова, не должно быть все.
Отец Глебова, работавший мастером-химиком на кондитерской фабрике, советовал сыну не обольщаться дружбой с Шулепниковым и пореже бывать в том доме. Однако когда арестовали дядю Володю, мать Вадима попросила через Лёвку его отца — важную шишку в органах госбезопасности — узнать про него. Шулепников-старший, уединившись с Глебовым, сказал, что узнает, но в свою очередь попросил его сообщить имена зачинщиков в той истории с пугачом, которая, как думал Глебов, давно забылась. И Вадим, который сам был среди зачинщиков и потому боялся, что это, в конце концов, всплывёт, назвал два имени. В скором времени эти ребята вместе с родителями исчезли, подобно его соседям по квартире Бычковым, которые терроризировали всю округу и однажды избили появившихся в их переулке Шулепникова и Антона Овчинникова, ещё одного их однокашника.
Потом Шулепников появляется в 1947 г., в том же самом институте, в котором учился и Глебов. Прошло семь лет с тех пор, как они виделись в последний раз. Глебов побывал в эвакуации, голодал, а в последний год войны успел послужить в армии, в частях аэродромного обслуживания. Шулепа же, по его словам, летал в Стамбул с дипломатическим поручением, был женат на итальянке, потом разошёлся и т. п. Его рассказы полны таинственности. Он по-прежнему именинник жизни, приезжает в институт на трофейном «БМВ», подаренном ему отчимом, теперь уже другим и тоже из органов. И живёт он опять в элитарном доме, только теперь на Тверской. Лишь мать его Алина Федоровна, потомственная дворянка, совершенно не изменилась. Из прочих их одноклассников кое-кого уже не было в живых, а прочих размело в разные концы. Осталась только Соня Ганчук, дочь профессора и заведующего кафедрой в их институте Николая Васильевича Ганчука. Как приятель Сони и секретарь семинара, Глебов часто бывает у Ганчуков все в том же самом доме на набережной, к которому он вожделеет в мечтах со школьных лет. Постепенно он становится здесь своим. И по-прежнему чувствует себя бедным родственником.
Однажды на вечеринке у Сони он вдруг понимает, что мог бы оказаться в этом доме совсем на иных основаниях. С этого самого дня, словно по заказу, в нем начинается развиваться к Соне совсем иное, нежели просто приятельское, чувство. После празднования Нового года на ганчуковской даче в Брусках Глебов и Соня становятся близки. Родители Сони пока ничего не знают об их романе, однако Глебов чувствует некоторую неприязнь со стороны матери Сони Юлии Михайловны, преподавательницы немецкого языка в их институте.
В это самое время в институте начинаются всякие неприятные события, непосредственным образом коснувшиеся и Глебова. Сначала был уволен преподаватель языкознания Аструг, затем дошла очередь и до матери Сони Юлии Михайловны, которой предложили сдавать экзамены, чтобы получить диплом советского вуза и иметь право преподавать, поскольку у неё диплом Венского университета.
Глебов учился на пятом курсе, писал диплом, когда его неожиданно попросили зайти в учебную часть. Некто Друзяев, бывший военный прокурор, недавно появившийся в институте, вместе с аспирантом Ширейко намекнули, что им известны все глебовские обстоятельства, в том числе и его близость с дочерью Ганчука, а потому было бы лучше, если бы руководителем глебовского диплома стал кто-нибудь другой. Глебов соглашается поговорить с Ганчуком, однако позже, особенно после откровенного разговора с Соней, которая была ошеломлена, понял, что все обстоит гораздо сложнее. Поначалу он надеется, что как-нибудь рассосётся само собой, с течением времени, но ему постоянно напоминают, давая понять, что от его поведения зависит и аспирантура, и стипендия Грибоедова, положенная Глебову после зимней сессии. Ещё позже он догадывается, что дело вовсе не в нем, а в том, что на Ганчука «катили бочку». И ещё был страх — «совершенно ничтожный, слепой, бесформенный, как существо, рождённое в тёмном подполье».
Как-то сразу Глебов вдруг обнаруживает, что его любовь к Соне вовсе не такая серьёзная, как казалось. Между тем Глебова вынуждают выступить на собрании, где должны обсуждать Ганчука. Появляется осуждающая Ганчука статья Ширейко, в которой упоминается, что некоторые дипломники (имеется в виду именно Глебов) отказываются от его научного руководства. Доходит это и до самого Николая Васильевича. Лишь признание Сони, открывшей отцу их отношения с Глебовым, как-то разряжает ситуацию. Необходимость выступления на собрании гнетёт Вадима, не знающего, как выкрутиться. Он мечется, идёт к Шулепникову, надеясь на его тайное могущество и связи. Они напиваются, едут к каким-то женщинам, а на следующий день Глебов с тяжёлым похмельем не может пойти в институт.
Однако его и дома не оставляют в покое. На него возлагает надежды антидрузяевская группа. Эти студенты хотят, чтобы Вадим выступил от их имени в защиту Ганчука. К нему приходит Куно Иванович, секретарь Ганчука, с просьбой не отмалчиваться. Глебов раскладывает все варианты — «за» и «против», и ни один его не устраивает. В конце концов все устраивается неожиданным образом: в ночь перед роковым собранием умирает бабушка Глебова, и он с полным основанием не идёт на собрание. Но с Соней все уже кончено, вопрос для Вадима решён, он перестаёт бывать в их доме, да и с Ганчуком тоже все определено — тот направлен в областной педвуз на укрепление периферийных кадров.
Все это, как и многое другое, Глебов стремится забыть, не помнить, и это ему удаётся. Он получил и аспирантуру, и карьеру, и Париж, куда уехал как член правления секции эссеистики на конгресс МАЛЭ (Международной ассоциации литературоведов и эссеистов). Жизнь складывается вполне благополучно, однако все, о чем он мечтал и что потом пришло к нему, не принесло радости, «потому что отняло так много сил и того невосполнимого, что называется жизнью».