Рассказчик, запущенный длинноволосый толстяк не первой молодости, решает учиться живописи. Бросив своё имение в Тамбовской губернии, он проводит зиму в Москве: берёт уроки у «бездарного, но довольно известного художника». Рассказчик живёт в номерах на Арбате и проводит вечера «в дешёвых ресторанах со знакомыми из богемы». Жизнь его скучна и неприятна.
Однажды в марте к нему приходит незнакомая высокая девушка в сером пальто, шляпке и ботиках. Она представляется консерваторкой Музой Граф и говорит, что пришла познакомится, поскольку слышала, что рассказчик — интеллигентный человек.
Муза видела рассказчика на концерте, он показался ей довольно красивым. Она дочь доктора, живёт поблизости. Едва войдя, Муза начинает распоряжаться — велит рассказчику снять с неё верхнюю одежду и ботинки. Рассказчик угощает нежданную гостью чаем и яблоками, за которыми она просит послать коридорного.
Выпив чаю и съев яблоко, она приглашает рассказчика сесть рядом с ней, обнимает его и не спеша целует в губы. Темнеет. Муза заявляет, что рассказчик — её первая любовь.
Вскоре рассказчик бросает своё ученье. Они с Музой не расстаются, ходят на концерты, выставки, лекции. В мае он снимает дачу в старинной подмосковной усадьбе, и она к нему ездит, возвращаясь домой в час ночи. В июне Муза едет с ним в его деревню, хозяйничает там, не венчаясь. У них часто бывает сосед Завистовский, играет с ней на рояле в четыре руки.
Однажды перед Рождеством рассказчик едет в город. Вернувшись, он обнаруживает, что Муза исчезла и решает, что та уехала в Москву. Вечером он надевает полушубок, берёт ружье и идёт к Завистовскому, в его старый, нищий дом.
Зайдя к соседу, рассказчик сообщает, что Муза куда-то исчезла, и вдруг видит её, выходящую из спальни в валенках, с шалью на плечах. Увидев, что рассказчик с ружьём, Муза предлагает стрелять не в Завистовского, а в неё.
Рассказчик смотрит на её валенки, на колени под серой юбкой, и ему хочется крикнуть: «Я не могу жить без тебя, за одни эти колени, за юбку, за валенки готов отдать жизнь!». Муза спокойно говорит, что всё кончено, просит обойтись без сцен и спокойно закуривает, взяв папиросу у Завистовского, с которым уже перешла на «ты».
Шатаясь, с колотящимся в самом горле сердцем рассказчик выходит вон.