Действие происходит в начале XIX в. Повествование ведётся от лица главного героя. В уединённом квартале Женевы, в доме, расположенном близ собора Святого Павла и епископальной тюрьмы, растёт юноша-созерцатель, рано потерявший родителей и опекаемый дядей. Он учится под строгим надзором господина Ратена, наставника и воспитателя не только в вопросах науки, но и нравственности. Жюль — прилежный подросток, но кроме уважения учитель вызывает у него и насмешку, он не прочь ошеломить Ратена «беспричинным» смехом над бородавкой с волосками на носу наставника.
Мальчик постепенно становится юношей, предчувствие любви витает в его ещё детском сознании. При чтении пасторалей образы юных пастушек заполняют его сердце. Однако господин Ратен, человек необыкновенной образованности и целомудрия, пытается оградить Жюля от любых намёков на чувство, пропуская целые страницы в сочинениях, на которых говорится о превратностях любви. Но, как замечает повзрослевший Жюль, рассказывающий и анализирующий свою историю с вершины прожитых лет, такое воспитание прививает множество предрассудков, а запреты, подавляющие чувства, не усмиряют их. За кляксы, учинённые на страницах «Записок о галльской войне», Ратен наказывает своего воспитанника, не разрешая выходить из комнаты в течение двух дней. Мальчик радуется вынужденному безделью, лакомится горяченькими пирожками, даёт волю своей наблюдательности во время схватки соседского кота с крысой. Желая испугать кота, он случайно ломает замок в двери, ведущей в библиотеку дяди. Здесь внимание Жюля приковывает книга, которую успела частично изгрызть крыса. В словарной статье он читает о любви аббатисы Элоизы и Абеляра. Жюля поражают письма Элоизы, написанные по-латыни. Любовная история воспламеняет мальчика, и он уносится в мир средневековья, испытывая сладостное упоение вымыслом.
Жажда чувства воплощается в первом увлечении Жюля. Его мечта — юная англичанка Люси, посещающая в сопровождении отца сеансы живописца. Это искусный портретист, умеющий ублажить «росток тщеславия», произрастающий в каждом человеке. Он обладает талантом изображать людей похожими на себя и в то же время — красивыми. Обычно художник вывешивает работы для просушки на прутьях, прибитых к окну, и тогда Жюль может разглядывать их.
Оставшись взаперти, влюблённый юноша решается влезть через библиотеку дяди в мастерскую, чтобы увидеть портрет Люси. Но неудачным падением устраивает в комнате живописца невероятный разгром. Жюль рассматривает портрет, затем возвращается к себе в комнату, не представляя, как объяснить Ратену произошедшее в мастерской. Свидетелем похождений мальчика становится наблюдающий из окна тюрьмы преступник, недавно приговорённый к пожизненному заключению. Распевая псалмы, он играет на жалости Жюля. Растроганный юноша передаёт ему Библию, а заодно и напильник, чтобы освободить от мучительной боли, причиняемой кандалами. В это время художник поражается хаосу, царящему в мастерской. Жюль уже готов во всем сознаться, однако заключённый обманывает живописца, рассказывая небылицу о разбушевавшихся котах. Неудовлетворённый объяснением художник вместе с господином Ратеном исследует комнату с библиотекой дяди, так как вылезти на крышу, а потом забраться в мастерскую можно было только оттуда. Жюль слышит, что Ратен находит его платок, а жандармы сообщают о побеге узника.
Движимый угрызениями совести, стыдом и страхом, юноша бежит в Лозанну, надеясь найти понимание и защиту у дяди. По дороге, наслаждаясь величием Альп, он успокаивается и начинает верить в счастливый исход злоключений. Неожиданно на пути Жюля останавливается карета англичанки, её отец — почтенный благородный старик — предлагает помощь. Жюль признается в содеянном, но Люси и старик прощают его. Добрые англичане отвозят беглеца в Лозанну и вручают дяде Тому. Далее Жюль повествует о том, как закончилась его юность.
Прошло три года. Теперь Жюль восемнадцатилетний студент, посвящающий себя изучению юриспруденции. Часто он отвлекается от занятий и подолгу стоит у окна, наблюдая за улицей, крышами домов, устремляя взор к небу, радуясь дождю. Это «полезное безделье» позволяет ему погрузиться в раздумья, соединиться с бесконечным пространством внешнего мира. Жюль живёт вместе с дядей Томом, который «читает, составляет примечания, компилирует, формулирует свои соображения и собирает в своём мозгу квинтэссенции тысячи томов, которыми уставлена его комната», вся его жизнь — служение науке и забвение реальности.
Сердце Жюля оживляет чувство к незнакомке, ежедневно проходящей мимо его окон. Однажды она обращается к дяде Тому за Библией, написанной на древнееврейском языке, чтобы читать её умирающему старику иудею. Увидев девушку, Жюль невольно ахает, она ловит его восторженный взгляд и тут же краснеет. Из разговора с дядей юноша узнает, что его возлюбленная — еврейка, но это ещё больше притягивает Жюля. Выстроив подставку из книг, воздыхатель наблюдает за окнами больницы, разглядывая прекрасную еврейку у изголовья больного старика. Но фолианты с грохотом рассыпаются, в комнату вбегает встревоженный дядя. Юноша не может объяснить своего поведения, и дядя решает, что тот болен. В смятении Жюль забывается, ему снится благосклонность возлюбленной, проснувшись, молодой человек решается на объяснение. Смастерив чучело, Жюль укрывает его своим одеялом и бежит в библиотеку. В то время, когда дядя спускается проведать племянника, приходит девушка. Жюль открывает ей дверь. Оба пребывают в некотором замешательстве. Юноша прячется в комнате, а прекрасная еврейка встречает возвращающегося старика и рассказывает о происшествии. Дядя Том находит это невероятным. Пока он ищет книгу, гостья улыбается над страницей какого-то фолианта. После её ухода Жюль штудирует книгу, пытаясь найти то место, которое понравилось его возлюбленной. Наконец ему это удаётся, он читает о любви робкого дворянина, подобно Жюлю, ради встречи с любимой спрятавшегося в горнице. Тогда юноша понимает, что может надеяться на взаимность. Он спешит в больницу, чтобы встретиться с девушкой, но узнает, что старик еврей умер. Спустя несколько дней дяде Тому передают Библию, в приписке к которой прекрасная еврейка просит отдать книгу Жюлю в память о ней. Девушка погибла от чёрной оспы.
Жюль тяжело переживает утрату возлюбленной, он открывается перед дядей и находит в нем поддержку. С гибелью возлюбленной прощается Жюль со своей юностью. Время лечит раны, но молодого человека преследуют мысли о смерти. Он забрасывает занятия правом, чувствуя призвание к живописи. Поначалу дядя препятствует Жюлю, но затем благословляет его на поприще художника. И молодой человек предаётся влечению к искусству, делая зарисовки во время прогулок.
Неожиданно Жюль встречает облачённую в траур по отцу Люси и её супруга. Англичанка знакомится с работами Жюля и заказывает копии с портрета отца.
Молодой художник работает в мансарде, разделённой перегородкой на две части, по соседству располагается землемер. Его дочь — робкая, застенчивая девушка Генриетта, воспитанная в строгости и простоте, привлекает внимание Жюля. Каждое утро, направляясь в свою часть мансарды, он встречает на лестнице Генриетту. Жюль влюбляется в девушку. На этот раз чувствуя, что его мечтам суждено осуществиться, он серьёзно задумывается о браке. Но у влюблённого не хватает решимости открыться Генриетте. На помощь приходит случай. Люси, осведомляясь о работе над копиями, начинает разговор о дочери землемера. Жюль, зная, что за перегородкой Генриетта услышит все, что он скажет, признается в любви к ней. Через некоторое время к художнику приходит землемер, они ведут разговор о возможной женитьбе и о том, в состоянии ли художник содержать семью. Люси вновь помогает Жюлю, заплатив крупную сумму за копии и сделав новый заказ, а затем порекомендовав его своим соотечественникам. Отец Генриетты даёт согласие, считая, что высшей ценностью в браке является не богатство, а взаимное доверие и любовь к труду. Дядя вручает жениху небольшое состояние, завещанное родителями Жюля, кроме того, решает продать свою библиотеку, чтобы обеспечить будущее молодых супругов. После женитьбы Жюль входит в семью землемера, благодаря своей работе и покровительству Аюси он становится известен и живёт в достатке.
Спустя два года умирает дядя Том, и Жюль, оплакивая его смерть, пишет Люси письмо, подчёркивая общее в их судьбах — потерю близкого человека.