深山に閉ざされた粉河寺の冬は寂しい。夜の間に固く冷たく降りた霜氷は歩み難く、神さびた苔に覆われた木々は魔性の物を宿らせているようで、その奥へと続く森の中へ狭衣を誘っている。
誰に見られることなく枝葉を落とし、すっかり枯れ切ってしまった木々が、今の自分の気持をあらわしている。本当は出家するつもりで参拝したが、やはり両親の悲嘆を思うとできはしなかった。源氏の宮ゆえに出家を思い立ったが、執着しすぎる恋心もまた出家の差し障りになるのではないか―――そう思いながら狭衣は、大勢の従者と共に山を下りている。
みんな堀川大殿の差し向けたお迎えの殿上人たちだった。大変な数のお迎えになってしまい、その騒ぎで狭衣は、昨夜約束した山伏のところに行けなかった。道季に「必ず会って、事情を聞いて参れ」と言い聞かせて、数多のお供とともに下山した。
下山後、しばらく休憩をとっていると、遅れて下山した道季が参上した。狭衣は人払いをして道季をそばに召し寄せると、道季は、
「昨夜あの山伏の申したとおり、すでにあの三昧堂をひきはらったようです。狭衣さまが昨夜お与えになられた御衣装が、三昧堂の障子に掛けてありました。同じく三昧堂で修行をしていた何人かの僧に聞いてみましたところ、山伏の妹君が危篤になられたという知らせがあったということで、夜中に大急ぎで下山されたようです。どこに行ったのかは誰も知らない様子でして」
と口上した。
「なんたること。あの時、外聞がどうのこうの考えずに、最後まで問いつめて聞いておくべきだった」
狭衣は、あと少しで飛鳥井女君の居所がつかめそうだったのに、とくやしくてたまらない。京の都へ戻る気もなくなってしまった。
お供の人々が心配して、「大将どのが参拝の旅に出られてから、大殿さまがすっかり食欲をなくしてしまわれて」「母君さまもご心配のあまり、不眠症になられてしまいました」と帰京を勧める。狭衣は不本意だったが京に戻らざるを得なかった。
吉野川を船で渡るとき、若い供人が趣深く笛を吹きならし、良い声で俗詠を詠っても、狭衣の物思いは尽きない。船べりに寄りかかって目を閉じてじっとしている姿がじつになまめかしく、これが女だったら、と思うお供の殿上人もいなくはない。何一つ物思いする必要ないほど恵まれているお方なのに、なぜこのように心細げな様子でおられるのだろう、とお供の人々は首をかしげるのだった。
無事帰京し、狭衣は父大殿の御前に参った。
一人息子の帰りを今か今かと待ちわびていた大殿は涙を流して安堵する。
狭衣は、道中雪で難儀したせいでむくんだ足を湯で温めながら、勤行した夜の普賢菩薩の御光を思い出していた。あの鮮やかに輝く御光をたよりに、潔く出家したいものだと思い、狭衣は以前にも増して勤行に身を入れていたが、斎院のもとに足繁く通う生活はやめられないのだった。とはいえ、源氏の宮が斎院に選定された後は、気楽に会えなくなりはしたが。そのことがいっそう狭衣の出家心を増大させていた。
なんて情けないありさまなのだ、こんなどっちつかずの気持ちでは来世にどれほど差し障りがあるだろう、と狭衣は思う。
源氏の宮への喪失感に加えて、飛鳥井女君に縁のあると思われたあの山伏が行方不明になってしまい、あと少しのところであったのに、と残念でたまらない。あれ以来、何度か粉河寺に人をやってはみたが、いずれも「見かけません」との返事。山伏が戻ってこないのは、もしかしたら飛鳥井女君が亡くなってしまったからではないか、なまじっか消息が知れたために、いらいらしてしょうがない。生きているのか死んでしまったのか。
山伏の不在が女君の死を宣告しているようで、やがて狭衣はひっそりと目立たないように、懇意にしている僧に申しつけて、女君の法要めいたものをとり行った。なんとしても気がかりなのは、二人の間にできた子供のことである。忘れ形見の子のことが狭衣の頭から離れることはなかった。
新斎宮となった女三の宮が、野宮（ののみや）に設けられた斎宮寮に渡られた。残された幼い若宮の周囲は、急に人少なく寂しいものになってしまった。
狭衣大将は若宮のことが気になって仕方がないが、前斎院（女一の宮）と結婚して若宮を引き取って養育してほしいという、嵯峨院の頼みが何とも気の進まないものだった。
若宮だけならもちろん構わない、むしろこちらからお願いしたいくらいなのだが。
狭衣は幼い若宮の住まいに常に伺候し、夜の宿直なども自ら積極的にした。すっかり慣れてまとわりつくかわいらしい若宮を、どうして狭衣が手放そうか。まるで若宮の住まいに狭衣が引っ越したかのようである。入道の宮（女二の宮）が狭衣を嫌って出家してしまった薄情さが、狭衣はつくづく残念だった。
なんとかして、今一度入道の宮のご様子を知りたいものだ、と狭衣は、かつて手引きを頼んだ中納言内侍典侍を再び口説いてみたが、内侍からはひどくそっけない返事しか返ってこない。
思えば、女二の宮の泣く姿しか自分は知らない、逢えばいつも泣いていた。そんなふうにさせた自分に、ついに一行の手紙さえ見せなかった宮。かたくな過ぎる態度を恨めしいと思ったこともあるが、とりかえしのつかない事態を引き起こしたのは、もとはと言えば自分なのだ――と、堂々巡りの恨み言を書いた手紙を入道の宮に送りつけるが、宮は狭衣の手紙を見るはずもなかった。宮は確かに尊い身分であらせるが、どうして宮は私に愛情のひとかけらさえ分け与えてはくれないのか、子までなした深い縁で結ばれているのに…狭衣は納得がいかないまま、月日は流れていった。
幼い若宮は日々めざましく成長してゆく。
決して真実のことは言えないが、本来ならば我が子と呼べるこの若宮を、どうしてありふれた愛情でお世話できようか。若宮の住まいを常に美しく手入れさせ、堀川家のしかるべき家司などを呼び寄せ、しっかりと管理させた。
