そんな迷いもあって、何日経っても出家のふんぎりがつかず、ぐずぐずと心沈んだ日々を過ごす狭衣だったが、源氏の宮がかつて住んでいた対の屋を眺めれば涙があふれ、まるで亡き人を恋うる思いである。宮中に出仕する気になどとてもなれない。新斎院（源氏の宮）のもとに出向いても、斎院はことさら狭衣を避けるようにして幾重にも几帳を立てる。あまりのよそよそしさに、狭衣は幼かった頃の隔てなく親しく遊んでいた記憶がたまらなくなつかしく、そして悲しかった。「お気の毒ですがどうぞ私のことはお忘れください」といわんばかりの斎院の冷ややかな態度がうらめしかった。こんな情ない心を一体賀茂の神はどうご覧になるだろう、賀茂の神への供物をこうも忘れ切れないようでは、私はそう長くは生きられないだろう、とそらおそろしい気持でいる。
堀川上は、そのまま初斎院の付き添いとして、禊所に滞在する。なかなか堀川邸に戻ろうとしないのを、大殿は「心配なのはわかるが、そのようにいつまでも斎院にばかりいるのはいかがなものかと思うが」と帰邸を勧めたので、上は仕方なしに堀川邸に戻ったが、その後も往復の毎日である。それにあわせて殿上人なども動くので、禊所のある大膳職を通っている大宮通りと堀川邸のある二条大路のあたりが大変騒がしくなった。
このような初斎院の諸行事で忙しい中、大殿や上の気がかりなのは狭衣の気うつな様子である。食欲も細り、沈みきった狭衣をことさら大げさに心配する母堀川上が、
「結婚なされば心も落ち着いてこられるでしょうに。女三の宮の件は残念なことでした。やはりふさわしいお相手を早く見つけなければ」
と言うが、狭衣は、
「前世からの縁がなかったということでしょう。何でしたら蓬莱山で仙女でも探してきましょうか」
とまったくその気がなさそうだ。
「くだらない冗談はおやめなさい。あなたくらいの身分や年齢の公達がいつまでも独身でふらふらしていることをわたくしは心配しているのです。そうですね、急遽斎宮になられた女三の宮の一件は残念な事でしたが、前斎院であられた女一の宮などは、あなたにちょうどつりあうのではないかしら」
「女二の宮の次は女三の宮。それがだめなら今度は女一の宮ですか。やれやれ、そんなに皇女さまがたばかりを選んでいては世間から何といわれるでしょうね。ですから今度はあまり高貴でない方から選びたいと思います」
「高貴な女人がなんであなたをお嫌いになられましょうか。あなた自身の方が破談にしておしまいになるのでしょう？女二の宮との縁談の時は、母宮さまが頑固に承知されなかったということですが、どうしてだったのでしょうね。これも前世からの宿縁だったということでしょうか」
女二の宮の話題がのぼり、狭衣は表面上嵯峨院の皇子となっている若宮のことを思い浮かべた。母堀川上に、あの皇子が我が子であるとの真実を聞かせたら、どんなに驚かれるだろう、と。
若宮が恋しくてならない折りに嵯峨院のもとに出向くと、狭衣にすっかり慣れている若宮は、まとわりついて離れようとしない。あまりの愛おしさに涙がこぼれそうになるが、人が見咎めはしないかとドキドキしながらごまかす。
若宮の後見に、とも思っている狭衣の、仲睦まじくしているさまを眺めている嵯峨院は、たいへん頼もしく思っていた。
斎宮に立つこととなった女三の宮は、この八月には潔斎のため、野宮（ののみや）に移ることが決まっている。入道となった女二の宮は若宮の世話をまったくしないため（表面上は嵯峨院と故大宮の子であるため）、若宮の世話は、ずっと女三の宮がしてきたのだが、斎宮になるからには、もう世話はできなくなる。狭衣はその事を案じて、自分の邸である堀川邸に、若宮を移そうと考えていた。
若宮は愛しくてたまらないが、女一の宮との縁談にはまったく気乗りのしない狭衣である。いつも出家のことが頭から離れないのに、縁談など、しかも女一の宮は浮世離れした前斎院で、特に美人だとの噂も聞いていない、おまけに花の盛りをすっかり過ぎた年齢では、まったく魅力ないも同然ではないか…しかし、一度堀川上の口から出た縁談は嵯峨院の耳にも入り、どんどん具体化していった。狭衣が若宮見たさに嵯峨院に参ると、お付の女房たちなどは女一の宮との話について、何か仄めかしはしないかと期待に満ちた顔でいるが、狭衣にとってはまったくいい迷惑なことであった。
