三河国八橋までやってきた旅の僧が、沢辺に咲き乱れる杜若の花に見とれていると、里の女が現れます。女は、八橋は杜若の名所であり、在原業平が東国への旅の途中に歌を詠んだ場所だと教え、僧を自分の庵へ案内します。やがて女は、鮮やかな衣と冠を身につけて現れます。女は、自分は杜若の精であると名のると、冠は業平の、衣は業平の愛人二条后(にじょうのきさき)の形見なのだと明かして、『伊勢物語』にみえる業平の数々の恋愛遍歴を語りつつ、舞を舞います。
業平が旅の途中に詠んだ歌とは、「から衣 きつつなれにし つましあれば はるばるきぬる たびをしぞ思ふ」という有名なもので、「かきつばた」の5文字が各句の句頭に読み込まれています。この能のシテは杜若の霊ですが、そこに業平の愛人二条后、さらに業平本人のイメージが重ねられ、幻想的な雰囲気を生み出しています。また女は、業平は実は歌舞の菩薩であったとか、彼の恋愛は人々を救うためだったなど、現代の私たちには耳慣れない説を語りますが、これらは中世に流布した『伊勢物語』の注釈書の見解を反映したものです。ここからは、『伊勢物語』などの物語文学が、中世の人々にどのように受け取られていたかをうかがうことができます。