高遠閣は、二ノ丸の入り口の近くに建っている、木造2階建ての大規模な楼閣風の建物です。鉄板で葺いた入母屋造りの大きな屋根の前後に、2つづつ千鳥破風を付けています。城郭建築の面影を残したいという気持ちを込めたデザインなのでしょう。

　高遠閣は、昭和11年（1936）に高遠出身者4人の寄付金で建てられました。2階には畳敷きの大広間があり公会堂の様な役割を果たしました。また、花見の季節には、休憩所としても賑わっています。

　高遠閣は、老朽化がかなり進んでいましたが、現在では既に数が少なくなった大規模な和風の木造建築としての価値が認められて、平成14年に国の登録有形文化財として登録されました。

　さらに、平成15～16年（2003～2004）に、耐震補強を含む再生工事が行われて、住民の福祉や、種々の生涯教育の活動に使われる施設に生まれ変わりました。