上山城の北には、17世紀頃建築とされる武家屋敷が４軒残されている。現在も人が住んでいるので、内部の見学はできない