直到永禄3年（1560年），那波宗俊被上杉谦信击败，被迫让出居城赤石城，那波家的势力被大幅消减。
这一结果直到天正2年（1574年），面对由良氏叛离至北条氏的上杉谦信才想起用那波氏来牵制由良氏。
不过因为赤石城在由良氏的统治下，所以将那波宗俊的儿子那波显宗放安置在那波郡今村城。
在上杉谦信去世后的御馆之乱中，那波显宗与岳父父厩桥城主北条高广一起支援上杉景虎，但最终败北。
之后跟随武田氏和泷川一益（织田氏），在本能寺之变后与回归上杉氏的继父分道扬镳跟随北条氏。
如果说向小河原、白仓、小幡这样的武家在来回跳反大名之间知行地被不断消减的话，那么那波显宗就是格外得到各方势力的青睐。
在其上杉-武田-织田-北条氏的三次跳反中，后位的统治者给予了他极高的重视，等到他投靠到北条家时期，那波显宗已经基本回复那波氏对那波郡的统治，知行5000贯文（2万石左右）。
而且值得注意的是，那波显宗在北条家体系内，虽然地处上野但并非在猪俣邦宪所属的上野兵团内，而是直接归北条氏直直辖。
历史上的那波家随着北条氏的落败一同灭亡，家主那波显宗再次失去了领地，不得不依靠上杉景胜。但是在1590年10月作为上杉军的一员在仙北一揆的镇压中战死。
显宗的诸多儿子，除了成为安田能元养嗣子的次子俊广以外，大儿子宗泰、三子宗政都在小田原城战死，上野那波氏至此绝嗣。
从他三子的名字宗政就可以看出，是受到北条氏政赐名的，那波氏在北条氏家中可谓是圣卷正隆。
像这样的家族想要拉拢过来，秀家必然要开出比北条家更多的筹码，但是在秀家看来那波氏并不值得自己开出这么高的价码。
既然拉拢不过来，那么对待那波氏的处置方式只有一条，那就是毁灭。
从高山城行进至那波城，路程大约20公里，需要行进4个多小时，等到秀家感到那波城的时候天色已经暗澹了下来，秀家命令在此扎营修整，明日再行攻城。
秀家的军势刚刚驻扎下来，就有此前散播到上野的忍者前来传递情报“那波城内有守军120人，守将是那波宗元是那波氏当主的叔父，并位在城内发现铁炮等武器。城池为梯郭式平城，一共只有两圈城垣。”
秀家接着问道“北侧的尹势崎城与今村城守备如何？”
今村城守唤作“安田下兵卫，是那波氏家臣安田利元的侄子，城池守备与那波氏相近，城池本为回郭式，但是去年那波显宗增筑了今村城，在南侧加筑了一圈城垣。