1564年，父亲时忠背叛里见氏从属于 北条氏康的时候，作为人质被送往 小田原城。因为哥哥正木时通1575年突然死去，翌年父亲也死去遂继承 家督，本处在胜浦城。此后，拥立 里见义赖，成功击灭正木宪时掌握了里见家的实权。可是，1590年 后北条氏灭亡 德川家康被移封关东，里见氏丢失 上总国领地，赖忠跟随前往 安房国。
在赖忠的4个孩子里，女儿的於万成为德川家康的 侧室生了 德川赖宣和 德川赖房。依靠儿子 正木为春成为赖宣的 家老的缘故，赖忠移到 纪伊渡过了余生。同时，另一个儿子乳名菊松，成为糟谷的养子名糟屋军次郎。刚去父亲的胜浦城就被卷进梅王丸的叛乱，宪时攻击胜浦城的时候，赖忠让菊松逃出，跑到河津的母亲处，自名正木织部，迎娶了清水小太郎的女人。 丰臣秀吉进攻小田原城的时候，荫山氏广与母亲带万逃跑承继北条屋敷回乡务农。还有一个儿子成为 旗本。
