先后担任过苏皖区委宣传部长、淮北区党委宣传部长、淮海区党委(后改地委)组织部长兼宣传部长、淮涟中心县委书记兼淮海军区四支队政委。民国33年随新四军第一师师长粟裕南下苏浙边区,任浙西天北地委书记。解放战争时任滨北地委书记。1949年苏南解放后任松江地委书记。1951年调至中共华东局任副秘书长兼办公室主任、秘书长兼农村工作部长。1954年,调北京任总理办公室副主任分管外事工作。
1958年 国务院成立外事办公室,副总理 陈毅兼任办公室主任,张彦任副主任。
1965年中共中央外事政治部成立,张彦又兼任政治部主任。
张彦在承担外事工作期间,曾多次随同 周恩来总理、 陈毅副总理兼外交部长出访友好国家,出席国际会议。“文化大革命”中遭到 江青、陈伯达一伙人的迫害,身心受到严重摧残。当医师已诊断张彦患有癌症时,也得不到应有的治疗,于1970年去世。
1978年,中共中央为张彦平反昭雪,在北京八宝山革命公墓举行骨灰安放仪式。