張遇開始是後趙豫州刺史。350年，冉閔滅後趙，任命他為豫州牧。351年，張遇以許昌（今河南許昌）等城歸降晉朝安西將軍謝尚，晉穆帝拜他為鎮西將軍。謝尚不能撫綏，張遇叛晉，命其部將據洛陽，攻倉垣，使北伐晉軍不得進。次年，張遇被前秦苻健打敗，為苻雄所俘，苻健以他為司空、豫州刺史，後為征東大將軍、豫州牧。他的繼母韓氏被苻健納為昭儀，苻健屢次在眾人面前稱他為義子。張遇不堪其辱，欲殺苻健。七月，張遇和黃門劉晃密謀夜襲苻健，劉晃約定到時開門等待。正好苻健派劉晃外出。張遇不知此事，當他帶兵來到門前時，門沒有打開。事情敗露，張遇被殺。