وقد رابط أواخر عمره في ثغر طرسوس إلى أن مات، يروي عن البغوي قوله المشهور: مارأيت بعد أحمد بن حنبل أزهد من زهير، سمعته يقول: أشتهي لحماً ولا آكله حتى أدخل الروم، فآكله من مغانم الروم.