桓玄敗後，殷仲文還為大司馬咨議，意似二三，非復往日。大司馬府聽前，有壹老槐，甚扶疏。殷因月朔，與眾在聽，視槐良久，嘆曰：“槐樹婆娑，無復生意！”

　　殷中軍為庾公長史，下都，王丞相為之集，桓公、王長史、王藍田、謝鎮西並在。丞相自起解帳帶麈尾，語殷曰：“身今日當與君共談析理。”既共清言，遂達三更。丞相與殷共相往反，其余諸賢，略無所關。既彼我相盡，丞相乃嘆曰：“向來語，乃竟未知理源所歸，至於辭喻不相負。正始之音，正當爾耳！”明旦，桓宣武語人曰：“昨夜聽殷、王清言甚佳，仁祖亦不寂寞，我亦時復造心，顧看兩王掾，輒翣如生母狗馨。”

　　謝公作宣武司馬，屬門生數十人於田曹中郎趙悅子。悅子以告宣武，宣武雲：“且為用半。”趙俄而悉用之，曰：“昔安石在東山，縉紳敦逼，恐不豫人事；況今自鄉選，反違之邪？”