殷中軍為庾公長史，下都，王丞相為之集，桓公、王長史、王藍田、謝鎮西並在。丞相自起解帳帶麈尾，語殷曰：“身今日當與君共談析理。”既共清言，遂達三更。丞相與殷共相往反，其余諸賢，略無所關。既彼我相盡，丞相乃嘆曰：“向來語，乃竟未知理源所歸，至於辭喻不相負。正始之音，正當爾耳！”明旦，桓宣武語人曰：“昨夜聽殷、王清言甚佳，仁祖亦不寂寞，我亦時復造心，顧看兩王掾，輒翣如生母狗馨。”

　　桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”