正以香港为家，是他在一九六九年来新亚研究所任教以后。而他当时在台湾，实在是处于一种困难的境地，他在教书十多年的东海大学受到了排挤，被逼退休，原因之一是宗教信仰问题，据说这家由美国基督教会所办的大学，当时的董事会曾有这样的警告：「学生受洗的所以少，是因牟宗三、徐復观讲中国文化的关係。我们的学校，不是为中国文化办的。」又要东海大学教中国文化的人，保证学生信仰基督教。徐復观先生在校务会议上予以反击。这是他被迫退休的主因。（不过后期东海对他很尊重，在图书馆特辟纪念室。）