对于被学界禁言，徐小虎完全不能理解：“这真是一件令人奇怪的事情——每本书都会有错，我也会犯错，你们可以去做研究来证明我的错误，为什么只是不许我发表意见？”徐小虎一直期待着有人能抨击她书中写错的地方或是有年轻教授拿着这本书去继续考究中国其他古画的创作年代。事实上，什么都没有，只是沉默。
“我仿佛成了烫手的山芋，众人避之唯恐不及。不但没人与我讨论书里所提出的问题，我反而好像瞬间由机构与学术刊物间消失，成为一个不存在的人。”在《被遗忘的真迹》中文版自序中，徐小虎这样写道。
在和美国学者的交谈中，徐小虎知道大家其实都看过《被遗忘的真迹》，却“不喜欢它”，因为这意味着他们要重新检验每一幅古迹，而此前的研究也基本都成了无稽之谈
这样的文化通才，前有大师无数，后恐来者寥寥了。
说起傅熹年，同学王世仁和王其明印象深刻的都是“家学渊源”。
王世仁是傅熹年住上下铺的兄弟，大学时曾去过傅家。那时傅家已经从“藏园”搬到西城区大觉胡同的一个小四合院里。傅熹年的祖父傅增湘曾任北洋教育总长，自号“藏园老人”，家中藏书万千。王世仁记得，连门道里都堆满了书，书房里满墙都是书柜，放着“二十四史”等古籍。他印象深的是希特勒的水彩画集子，全中国就这一本。
傅熹年的父亲傅忠谟是玉石鉴赏家，1951年调到文化部文物局工作。当时文物局刚成立，不少人是从外地调来的，住集体宿舍，周末常到傅家聚会聊天。其中，张珩、徐邦达和傅家世交启功等人都是精研古代书画的。他们闲谈间说的都是古书画，有时还展开辩论。有一次说到宋徽宗的柳鸭芦雁图，张珩说柳鸭是真的、芦雁是假的，徐邦达和启功不同意，后来确实在芦雁上发现了问题。
他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
