对于被学界禁言，徐小虎完全不能理解：“这真是一件令人奇怪的事情——每本书都会有错，我也会犯错，你们可以去做研究来证明我的错误，为什么只是不许我发表意见？”徐小虎一直期待着有人能抨击她书中写错的地方或是有年轻教授拿着这本书去继续考究中国其他古画的创作年代。事实上，什么都没有，只是沉默。
“我仿佛成了烫手的山芋，众人避之唯恐不及。不但没人与我讨论书里所提出的问题，我反而好像瞬间由机构与学术刊物间消失，成为一个不存在的人。”在《被遗忘的真迹》中文版自序中，徐小虎这样写道。
在和美国学者的交谈中，徐小虎知道大家其实都看过《被遗忘的真迹》，却“不喜欢它”，因为这意味着他们要重新检验每一幅古迹，而此前的研究也基本都成了无稽之谈
2018年从日本私人藏家手中动员回来了苏东坡真迹《枯木怪石图》和赵孟頫的两通书札，三件文物共开价1.5亿元。傅熹年参与了鉴定，认定其为真品，建议国家收购，但国家文物部门却表示没有这么多的经费。终，《枯木怪石图》在佳士得拍卖行以4.1亿港元被一位“神秘买家”买走，赵孟頫书札也拍出天价，买家身份同样没对外透露。
遇到这些事，傅熹年总是很无奈，他觉得这些东西该公家收藏的。就像他的主业本来是中国古代建筑史，在一生中却总是被一次次的运动打断，后期又被书画这个业余爱好“喧宾夺主”。
认识七十年了，他的清华同窗王世仁觉得他始终正派，不管是被打成右派时还是后来当了中国工程院院士，始终不以物喜不以己悲。
不过，傅熹年对一些事很不在意，但对另一些事又很在意。如说起梁启超题赠给赴美留学的梁思成和林徽因的宋《营造法式》、梁思成画的建筑图手稿清华建筑系都没有出钱收购，他冷静的语调少见地变成了义愤填膺，为恩师梁思成如今所受到的这种“待遇”而愤愤不平。
师姐王其明觉得，傅熹年的“本行”虽是建筑，但对书画、古籍等精研很深，这有家庭的影响，也与他曾直接受教于“北梁（梁思成）南刘（刘敦桢）”有关，因此他能成为中国古典文化的通才。
他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
王其明觉得傅熹年很有钻劲儿。他是红绿色弱，考清华建筑系前就有意识地做“预习”，画画知道自己哪个颜色不准，就注意调整。她觉得，傅熹年被划右派受打击很大，但对他来说也算一个很特殊的成长环境，还收获了知心的爱人。他划右派后，要跟在文物出版社工作的女友分手，女友却坚决不改志向，他也毫不动摇，两个人是等他摘了帽子后才结婚的。
除了画图，傅熹年的文史综合能力也有了用武之地。在协助刘敦桢编写《中国古代建筑史》时，他开始用研究古建筑的手法来考察一些重要古代名画。
宋以前建筑实物，尤其是住宅全都灭失了，目前所见早的古代住宅是明前期的，再早就只能求诸文献、绘画等，其中绘画是形象资料，尤其重要。现存宋元绘画中保存住宅资料丰富的是张择端的《清明上河图》和王希孟的《千里江山图》。《清明上河图》所画的是北宋汴梁城乡建筑，以店铺为主，兼有一部分住宅。画中对建筑物的构造、装修细部都有精细的描绘，但因为画面取景较近，在表现建筑全景方面就难以兼顾。《千里江山图》则能加以补充，它是宋画中表现住宅和村落全景多的一幅。
有一次，启功偶然从一个信封里找到几张“漏网”的敦煌写经残片照片，与傅熹年同看，说其中一张好，书法秀美潇洒，毫无职业写经人的习气。
这是一篇写经的发愿文。文中称，自己发愿要写三千部《妙法莲华经》，以为亡母“太原王妃”祈福。两人都觉得“太原王妃”眼熟，但一时想不起是谁。
几天后再见面，启功高兴地说，终于想起来了！武则天之父武士彟死后追赠太原王，太原王妃即武则天的生母杨氏。但武士彟还有其他子女，不能确定要发愿写经的就是武则天。当时无法查资料，这个疑问只能暂时搁置了。
1968年底“清理队伍”后，傅熹年获准回到人民队伍中，随全院职工整体下放河南的“五七干校”。之后，建筑研究院被撤销，人员星散。傅熹年被分配到甘肃天水，在国家建委第七工程局的工程公司为技术员，再次离开了古建。
