对于被学界禁言，徐小虎完全不能理解：“这真是一件令人奇怪的事情——每本书都会有错，我也会犯错，你们可以去做研究来证明我的错误，为什么只是不许我发表意见？”徐小虎一直期待着有人能抨击她书中写错的地方或是有年轻教授拿着这本书去继续考究中国其他古画的创作年代。事实上，什么都没有，只是沉默。
“我仿佛成了烫手的山芋，众人避之唯恐不及。不但没人与我讨论书里所提出的问题，我反而好像瞬间由机构与学术刊物间消失，成为一个不存在的人。”在《被遗忘的真迹》中文版自序中，徐小虎这样写道。
在和美国学者的交谈中，徐小虎知道大家其实都看过《被遗忘的真迹》，却“不喜欢它”，因为这意味着他们要重新检验每一幅古迹，而此前的研究也基本都成了无稽之谈
那时，傅熹年因为老进城往家跑，没少挨团干部的批，说他“贪恋资产家庭生活”。解释只会招来更多的批评，因为古典文化当时被视作落后的东西，他索性就不解释了。反正在学校里，他对当全5分学生并不感兴趣，但是重要的功课，例如课中的建筑设计、建筑历史和基础课中的素描、水彩画，是5分。
傅熹年作品：麦积山石窟外景水彩写生图。
“画透视图是一绝”
傅熹年之所以进入清华建筑系（当时叫营建系）学习，是因为高三时读到梁思成关于中国古代建筑和明清北京城的文章，萌生了搞建筑史的愿望。在清华时，他钦佩梁思成的铅笔单线速写，徒手画建筑线条，又快又直。他曾借到梁思成旅欧时的速写册《拾遗》，内有对法国布惹阿城堡大楼梯的速写等，反复临摹。
他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
王其明告诉《中国新闻周刊》，组里有两个能人，一个尚廓，一个傅熹年，两个人手下都很有功夫。
建筑科学院的图书馆搜购了很多建筑方面的书籍，有的是外文原版的。傅熹年提醒王其明，其中有两前欧洲建筑师到乡村采风所画的建筑速写图册，还有一本日本的《百栋集》，一百栋住宅每栋都配了一张平面图、一张剖面图和一张透视图，可以参考。王其明深受启发，觉得浙江民居调查也可以这样做。
傅熹年作品：浙江杭州上天竺民居写生稿。
王其明说，光画平面图、剖面图不足以显示建筑物的优点，要画透视图，傅熹年画透视图是一绝。“他的表现能力特别强，图画得可帅了。他画的那些民居写生图，有远有近，有大有小，配上的那些树也很好。因为他对国画的见识也比较多，很有才气的。”
王其明觉得傅熹年很有钻劲儿。他是红绿色弱，考清华建筑系前就有意识地做“预习”，画画知道自己哪个颜色不准，就注意调整。她觉得，傅熹年被划右派受打击很大，但对他来说也算一个很特殊的成长环境，还收获了知心的爱人。他划右派后，要跟在文物出版社工作的女友分手，女友却坚决不改志向，他也毫不动摇，两个人是等他摘了帽子后才结婚的。
除了画图，傅熹年的文史综合能力也有了用武之地。在协助刘敦桢编写《中国古代建筑史》时，他开始用研究古建筑的手法来考察一些重要古代名画。
宋以前建筑实物，尤其是住宅全都灭失了，目前所见早的古代住宅是明前期的，再早就只能求诸文献、绘画等，其中绘画是形象资料，尤其重要。现存宋元绘画中保存住宅资料丰富的是张择端的《清明上河图》和王希孟的《千里江山图》。《清明上河图》所画的是北宋汴梁城乡建筑，以店铺为主，兼有一部分住宅。画中对建筑物的构造、装修细部都有精细的描绘，但因为画面取景较近，在表现建筑全景方面就难以兼顾。《千里江山图》则能加以补充，它是宋画中表现住宅和村落全景多的一幅。
封建王朝对住宅有严格的等级规定，傅熹年将这些规定与《清明上河图》《千里江山图》中所画的建筑加以比较，发现大都是吻合的。那些简单的小房子和孤立的工字形屋子可能是农民的住宅，面阔三件、歇山屋顶的可能是官僚住宅，没有三间大门和歇山屋顶的大宅子则可能是没有官职的大地主豪商的住宅或别墅。
傅熹年将这些研究成果用于建筑史中，得到刘敦桢的赞许，他顺便撰写的《王希孟<千里江山图>中的北宋建筑》等论文也陆续发表。
傅熹年作品：元大都大内宫殿延春阁复原图。
“精神会餐”
每次一有运动，跟“封资修黑货”打交道的建筑历史室都是首当其冲，右派傅熹年更是在劫难逃。
“文革”开始后，傅家被抄，全家人扫地出门，挤住在大觉胡同一个大杂院中。傅熹年在建筑科学院做了三年水暖维修工，平日逐户维修，冬天烧采暖锅炉。院里的人想要暖和一些，他就把火烧得旺旺的。
8月底，期巡回鉴定在北京启动。在故宫博物院丽景轩鉴定书画，以“文革”中的抄家文物为主。接下来，先后鉴定了北京市文物局、北京文物总店、中国历史博物馆、首都博物馆和故宫博物馆所藏书画。
由于鉴定组大多是高龄老人，鉴定只在春秋两季进行，每次三个月。《清明上河图》《千里江山图》等名画当然也要过一下眼，过完就赶紧收了，这些都是早已公认的国宝。
1985年、1986年上半年，鉴定组移师上海。在上海，发生了较大的意见分歧。
上海博物馆所藏元代名画中，有一卷题为赵孟頫所绘《百尺梧桐轩图》。此图绢本，青绿设色，画的是园居闲适之景。图中一人便服闲坐在梧桐轩中，旁有一童子捧茗，一使者抱琴，高大的梧桐树环绕四周。全图笔法秀雅，设色工丽。画后有周伯琦、张绅、倪瓒等七人的题诗，都是元末名家。对此画是否为赵孟頫所画，傅熹年提出了不同看法。
傅熹年还回忆，鉴定组开会时，他和刘久庵常坐在一起，互相交谈。每次提出反对意见，总有人会问：你说不是他画（写）的，那你说是谁画（写）的？可能有感于此，一般鉴定时定其真伪就够了，但刘久庵还进一步研究伪品，尽可能找出作伪者，如指出多件祝允明书法都是吴应卯、文葆光伪作的。刘久庵不但熟悉大名家，还熟悉中小名家，对一些名家的不成功之作，他往往能力排众议定其为真笔。
巡回鉴定工作于1989年底结束，共过目全国6万多件书画作品。作为鉴定成果，出版了10册《中国古代书画目录》，其中编成24卷彩色《中国古代书画图录》
