对于被学界禁言，徐小虎完全不能理解：“这真是一件令人奇怪的事情——每本书都会有错，我也会犯错，你们可以去做研究来证明我的错误，为什么只是不许我发表意见？”徐小虎一直期待着有人能抨击她书中写错的地方或是有年轻教授拿着这本书去继续考究中国其他古画的创作年代。事实上，什么都没有，只是沉默。
“我仿佛成了烫手的山芋，众人避之唯恐不及。不但没人与我讨论书里所提出的问题，我反而好像瞬间由机构与学术刊物间消失，成为一个不存在的人。”在《被遗忘的真迹》中文版自序中，徐小虎这样写道。
在和美国学者的交谈中，徐小虎知道大家其实都看过《被遗忘的真迹》，却“不喜欢它”，因为这意味着他们要重新检验每一幅古迹，而此前的研究也基本都成了无稽之谈
他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
1972年夏，国家文物局筹备出国文物展览，将傅熹年借调回京，又给了他一次重拾旧业的机会。他画了很多供出国展览的图，包括根据唐长安大明宫含元殿等遗址实测图绘制复原图和彩色渲染图。
这期间，他有了重新接触古籍的机会，得以查了二十四史中的《旧唐书》和《新唐书》。启功的图书也已启封，查了《资治通鉴》。他们都发现了写经发愿人为武则天的确切证据，英雄所见略同，彼此抚掌称快，认为总算解决了一桩小公案。
但如果要写成文章，当时却颇有些“违碍”之处。因为这段历史的背后，涉及武则天迫害同父异母哥哥致死、毒死外甥女等狠毒之事，以及她表面上孝心通天实际上却公然污蔑自己的母亲与外孙乱伦。这在当时大捧“女皇”的情况下，实无异于自寻烦恼。
直到后，编《中国法书全集》，启功和傅熹年都觉得应该收入武则天的这篇发愿文残段，傅熹年才写出了这篇考证文章。因为无论如何，其中的书法之美，都不能不令人赞叹。至今，这段发愿文残片的照片还压在他书桌的玻璃下。
