他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
王其明告诉《中国新闻周刊》，组里有两个能人，一个尚廓，一个傅熹年，两个人手下都很有功夫。
建筑科学院的图书馆搜购了很多建筑方面的书籍，有的是外文原版的。傅熹年提醒王其明，其中有两前欧洲建筑师到乡村采风所画的建筑速写图册，还有一本日本的《百栋集》，一百栋住宅每栋都配了一张平面图、一张剖面图和一张透视图，可以参考。王其明深受启发，觉得浙江民居调查也可以这样做。
傅熹年作品：浙江杭州上天竺民居写生稿。
王其明说，光画平面图、剖面图不足以显示建筑物的优点，要画透视图，傅熹年画透视图是一绝。“他的表现能力特别强，图画得可帅了。他画的那些民居写生图，有远有近，有大有小，配上的那些树也很好。因为他对国画的见识也比较多，很有才气的。”
王其明觉得傅熹年很有钻劲儿。他是红绿色弱，考清华建筑系前就有意识地做“预习”，画画知道自己哪个颜色不准，就注意调整。她觉得，傅熹年被划右派受打击很大，但对他来说也算一个很特殊的成长环境，还收获了知心的爱人。他划右派后，要跟在文物出版社工作的女友分手，女友却坚决不改志向，他也毫不动摇，两个人是等他摘了帽子后才结婚的。
除了画图，傅熹年的文史综合能力也有了用武之地。在协助刘敦桢编写《中国古代建筑史》时，他开始用研究古建筑的手法来考察一些重要古代名画。
宋以前建筑实物，尤其是住宅全都灭失了，目前所见早的古代住宅是明前期的，再早就只能求诸文献、绘画等，其中绘画是形象资料，尤其重要。现存宋元绘画中保存住宅资料丰富的是张择端的《清明上河图》和王希孟的《千里江山图》。《清明上河图》所画的是北宋汴梁城乡建筑，以店铺为主，兼有一部分住宅。画中对建筑物的构造、装修细部都有精细的描绘，但因为画面取景较近，在表现建筑全景方面就难以兼顾。《千里江山图》则能加以补充，它是宋画中表现住宅和村落全景多的一幅。
1972年夏，国家文物局筹备出国文物展览，将傅熹年借调回京，又给了他一次重拾旧业的机会。他画了很多供出国展览的图，包括根据唐长安大明宫含元殿等遗址实测图绘制复原图和彩色渲染图。
这期间，他有了重新接触古籍的机会，得以查了二十四史中的《旧唐书》和《新唐书》。启功的图书也已启封，查了《资治通鉴》。他们都发现了写经发愿人为武则天的确切证据，英雄所见略同，彼此抚掌称快，认为总算解决了一桩小公案。
但如果要写成文章，当时却颇有些“违碍”之处。因为这段历史的背后，涉及武则天迫害同父异母哥哥致死、毒死外甥女等狠毒之事，以及她表面上孝心通天实际上却公然污蔑自己的母亲与外孙乱伦。这在当时大捧“女皇”的情况下，实无异于自寻烦恼。
直到后，编《中国法书全集》，启功和傅熹年都觉得应该收入武则天的这篇发愿文残段，傅熹年才写出了这篇考证文章。因为无论如何，其中的书法之美，都不能不令人赞叹。至今，这段发愿文残片的照片还压在他书桌的玻璃下。
鉴定全国公藏古代书画
后，傅熹年结束了多年的漂泊生涯，得以回归，右派问题也在1979年“改正”。但是，他仍然不能心无旁骛地搞，因为，80年代，他又“跨界”成为了中国古代书画鉴定组成员。
全国古代书画鉴定工作早开始于60年代初。在周恩来的指示下，文化部文物局组成了鉴定小组，张珩为组长。张珩于1963年病逝，不久“文革”开始，这项工作就完全停顿了，直到1983年，才在谷牧的批示下重启。当时决定，由中宣部下发文件，将鉴定全国公藏古代书画作为一项国家任务下达。
1983年8月，中国古代书画鉴定组正式在北京成立，上海博物馆顾问谢稚柳和北京师范大学教授启功任组长，谢辰生代表文化部文物局负责协调工作，组员有故宫博物院研究员徐邦达、辽宁省博物馆副馆长杨仁恺、故宫博物院研究员刘九庵，以及当时在中国建筑技术发展中心建筑历史研究所任研究员的傅熹年。
傅熹年是在启功、徐邦达和谢辰生的联合推荐下进入这个组的，全组七个人中，六人都是七十往上的老，只有他是50岁的“小字辈”。
