他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
宋以前建筑实物，尤其是住宅全都灭失了，目前所见早的古代住宅是明前期的，再早就只能求诸文献、绘画等，其中绘画是形象资料，尤其重要。现存宋元绘画中保存住宅资料丰富的是张择端的《清明上河图》和王希孟的《千里江山图》。《清明上河图》所画的是北宋汴梁城乡建筑，以店铺为主，兼有一部分住宅。画中对建筑物的构造、装修细部都有精细的描绘，但因为画面取景较近，在表现建筑全景方面就难以兼顾。《千里江山图》则能加以补充，它是宋画中表现住宅和村落全景多的一幅。
封建王朝对住宅有严格的等级规定，傅熹年将这些规定与《清明上河图》《千里江山图》中所画的建筑加以比较，发现大都是吻合的。那些简单的小房子和孤立的工字形屋子可能是农民的住宅，面阔三件、歇山屋顶的可能是官僚住宅，没有三间大门和歇山屋顶的大宅子则可能是没有官职的大地主豪商的住宅或别墅。
傅熹年将这些研究成果用于建筑史中，得到刘敦桢的赞许，他顺便撰写的《王希孟<千里江山图>中的北宋建筑》等论文也陆续发表。
傅熹年作品：元大都大内宫殿延春阁复原图。
“精神会餐”
每次一有运动，跟“封资修黑货”打交道的建筑历史室都是首当其冲，右派傅熹年更是在劫难逃。
“文革”开始后，傅家被抄，全家人扫地出门，挤住在大觉胡同一个大杂院中。傅熹年在建筑科学院做了三年水暖维修工，平日逐户维修，冬天烧采暖锅炉。院里的人想要暖和一些，他就把火烧得旺旺的。
