一九四九年秋，開(kāi)國大典的禮炮聲中，北京城里一片歡騰，清查特務(wù)的工作也在緊張地進(jìn)行。土刀唐胡同里，剛剛接管了舊警察局的年輕派出所所長(cháng)肖大力正忙著(zhù)維持群眾游行的秩序，偶遇一個(gè)熟知兵器的教書(shū)匠馮靜波，這引起了他的懷疑。為了查清馮靜波的身份，肖大力搬進(jìn)了土刀胡同十五號院，與馮靜波做了街坊。馮的真實(shí)身份確實(shí)是國民黨的潛伏特務(wù)，代號"5182"。惡霸四閻王為他發(fā)了委任狀，接受"白眼鏡"的命令。深夜，"白眼鏡"前來(lái)交待任務(wù)，馮的特務(wù)生涯從此拉開(kāi)了序幕。"白眼鏡"為馮送電臺時(shí)被肖大力等人擊成重傷，臨死前只說(shuō)出5182幾個(gè)字。肖大力認為馮有重大嫌疑，讓他注意四閻王的行蹤，借此對馮旁敲側擊。曾在妓院做使喚丫頭的大眉子參加了夜校掃盲班，她愛(ài)慕馮老師的才華，常主動(dòng)為他做家務(wù)。馮為了掩護自己的身份，請大力保媒娶大眉子為妻。大力找大眉子談心，拐彎抹角說(shuō)馮是特務(wù)，可大眉子自覺(jué)出身下賤，婚事全憑大力做主。
　　肖大力偶然聽(tīng)到從馮家傳出用作聯(lián)絡(luò )暗號的樂(lè )曲，便也買(mǎi)了一臺短波收音機，煞費苦心地進(jìn)行研究，吃飯睡覺(jué)都不忘琢磨那首名為《展覽會(huì )上的圖畫(huà)》的曲子，在大家眼里他似乎是著(zhù)了魔。馮從大力的妻子劉亞琴那里聽(tīng)說(shuō)此事，不禁暗暗心驚，深知自己處境艱難，只得不動(dòng)聲色地應付這一切。他假稱(chēng)挖出一夜壺金子，將活動(dòng)經(jīng)費充了公，被評為抗美援朝積極分子。滿(mǎn)腹經(jīng)綸的馮靜波邂逅了校長(cháng)的女兒徐小妤，兩人一見(jiàn)如故。小妤仰慕馮的才華，馮也傾心于美麗又有知識的小妤。二人蕩舟湖上，面對小妤熾熱的目光，馮在歡樂(lè )之余也深感痛苦，心情沉痛地說(shuō)自己是負罪之人，準備自首，但在大力面前卻欲言又止。晚上，馮突然不見(jiàn)了蹤跡，大力緊張地認為他是畏罪潛逃。敏感的亞琴直奔小妤的宿舍，正好撞見(jiàn)這對偷情的戀人。東窗事發(fā)，馮家亂成一團。大眉子不依不饒，要跟那個(gè)破壞她家庭的女人"撞頭"。馮終于鼓起勇氣提出和她離婚，不料受到大力等人的指責與阻撓。校長(cháng)更以開(kāi)除作威脅，不許他離婚。氣憤的大力把馮反鎖在廁所里，讓他好好反省歷史問(wèn)題。靜波與小妤迫于壓力，只得黯然分手。
　　馮靜波在學(xué)校從未有過(guò)激言行，是個(gè)人人稱(chēng)贊的好老師，大力挑不出他的毛病，無(wú)可奈何。街道組織大家學(xué)習憲法，請馮為眾人講解。馮對鎮壓反革命的條文心有余悸。特務(wù)身份的重壓使馮隱忍地生活著(zhù)，這竟使他在歷次運動(dòng)中躲過(guò)了劫難，并且由于他為人和善，處處助人，竟被評為區勞模。而堅信馮是特務(wù)的肖大力卻被誣以"特務(wù)"的罪名送進(jìn)了勞改農場(chǎng)，亞琴自殺身亡。大眉子意外地發(fā)現馮的委任狀，偷偷地燒掉了。
　　四十年過(guò)去了，肖大力重又穿上了警服，他依舊執迷不悔地監視著(zhù)馮的一舉一動(dòng)。此時(shí)的馮已由一位好老師變成好校長(cháng)，他確實(shí)感到坦蕩做人的快感，同時(shí)也更感到自己心底那塊石頭的沉重。肖大力的兒子新桅和馮靜波的女兒抗美青梅竹馬，卻因父輩的恩怨無(wú)法走到一起。昔日給馮發(fā)委任狀的四閻王已成了海外合作項目的投資者，這令馮驚訝不解。肖大力的錚錚鐵骨令馮自慚形穢，也正是肖大力的所作所為，讓馮了解了共產(chǎn)黨。馮終于幡然悔悟，給大力寫(xiě)了自首信，請他寬恕"昨天的敵人"，并在女兒的攙扶下走進(jìn)了公安部的大門(mén)。