1951年7月10日，中国农业银行的前身——农业合作银行建立，隶属中国人民银行领导，承担金融服务新中国农村经济社会恢复与发展的职责。1952年7月，与中国人民银行合并，职能并入人民银行。
1955年3月，按照为农业合作化提供信贷支持的要求，正式以“中国农业银行”名称建立。1957年4月，与中国人民银行再次合并。
1963年11月，根据统一管理国家支援农业资金的要求，中国农业银行再次建立，作为国务院直属机构。1965年11月，与中国人民银行第三次合并。
1979年2月23日，国务院发出《关于恢复中国农业银行的通知》，中国农业银行第四次恢复建立。
1984年6月1日，农业银行引进首笔世界银行贷款。
1985年6月24日，中国农业银行首次统一行名字体。
1985年6月25日，中央决定成立中国农业银行党委。
1993年12月，国务院明确做出“中国农业银行转变为国有商业银行”的决定，中国农业银行开始向国有商业银行转轨。
1994年4月，中国农业银行向新组建的中国农业发展银行划转了绝大部分政策性业务。
1996年8月，根据国务院《关于农村金融体制改革的决定》，中国农业银行不再领导管理农村信用社，与农村信用社脱离行政隶属关系。
1999年7月，中国农业银行向新组建的中国长城资产管理公司剥离不良资产。
2004年，农行第一次上报股改方案。
2007年1月，第三次全国金融工作会议明确提出中国农业银行“面向‘三农’、整体改制、商业运作、择机上市”的改革总原则，中国农业银行进入股份制改革新阶段。
2007年9月，农行选择吉林、安徽、福建、湖南、广西、四川、甘肃、重庆等八个省（区、市）开展面向“三农”金融服务试点。
2008年1月23日，农业银行明确提出“3510”奋斗目标和发展战略。
2008年3月，农行开始推动在6个省11个二级分行开始“三农”金融事业部改革试点。
2008年8月，农行总行设立“三农”金融事业部，全面推动全行“三农”金融事业部制改革。
2008年10月，国务院常务会议审议并原则通过《中国农业银行股份制改革总体实施方案》，中国农业银行股份制改革进入实质性推进阶段。
2008年11月，中央汇金投资有限责任公司向中国农业银行注资，与财政部并列成为中国农业银行第一大股东。
2009年1月15日，中国农业银行股份有限公司成立。
2010年4月，中国农业银行启动IPO。
2010年7月，中国农业银行A+H股于15日、16日分别在上海、香港挂牌上市，实现全球最大规模IPO。