1906年(清光绪32年)成立的山东高等农林学堂,创建于济南桑园，分设农、林、蚕三科，学生多为秀才，毕业后可直接出国留学。1916年改为山东公立农业专门学校。1927年奉系军阀督办张宗昌将山东公立农业专门学校一一农专、工专、商专、矿专、医专、法专等合并成立山东大学，校址济南。当时的农专即为山大的一门专科。1928年因“五卅惨案学校停办。1929年改属青岛大学农事实验场，1931年又改为乡村建设研究院专科学校，1938年该校停办，原校址改为华北农事试验场济南支场，1939年成立山东省立高级农业职业学校。
另外青岛大学于1931年改为山东大学，1932年开始筹设山东农学院，在济南设农学研究与推广两部，1934年于济南正式成立农学院。抗日战争期间山东大学迁到重庆，农学院停办。抗战胜利山大又迁回青岛，设文、理、农、工、医五个学院。国民党接收后于1947年成立山东省立农学院，院长阎若闵，校址济南桑园，设农学、园艺、森林等三个系，共有学生120名，教职工39名。
1948年9月济南解放，我人民政府将原山东省立农学院与山东省立高级农业职业学校一并接收，此时农学院有农、园、森、经济四系，学生200多人，同年12月又将山东省人民政府实业厅在青州举办的农林专科学校合并于农学院，当时设五个系，刘春安为代理院长，全院教职员工达1493人，共有学生1216人，并建立党支部和团总支，1949年4月刘院长随军南下，山东省农林厅副厅长耿光波兼院长，华山任副院长。同年11月又将黄河水利专科学院合并于山东省立农学院，共有学生900多人。1950年5月耿光波调中央农业部工作，由山东农业厅厅长仲星帆兼任院长，同年10月改称山东农学院，设农艺、园艺、森林、农业化学、农田水利、畜牧兽医等系及牧医，测绘、水文、森林等专修科，全校共有学生500多人，教职工220多人，图书馆藏书16604册，经费(折人民币)118956元，农场耕地面积345亩，山地1200亩分布在千佛山、马鞍山、燕子山等地带，供教学实习用。
解放后随着国家建设的需要1952年9月进行院系调整，山东农学院与山东大学农学院(水产系除外)齐鲁大学农专、南京大学、金陵大学园艺系一部分合并为山东农学院，设农学、园艺、林学、畜牧兽医、农业化学、农田水利、植物保护等七个系七个专业，还有食用作物、特用作物、林学、畜牧兽医、水利五个专科，院长陈瑞泰，副院长华山，共有学生700多人。为了加强党对学校政治思想领导和保证监督党在学校方针政策的贯彻执行，经山东分局批准于1953年11月成立中共山东农学院委员会，党委书记华山，下设五个支部，共有党员122人，在学校各项工作中起到了骨干带头作用。
1954年开始招收蔬菜专业研究生，实习农场也逐渐扩大，共有土地7024亩(济南东郊和北郊五柳闸)。1958年根据省委指示，山东农学院由济南迁来泰安，学校占地总面积1000多亩，农场土地1472.115亩，1961年退还当地农民一部分，只给山农留下847.14亩，不及当年在济南农场面积的1／8，现在校本部占地585亩。
1960年将果树、蔬菜分为两个专业，并增设农业经济管理和农业机械化两个系和专业1962年农业经济管理专业停止招生，农业机械化专业合并于山东农业机械化学院。
1972年经省农业局批准增设蚕桑专业，1976年和1978年经山东省教育局批准，农机系和农经系先后恢复并开始招生。1983年经省教育厅批准增设遗传育种、农业教育等专业。
为了进一步适应四化建设的需要，扩大学校规模，提高教学质量，培养更多更好的“四有”建设人才，1983年9月经山东省人民政府批准，将原山东农学院改为山东农业大学。1999年7月，经山东省人民政府批准，将山东农业大学、山东水利专科学校合并，同时将山东省林业学校并入，组建新的山东农业大学。目前，学校已经发展成为一所融农、理、工、管、文、法于一体的多科性大学。