1902年12月26日出生于湖南省衡山县（今衡东县）寒水乡鱼形镇南湾村。
1919年就读长沙市协均中学。
1925年就读私立青岛大学（现中国海洋大学）。
1927年夏，加入中国共产党，并参加了毛泽东领导的秋收起义。
1929年底古田会议，罗荣桓以基层政工干部的身份当选为红四军前敌委员会委员。
1930年任红四军政委，第一、第八军团政治部主任。后随军参加了长征。
抗日战争时期任八路军115师政治主任、政委，山东省军区司令员兼政委。
解放战争时期担任东北民主联军副政委、东北解放军政委与第四野战军第一政委。参与指挥辽沈战役和平津战役。
建国后任中央人民政府最高检察署检察长，全国人大常委会副委员长，解放军总政治部主任，中共中央政治局委员。是解放军政治思想工作的杰出代表。
1953年，他提议创办政治学院，后兼任院长。
1955年授予元帅军衔。
1963年12月16日，因患有多年的肾癌日益恶化，最终在北京病逝，享年61岁。