对于破坏耕地的违法行为，根据《土地管理法》第七十五条的规定， 自然资源主管部门和农业农村主管部门都有权并应当进行处罚。具体分工方面，自然资源主管部门主要负责耕地数量的保护和监管，对于占用耕地建窑、建坟、擅自在耕地上建房、挖沙、采石、采矿、取土等违法行为进行立案查处；而农业农村主管部门则主要负责因土地开发造成土地荒漠化、盐渍化等违法行为的立案查处。
对于其他类型的违法行为，如未取得合法用地手续进行建设，通常由自然资源主管部门负责处罚。例如，在山西省临汾市的一案例中，临汾市职业幼儿师范学校因未取得合法用地手续而占地建设钢架房，被临汾市规划和自然资源局罚款124万余元。
综上所述，对于不同的违法行为，处罚部门会根据具体法律法规和执法职责进行划分。自然资源主管部门主要负责与土地相关的违法行为，而农业农村主管部门则侧重于土地质量保护和环境保护等方面的违法行为。