清末民初，此地逐渐形成吉祥、土顶子等少数居民点，隶属穆棱县第四区(今梨树区)管辖；因穆棱县地方武装三分队驻扎此地，故又称为“三分队”。当时，根据本地山多、山上碎石多，石上均有密密麻麻的坑点，“三分队”由此定名为“麻山屯”。

　　1925年穆棱县设麻山、吉祥两个行政村。日本侵略者侵占麻山后，在修建林密铁路时设麻山站，境内沿线增加青龙沟、西大坡等自然屯。期间，日本侵略者企图“切断”人民群众与抗日联军的鱼水关系，迫使附近一些散居的农民向麻山屯归并，致使麻山屯增至200户、人丁800有余。穆棱县决定将麻山屯升建为村，并管辖奎山等15个自然屯，同时，日本开拓团团长石井松郎率日本人50户、252人迁入南山沟并定名为共荣村。

　　麻山村划归伪东安省林口县管辖后，满炭株式会社派日本人樱井到麻山以西踏勘，发现了矿苗；相继又派日本人白木等7人到麻山以西大规模勘探并进行煤炭开采，定名为“满炭株式会社麻山炭矿”。因此地在麻山以西，故称“西麻山”，原麻山改称“东麻山”。

　　当时，农民从事以家庭为单位的自给自足农业生产，生产力低下。更为糟糕的是日本侵略者统治时，流行“跑马占荒”做法，大部分土地集中到有钱的地主手中，农民失去了土地，长期被盘剥，农业生产发展缓慢。日本开拓团更是强行将农民撵出，霸占土地，农业生产进一步遭到破坏。

　　1946年，东北工矿处派任弼绍等人到麻山发动矿工开展民主改革，恢复生产；同年，林口县土改工作团麻山分团进驻麻山村开展土地改革运动，并于1947年建立麻山区政府。

　　1955年春撤销麻山区，成立麻山、土顶子、西大坡乡；同年秋，3个乡合并为麻山乡。1957年，麻山乡划入鸡西市并成为市辖区之一，区人民政府由东麻山迁至西麻山。