黄河从偏关县老牛湾进入山西境内，由垣曲县碾盘沟出境，流经忻州、吕梁、临汾、运城4市19县，全长968.5千米。流域面积97138平方千米，占全省总面积的62.2%。该河道从地理形态上大致可分为四段。第一段从偏关至禹门口，流经黄河干流上最长的一段连续峡谷——晋陕峡谷，长630千米，水位落差达611米，比降0.84‰，峡谷下段有著名的壶口瀑布。第二段从禹门口至潼关(俗称小北干流)，流经汾渭地堑，河谷展宽，河长132.5千米，河道宽浅散乱，冲淤变化剧烈，有揭河底特性。第三段从潼关至三门峡大坝，为三门峡库区，全长116千米。第四段从三门峡大坝至垣曲碾盘沟，流经中条山与崤山即黄河上最后一道峡谷——晋豫峡谷，全长90千米。在山西境内汇入黄河的支流有40多条，其中较大的有汾河、涑水河等10多条，这些支流绝大部分流经水土流失严重的黄土丘陵沟壑区，是黄河泥沙特别是粗泥沙的主要来源区。

历史上，山西对黄河的治理一直没有停止过。远古时期就有大禹治水的传说，汉唐宋明清都进行过治理，现在还存有蒲州城旧城石堤，唐开元大铁牛等遗迹。解放后，山西省人民政府更加重视治黄事业，从60年代后期开始修筑防洪工程，1972年山西省水利厅成立了“山西省河务处”，1978年成立了“山西省三门峡库区管理局”专门负责黄河小北干流和三门峡库区的治理工作。

由于河道特性，禹门口以上河段处于峡谷地带，控导和护岸工程较少，山西黄河防汛的重点放在了小北干流河段。该河段左岸流经运城市的河津、万荣、临猗、永济、芮城五县（市），沿河共有14个乡镇，112个行政村，15万余人，滩区面积42.29万亩。河道宽3～18千米，总面积约1100平方千米。水流散乱，河床宽浅，心滩、汊流十分发育，主流摆动频繁，为典型的堆积游荡性河道，俗有“三十年河东，三十年河西”之说。由于河道左右迁徙，两岸为争夺滩地引发大规模争纷械斗，该河段曾是全国典型的纠纷河段。

为解决小北干流两岸滩区纠纷，1952年，周恩来总理亲自做出了“主流划界”的指示。从1968年9月份开始，国家开始有计划、大规模开展小北干流治理。沿黄各县成立治黄指挥部，党政领导、部队官兵、农民群众等成千上万人投入火热的防洪工程建设中。截止1984年，小北干流山西一侧共修建沿河工程14处64.658千米，有效控制了河道灾害。

然而，由于由于没有统一规划，晋陕两岸部分工程形成阻水挑流工程，造成了两岸新的矛盾。为此，1985年，经国务院批准，黄委将两岸治黄机构接收，分别成立了黄河小北干流山西管理局和陕西管理局，对小北干流实施统一规划治理。同时，接收防洪工程54.03千米。经过“九五”可研、“近期可研”，截至目前，小北干流河段山西侧共修建河道整治工程23处，工程总长89.353千米。其中，黄委管理工程19处76.623千米，地方管理工程4处5段12.73千米。这些工程的修建，基本上规顺了主流，控导了河势，改善了该河段电灌站的引水和汾河、涑水河入黄条件，保护高崖93.4千米、滩地42万亩，为沿黄人民群众的生产生活提供了安全保障。

上世纪80年代，黄委结合山西河段的特点和治理目标，通过接管和派出等形式，建立了多家管理单位。从偏关至禹门口河段，由黄委上中游管理局管理，主要开展水土保持综合治理、水行政、水资源及河道的管理等工作；禹门口至潼关河段，由黄河小北干流山西河务局管理，主要开展防汛抢险、防洪工程建设与管理、水行政、水资源管理等工作；潼关至三门峡水利枢纽大坝，由山西省三门峡库区管理局管理，黄河水政管理工作则由三门峡枢纽局代管。为加强流域管理，按照统一管理的原则，2009年12月31日，水利部印发《关于印发＜黄河水利委员会主要职责机构设置和人员编制规定＞的通知》（水人事[2009]643号），2010年2月23日，黄委会印发《关于黄河小北干流山西河务局更名并升格的通知》（黄人劳〔2010〕4号），批复黄河小北干流山西河务局更名为“山西黄河河务局”，同时升格为副局级事业单位。同时，黄委以“关于印发山西黄河河务局主要职责机构设置和人员编制规定的通知”（黄人劳[2010]75号）批复山西局“三定”方案。通知规定，山西黄河河务局为水利部黄河水利委员会派出的山西黄河管理机构，在山西黄河河道管理范围内依法使水行政管理职责，为具有行政职能的事业单位。山西黄河治理进入一个新的历史阶段。