李世民被任命为元帅，而殷开山就是元帅长史；
天下大乱，百姓流离失所，盗贼四起，没有一处安生的地界；
殷开山在治理盗匪上有些想法，李世民也放手让他去做，给他权力让殷开山全权负责安抚百姓和整治盗匪的工作；
他带领兵马，将那些冥顽不灵、负隅顽抗的盗匪全部剿灭；
而那些有着悔过之心，可以招抚的，殷开山也不愿意浪费兵力，而是大肆的宣扬王者之师，一边感化他们一边招兵买马充实军队。
落草为寇者除了罪大恶极之外也都是活不下去的百姓，殷开山这两手做的非常好，一边武力威慑、一边怀柔感化；
在跟随过大公子二公子之后，殷开山又成了大将刘弘基的副手；
刘弘基抢夺渭水率先攻打长安，在长安城下隋朝大将出来迎战；
殷开山挺枪跃马和卫文升大战三十余回合，两个人不相上下，胜负不分，
主将刘弘基冲到阵前帮助殷开山一起上，在金光门外直接将隋朝的大将卫文升给击杀了，俘虏敌军数千人；
之后殷开山协助主将刘弘基一举长安城给攻打下来，因为这次的大功，殷开山被赐封爵位为陈郡公；
还升任丞相府掾，不久他改任为吏部侍郎。
唐军在攻打霍邑的时候，殷开山还是刘弘基的副手，这场战役当中李氏三父子李渊、李建成、李世民全部都参与了；
霍邑的守将大将宋老生坚守城池不出，一时间僵持住了，殷开山看时间流逝这样下去对我军没有丝毫利处；
他便提议不能这么消磨下去，而是兵分两路，一路军队由秦王殿下李世民带领在霍邑南边排兵布阵，另一路由皇上李渊和太子李建成带领在城东；
殷开山还使用攻心之战，让骑兵大胜的散布谣言，说要围城，活捉宋老生；
地方军心不稳，宋老生也中了计策，觉得不能再龟缩城池里，那样只是困兽之斗；
若是真的包围了城池，他们就如笼中鸟，被唐军瓮中捉鳖了；
宋老生不会坐以待毙，他率领三万士兵分别要从东门和南门杀出去，直接中计；
李渊和李建成率领的士兵正好和宋老生正面遭遇，落了下风，还好在城南，由李世民率领的部队很快以摧枯拉朽之势将城南敌军击败；
带领士兵来支援，随后殷开山也带着部队接应，唐军将宋老生的所有兵马团团围住，密不透风；
随后唐军大喊“宋老生已被抓住”，主将被抓，隋朝士兵的军心瞬间不稳，李渊带领麾下士兵趁乱斩杀。
共同击败隋朝的大将宋老生，成功攻占了霍邑；
接着还是跟随秦王殿下攻打薛举的那场战役，李世民养病之前特意嘱托他们一点“要坚守不出”，但是刘文静和殷开山却理解错了意思；
他和刘文静两人都觉得秦王殿下这是在质疑他们不能独立领兵，甚而质疑他们的能力，这不得表现表现？
