当时，蒲山公李密参与杨玄感反叛，兵败逃亡。李勣与浚仪人王伯当知道李密天下英雄，一同劝说翟让奉李密为主，以收买人心，扩大影响。
隋朝令王世充讨伐李密，李勣多次拒战，以奇计在洛水两岸几次大败王世充，李密因此封他为东海郡公。当时河南、山东大水，饥民遍地，隋朝赈给不周，每天饿死数万人。李勣向李密进言：“天下大乱，本是为饥。如果我们攻陷黎阳国仓，大事可成啊。”李密听计，派李勣带五千人，从愿武渡黄河掩袭黎阳仓隋朝守军，当日攻克，开仓招民众随便领粮，十天之间，就招募到兵士二十多万人。
一年多后，宇文化及江都弑隋炀帝，越王杨侗即位于东京洛阳，赦免李密诸人，封魏国公，拜太尉。隋廷又授李勣右武侯大将军，命他们一同讨伐宇文化及。李勣守黎阳仓城，宇文化及率军四面攻城，形式危急，李勣从城中向往挖地道，忽然现身城外，大败弑君叛贼宇文化及。贼人解围而去。
讲李勣，不得不交待李密。李密为人，身先士卒，躬服俭素，号令严整，每战所得金宝都赐与手下将士，因此非常受人爱戴。在与隋军的交战过程中，威信日隆，号为魏公，他让祖君彦所作的《讨隋炀帝檄文》千古流传，辞采壮烈。后来，李密与翟让之间产生矛盾，两人手下都劝他们先下手为强，其间原委，皆是由争权夺利而起，不是简单的“地主阶级阴谋家杀害农民起义军领神”那么简单，而且翟让为人简单粗暴，其兄翟宽与属下又数次侮辱李密手下兵士，逐渐结怨。李密最后在众人劝说下决定除去翟让，趁宴请机会斩杀翟氏兄弟。由于李勣当时是翟让属下，也被乱兵刀砍剑劈，遭受重创。李密见到后马上制止士兵的杀戮，李勣免于一死。翟让另外的大将单雄信等人叩首求命，李密都释而不杀。后来，李密又多次打败隋军，最盛时有众三十余万，各地割据的首领都派使请他为称帝，连李渊也不得不上书推戴，肉麻地称“天生蒸民，必有司牧，当今为牧，非子而谁？老夫年余知命，愿不及此，欣戴大弟，攀鳞附翼……”
屡战屡胜之际，李密军士有粮而无饷银，军士渐怨，几次反败于王世充。其间李密手下有人谋叛王世充，李密本想将计就计，趁王世充半渡洛水时出兵一举击灭。岂料天意弄人，王世充发军时，李密的侦察兵没有发觉，等整军将战时，王世充军队已经全军渡河上岸。李密见大事已去，不得不率小股人马逃遁。本来李密想去黎阳李勣处，有人劝他：“杀翟让之时，李勣被乱兵砍伤差点死掉，他能不记仇吗？现在投奔他，靠得住吗？”最后，不得已之下，李密与王伯当投靠李渊。
当时李勣全统李密旧境，东至于大海，南至于长江，西至汝州，东至魏郡，一时间未有所属。不过李勣是真义士，他对长史郭孝恪说：“魏公（李密）已归大唐，如果我自己上表向唐主献地，是自邀功劳而彰主公败绩，现在我把土地人口军人数目造册，总启魏公，让魏公自献。”于是派使臣上表。
唐高祖李渊听说李勣有使人来忙召见，一见只有给李密的信，很感奇怪。使人详细道明原委，高祖大喜，认为李勣“感德推功，实纯臣也！”马上下诏封李勣黎阳总管、莱国公，不久又加右武侯大将军，赐姓李氏，并封其父李盖为王，为李盖固辞，于是封为舒国公。下诏遣李勣部统河南、山东之兵以拒王世充。
李密归唐后，从前在信中对自己亲热过份的“老哥”李渊相待甚薄，只拜光禄卿的散官。不久，唐朝听说李密降于王世充的旧将纷纷离心，就派李密前往黎阳招降旧部。心怀怨望的李密行至洮阳，高祖李渊又派人召还他，疑惧之下，李密决定反唐。王伯当一直劝他不要反唐，但见李密意决，就横下心，说：“义士之立世，不以存亡易心。我一直受您厚恩，期待以性命相投。您不听我劝告，我肯定会和您一道起事，生死以之，但是恐怕结果也不会好啊。”隋唐之际，英雄辈出，男儿义气相应，很是感人，诚为我中国人做人的样板。
唐将史万宝、盛彦师早有准备，伏兵山谷，横击李密及王伯当等人，众人皆被杀。李密时年才三十七岁。虽然《旧唐书》称他“狂哉李密，始乱终逆”，但字里行间也不得不佩服此人的倜傥奇才和爱人下士的仁德大度。
李勣听说李密被诛，上表请唐朝容许他收葬故主，唐廷诏许。(
李勣服重孝，与从前僚属旧臣将士隆重地把李密安葬于黎山之南，坟高七仞，以君礼葬之，朝野闻讯都赞叹他的忠义。
不久，窦建德军擒斩弑隋炀帝的宇文化及，乘胜又大败李勣，并以其父李盖为人质，令李勣仍守黎阳。转年，李密趁机又归唐，有人劝窦建德杀掉李盖，可这位夏王也是位磊落大夫，表示说“李密忠臣，各为其主”，派人送李盖归唐。
此次以后，李勣就一帆风顺。他协同李世民连平王世充、窦建德、刘黑闼、徐圆朗、辅公袥等人，功勋赫赫。其间，还有一个插曲可述。单雄信投王世充后，极受宠遇，也很卖命。李世民攻洛阳时，有一次与单雄信相遇，雄信号为“飞将”，艺高胆大，援枪直刺李世民，好几次差点追及把这位秦王捅落马下。（此事可见尉迟敬德传。有逸史记载李勣当时在旁，对单雄信这位老哥们说“此秦王也”，“雄信惶惧遂退”，这肯定是小说家语，绝不可信，以单雄信性格，他肯定会枪挑李世民向王世充报功。）王世充投降后，李世民把与唐军苦战的十几名大将列入处决名单，李勣泣请，以自己家财爵位换这位老哥们一命。由于先前差点被单雄信杀掉，李世民坚执不允。
李勣无奈，与单雄信诀于大狱。单雄信埋怨他，“我固知汝不办事”。李勣大哭，用刀从腿上割下一块肉给单雄信吃掉，说“本来想随仁兄一起死，但谁来照顾你的家人呢。此肉随兄入地下，以表我拳拳真情。”单雄信死后，李勣如家人般照顾他的妻子儿女，确是千古义气的典范。
贞观十五年，太宗拜李勣为兵部尚书，还未赴京上任，薛延陀部又侵扰李思摩部落。李勣获唐廷委任为朔州行军总管，率轻骑三千追薛延陀于青山，大败敌师，斩名王一人，俘五万多人。（薛延陀部为匈奴别种，为铁勒族，对唐朝时叛时附）。
回朝后，李勣遇暴疾，药方上讲治此病胡须灰可以做药引。唐太宗听说后，自剪胡须，为李勣和药。儒家礼仪，身体发肤受之父母，一般人都不会轻易损伤，何况九五天子，亲剪“龙须”为臣子做药引，诚为千古美谈。（明太祖朱元璋把大便晒干后也分赐臣下，还得让臣下谢恩大赞这种烘干的“黄龙汤”，显然就是暴虐王八蛋所为，是朱家天子的一贯作风，同唐太宗此举相去十万八千里）。
李勣叩首见血以谢，感动得一塌糊涂。太宗说：“吾为社稷计耳，不烦深谢！”
不久，君臣宴饮，太宗醺然对李勣讲：“朕将以太子托付于您。您往年不负李密，今日必不会负朕。”
李勣雪涕，誓以必死。俄而沉醉，太宗亲解御衣为这位勋臣盖上以免着凉，如此宠遇，古今罕有。
贞观十八年，李勣跟从太宗伐高丽，攻破辽东、白崖等数城。贞观二十年，又率军大破薛延陀部，平定碛北。
贞观二十三年，太宗李世民病重，临崩前对太子说：“汝于李勣无恩，我现在把他责出外贬。我死后，你再以新皇名义授他仆射（宰相）之职，受汝恩遇，李勣必致死力。”于是，诏出李密为叠州都督。
其实，太宗大不可和李勣这样重义气的人玩这一手，有些人英明一世，却糊涂一时。李密也是一样，大败于王世充后，如果去投李勣，说不定东山再起，江山姓“唐”姓“魏”还都不一定。他也和太宗一样，以“小人”之心度君子之腹，认为李勣会因杀翟让时被砍重伤会怀恨在心，结果转路归唐，最后是龙虎入牢，再无出头之日。
高宗即位后，立拜李勣为尚书左仆射。永徽四年，册拜司空。李勣为人小心谨慎，对于皇帝家事一概不过问。后世都因他不反对高宗立武后一事颇有微词，笔者独以为不然。皇帝椒房内事，外臣权位再高，血缘再亲，掺和入宫闱之事无论成败，最终难逃一戮。李勣又非皇亲国戚，为人又深沉谨慎，加之太宗托负他的是社稷国事，所以他当时的表现实为中允，并非油滑臣下所为。因此，武后对他非常亲切，对待李勣的老姐还亲自临问，赐以衣服，家人一般。
高宗乾封元年（公元666年），高丽权臣（官号莫离支）盖苏文病死，其子男生继掌国事。盖苏文另外两个儿子男建、男产发难，驱逐男生。
男生逃奔唐朝，恳求唐朝发兵相助。高宗任李勣为辽东道行军大总管，率军征高丽。
乾封二年二月，李勣大军渡辽水，攻拨高丽重城新城。李勣一路连捷，直抵平壤城南扎下大营，男建不断派兵迎战，皆大败而还。不久，城内人投降唐军为内应，大开城门，唐兵四面纵火，烧毁城门，男建窘急，自杀未死。平壤城最终被攻下，唐朝共获一百七十六城，六十九万七千户。至此高丽国灭，分其地置九个都督府，四十一州，一百县，设安东都护府统管整个高丽旧地。自隋文帝以来，屡伐高丽，无一成功。隋炀帝四次伐辽，因此亡国。英明神武如唐太宗，御驾亲征，也因天寒少粮而无功罢兵。高宗继位，前后派兵部尚书任雅相、左武卫大将军苏定方、左骁卫大将军契必何力多次征讨，皆无功而返。直到李勣老将出马，乘高丽内乱，加之指挥有方，一举讨灭东边这个多年难拔的“钉子”，想必隋、唐几位皇帝如果地下有知，肯定惭叹不已。