为了扫平群雄北定中原，推翻元朝政权，朱元璋必须彻底剿灭陈友谅、张士诚的势力。军中对东张西陈两个战略方向，持有不同的看法。多数将领主张先易后难，即先打张士诚。刘基的主张则相反，他认为张士诚生性怯弱，胸无大志，只求自保，不足为虑。陈友谅野心勃勃，力量也强，据长江上游，威胁最大。若先打张士诚，陈友谅肯定会乘虚进攻；可是如果先伐陈友谅，张士诚不一定敢轻举妄动，所以应该先打陈友谅。朱元璋采纳刘基之计，又在全面胜利的道路上迈出了举足轻重的一步。自此长江中下游地区尽归朱元璋所有。
刘基的运筹帷幄、神机妙算不仅使同僚下属钦佩不已，也博得了朱元璋的信任与尊敬。朱元璋将他比作汉代谋臣张良，尊称他“老先生”而不呼其名，经常和他一起商量军政大事，遇有重大决策，仅召他一人进密室相议。朱元璋对刘基一度几乎到了依赖的程度。刘基母亲故世，他告假回乡奔丧，朱元璋舍不得他离开，婉言挽留而不准假。后来勉强准了，还不时写信请教军政大计，刘基则详细分析答复，总使朱元璋非常满意。尽管这样，最后朱元璋还是提前召他回来。
然而，随着朱元璋立国大势已定，刘伯温反而渐渐被边缘化了。至正二十八年(1368年)，朱元璋在北伐大都推翻元朝的凯歌声中，宣布了大明王朝的建立。昔日的谋略不再是朱元璋必需的，57岁的刘基其实只要规规矩矩地按章办事就行了。
落寞英雄进退维谷
大凡一个王朝的开国功臣，或韬光养晦，安享晚年，或骄横恣肆，最终被戮。然而，像刘基这样进退维谷、左右为难的，却还是少见。
朱元璋曾将刘基比作张良，于是就有人也将刘基与张良比较。明人廖道南就说：汉代大封功臣，张良仅要求封为“留侯”就满足了，然后专心于道术，明哲保身，传说中还变成了神仙；而刘基却没有急流勇退，反而犹豫在朝，最终就像野鸡投于网罗、野象因其象牙而遭杀身之祸。
其实，在洪武元年(1368年)刘基被授予御史中丞职务的时候，他还是很有点意气风发的。中书省都事李彬犯下贪纵之罪。李彬是丞相李善长的亲戚，李善长请刘基缓治李彬之狱。刘基却坚决主张查办，并派人专程向远在汴梁的朱元璋汇报。李善长却在朱元璋面前抢先告了一状，说刘基“专恣”。对于专制君主来说，臣下的专恣自是不可容忍，朱元璋对刘基的宠信开始打折扣了。接下来发生的一件事，刘基的方术似乎也不灵验了。八月天大旱，刘基进言道：“阵亡士兵的妻室共有数万之众，居于别营，阴气郁结；工匠死后，尸骸未收；张士诚的降卒们都编入了军户。这三点有干天和，所以发生旱灾。”朱元璋采纳了刘基的建议，妥加处理，谁料十天过后，依旧大旱。至此，刘基只得卷铺盖回老家。
