这段时期，他一直是以幕僚的身份，侍奉曹操、曹丕两代君主，没有被史书记录下的实际操刀的工作。
不过司马懿绝不是那种只会玩办公室政治的弄权之臣，是一个「能臣J。
史书记载，司马懿在入仕之后，勤于职守，常废寝忘食，并屡有功勋。
班全勤和积极进取可以装出来，但最后这个，是绝对装不出来的。
在曹操在位期间，司马懿只能算是比较外围的幕僚，地位远不及荀彧、贾诩、荀攸、程昱这些谋臣。
曹操征讨汉中张鲁的时候，司马懿曾经谏言，应该一鼓作气进而攻取益州，但并没有引起曹操的重视，不过倒是由此引出了一个成语——「得陇望蜀」。
即便如此，司马懿依然屡屡献计。
比如建议把汉武帝时用在边塞地区的屯田制引入中原地区，解决了曹魏的粮食问题；又比如关羽水淹七军、兵围樊城时，主张联吴抗刘、让东吴抄关羽后路，既解了樊城之围，又撕裂了孙刘联盟，可谓一箭双雕。
而与之形成鲜明对比的是他的位置，最高也不过是一个太子中麻子(算是太子的幕僚)。
司马懿真正开始进入曹魏决策层的核心，是在曹操去世、曹不继位后。
因为曹操原本就是把他作为第二梯队，给自己儿子留着的，这也是曹操在世时，对司马懿是既用又不重用的道理。
这样一来，拙拔司马懿的恩典是曹丕给的，如此才能保证司马懿是一个忠于曹丕的能臣，而不是一个尾大不掉的权臣。
从司马懿的角度说，他在位不配才的情况下，还能忠于职守，屡出奇谋，归根到底还是自己早就看破了这一层一格局决定结局，眼界决定成败。
曹丕继位为魏王后，司马懿随之升任丞相长史。
而在第二年，曹丕代汉自立，逼着汉献帝退位自己当了皇帝，司冯懿也随之一路升迁到了尚书右仆射。
曹丕两次亲自南下攻打东吴，留守许昌的都是司马懿。
可见曹氏对于司马懿的才能，是极为看重东汉末年的社会资源已经完全被门阀家族所垄断，所以士族子弟只要愿意，求个官装点下门面，实非常容易。
但要进入权力的核心圈子，在那个不是灭人就是被灭的时代，单靠门第和站队也不可能。
说到底，决定一切的依然是能力。
因为司马懿能力非比寻常，所以曹操、曹丕两代人对司马懿始终心存不安，明着在用暗着在防。
虽然司马懿官至右仆射，但却始终被不容许掌兵。
所以才搞出君主在前线带兵打仗，臣子在后方看家的尴尬局面。
而且司马懿留在许昌时，理能调动的武装力量满打满算也不过5000人。
换句话说，曹丕宁可后方空虚，也要先防着司马懿。