孔子感到十分为难，因为他的父亲虽然属于高级别的士，但是离世甚久，他也没有继承父亲的位置，因此搞不清自己还能不能被当做士人对待；最重要的是，他当时还处于大丧期间，身上还穿着孝服。
孔子思前想后，咬牙跺脚道：“去了再说吧！”
孔子踯躅徘徊、一步三停来到季平子府前，猛一抬头，就看到那个一生与他为敌的家伙——阳虎。阳虎年龄比孔子大上几岁，当时只有二十出头；他身材过丈，容貌俊朗，这两点都与孔子相仿。孔子初见他时还以为看到了数年未见的哥哥，阳虎也以为见到了自己的兄弟阳越。
但是确认过眼神后，两人都知道自己认错人了。阳虎伸手拦住孔子，清清嗓子，傲慢地说道：“你来干什么？这里又不是哭丧的地方！你还是快些回去吧，免得传染晦气！”
孔子只得低下头，忍住巨大的屈辱愤然离开季府，两人第一次见面就结下了一生的仇怨。孔子回到家中一宿未眠，第二天也只得继续过着求学求食的、世上最底层的艰难生活。
前面说过，贵族对子弟的教育（礼乐射艺书数六艺）一般交给兄弟叔侄完成，属于内弟子式的教育。但是后来，贵族懒惰堕落，兄弟叔侄都教不好学生，结果六艺便从每位贵族子弟的必修课变成了一师难求的奢侈教育。于是私学孕育而生，贵族只好把子弟送入私学进行教育；加之普通人家为了使子弟将来能够进入上层社会，也会将孩子送进私学。私学于是日益壮大，越发盛行。
孔子在私学馆找到了一份差事，边学习边教课。二十岁那年，孔子终于学成六艺。孔子的求知欲是无限的，他学完周礼后决定再到宋国去学习殷商古礼。
孔子在宋国见到了年事已高、已经准备告老还乡的向戌。由于当年诸侯夺取偪阳就是为了把它送给向戌（向戌不敢接受，这才交给宋国公室），孔纥的英勇行为又极大地振奋了联军士气，因此向戌对孔纥的印象十分深刻。向戌惊喜万分，兴高采烈地接待了老勇士的儿子，向孔子讲述了孔纥的英勇行为，又对孔子学习古礼大开方便之门。
在学习期间、在向戌的撮合下，孔子娶了亓官氏的女儿为妻，两人婚后便回到鲁国。当时宋国正好有支使团准备到鲁国进行访问，向戌特地嘱咐正使一定要向鲁昭公举荐孔子。于是鲁昭公通过宋国人的嘴才知道本国竟然有位年轻有为的圣人之后。
不久孔子的独生子出生，鲁昭公特地派人给孔子送去一条肥硕的鲤鱼以表祝贺，孔子当即为儿子起名“孔鲤”。
鲁昭公心不在国事，始终没有启用孔子；季平子却捷足先登，他把孔子召到身边，给了他一个家族财会的职位。孔子出色地完成了本职工作，但是他一直被人告黑状；季平子后来又命他掌管家族畜牧事务，孔子完成的同样出色。
孔子大概在三十岁（鲁昭公十一年到二十一年）以前一直在季氏家中供职。在此期间，他真正了解到了在街头巷尾永远无法被人所知的、鲁国高层间的明争暗斗和家臣之间是如何勾心斗角的。