孔子心里批判士大夫们的“不忠”，行动上则表现为对任何家臣都敬而远之，绝不加入任何人的小圈子。
季平子家族就是个小公室，家臣就是卿大夫；孔子相当于掌管财务和畜牧业的大臣，每一分权力都能带来利益。于是职位低的人巴结他，职位高的人拉拢他，都想从中分一杯羹。孔子对这种情况是统统予以回绝的。他当了一些人的财路，那些就在季平子耳边说他的坏话。
季平子不得不免去孔子的职务，命他去管理畜牧业，又命阳越代理财务工作。孔子坚持要求对他的工作进行审查，季平子从叔孙婼那借来几位审计人员（季平子不信任自己的家臣），审了半年，结果毛儿也没审出来。
孔子证明了自己的清白，不久便辞职了。
孔子从来没有满足成为一个家臣，他当下的愿望是开办学堂，教导士人遵守周礼，以拯救这个世风日下、物欲横流的堕落社会。
在孔子辞职前的鲁昭公十七年（BC525）秋，郯国君主到曲阜访问，郯国人姓己姓，国家始建于夏代，是个充满了历史神秘感的国家。
鲁昭公设宴款待来宾。席间叔孙婼问郯子：“听说少昊氏以鸟类的名称做为官名，请问是为什么呢？”
郯子是位学识渊博的人，他对本族历史如数家珍，于是说道：“少昊氏是寡人的祖先，那些事我当然知道。从前，黄帝接受天命时天上布满祥云，因此黄帝以云纪事，所有的官职都以云命名。炎帝以火纪事，所以官职都被冠以火字。共工氏以水纪事，太昊以龙纪事。我的祖先少昊即位之时，有凤鸟在天上盘旋不离，于是以鸟纪事。
“其中凤鸟为历正，掌管历法；玄鸟为司分（春分、秋分）；伯赵为司至（夏至、冬至）；青鸟为司启（立春、立夏）；丹鸟为司闭（立秋、立冬）；祝鸠为司徒；鴡鸠为司马；鸤鸠为司空；爽鸠为司寇；鹘鸠为司事。五种鸠为司民官，五种雉尾五工正。但是从颛顼开始，君主就放弃了此种纪事方式，而改为其他名称了。”
在场者大开眼界、无不啧啧称奇。叔孙婼回去将此事告诉了家众，家众中有人与孔子来往密切，于是又告诉了孔子。
孔子大喜，他匆匆忙忙赶到郯子下榻之处，恭敬虚心地向郯子请将关于少昊氏遗风遗俗的各种知识，郯子也非常欣赏眼前这位好学青年，对孔子知无不言、言无不尽。
多年后孔子对学生们说：“我读遍了鲁国的历史典籍也没查到的历史记载，郯君竟然可以脱口而出。所以‘天子失官，学在四夷。’这话果然没错。”