自从曹操退兵以后，刘备便在小沛住了下来。要说刘备为啥要住在小沛呢？首先，刘备已经是豫州刺史了，当然要住在豫州；第二，这里离徐州彭城很近，能与陶谦守望相助；第三，小沛豫州、徐州、兖州交界之处，距离徐州、兖州边界均不足五十里，地理位置优越，向南能掌控豫州，向西能威胁兖州，向东自然利于入主徐州。而陶谦同意让刘备住在小沛，一则是二人可以互为犄角抵御曹操，二则是希望刘备作为徐州的外围防线。
刘备一边在小沛厉兵秣马、招揽人才，准备大展拳脚，成就一番事业，一边盘算着如何在兖州、豫州、徐州这块土地上分上一大块儿蛋糕。运气来了挡都挡不住，今年秋天曹操刚打完徐州回去，本就垂垂老矣的陶恭祖连吓带病，终于一命呜呼了。都说知子莫如父，这陶谦对自己的儿子太了解了，就算没有和曹操结仇，他们也守不住徐州的基业，更何况此时徐州已经乱成了一锅粥。与其让儿子继承个烂摊子，将来被人杀死，不如做个顺水人情，让别人来保护自己的儿子。于是，陶谦在临死之前对别驾糜竺说：“要想使徐州安定，只有刘备一人能做到。”
陶谦这边刚死，糜竺便带着州里大大小小的官吏来到了小沛，请刘备入主徐州，主持大局。要说刘备想不想拥有一州之地，当然想太像啦，可是刘备沉吟片刻，婉拒了，没敢当时就答应。毕竟自己初来乍到，人生地不熟，不知道这些人是真心拥戴自己做首领呢，还是想把他架空做个傀儡呢？另一方面，自己手里资本太薄了，不敢满口答应。于是便对众人道：“备初来乍到，对徐州未有尺寸之功，怎敢居于高位。且陶公有二子，理应继承州牧之位。”
糜竺就不同意了，反驳道：“陶公生前就说过，两个儿子都不能守住基业，唯有刘使君能安定徐州。且州牧并非爵位，哪儿有父子相继的？”
刘备继续推辞说：“袁公路就在寿春，离徐州近在咫尺，并且此人四世五公，海内无不归心，可以让他来接受徐州呀。”这里出来一个词，四世五公，大家都知道，老罗说过袁绍是四世三公，这里怎么又来个五公，啥意思？原来是说这袁家祖上，连着四代都在朝廷中担任“三公”的职务，地位显赫。袁术和袁绍的高祖父袁安在汉章帝时期当过司徒，曾祖父袁敞做过司空，祖父袁汤做过太尉，父亲袁逢做过司空，叔父袁隗做过司徒。所以说，四世三公是说四代人担任过三公的职务，四世五公是说四代人中有五个做过三公，都是一个意思。
典农校尉广陵人陈登陈元龙站出来说：“袁公路骄奢淫逸，不是能够平定乱世的人，现在，我们徐州给使君准备了十万大军，往远了说，可以匡扶汉室，救世济民，成就齐桓晋文一样的五霸之业；往近了说，至少也可以称霸一方，作为一方诸侯，以后名扬史册。今天这事，你听也得听，不听也得听。你可以不听我们的，我们就一定会听你的吗 ”
这时候北海相孔融又出来凑热闹了，曹操都走了，陶谦也死了，他咋还没走呢？不管了，先看他说些啥。只见这孔文举摇头晃脑、引经据典开导刘备：“玄德呀，怎么净说胡话，那袁公路是个什么玩意儿，那家伙是忧国忧民、为国忘家的人吗？依我看，不过是冢中枯骨而已，提他干啥？今天这事，是徐州老百姓选择了你，你做徐州牧是要替徐州百姓办事的，而不是让你为了一人名利而做这个位置。过了这个村可就没有这个店了，上天给你你不要，以后可就追悔莫及了。”
也不知道是因为陈登来硬的，刘备无法拒绝，还是因为孔融说的太有道理了，刘备要为站出来为徐州百姓办事，或者刘备觉得大家都说的差不多了，台阶也够了，要是再拒绝就显得矫情了。反正，结果就是，刘备答应了，正式入主徐州，成了徐州的老大。
刘备既然成了徐州牧，那就要站出来说话了，首先招募贤良，征辟北海人孙乾孙公佑为从事，同时，笼络泰山臧霸等人。
这孙乾说起来跟刘备还有那么一点儿渊源，当初刘备拜卢植为师，而卢植又和郑玄是师出同门，而孙乾又是郑玄推荐出来的，相当于有师生之谊。所以，刘备很是信任孙乾，经常派他出去做使者，联络工作，待遇仅次于糜竺，与简雍同等。
臧霸字宣高，泰山人。他老爸臧戒年轻时候在县里做刑狱方面工作，太守想私下里杀人，臧戒说根据刑法规定不可以杀。太守大怒，就派人将臧戒收押起来送到郡守府处置。当时臧霸十八岁，正式热血上头的年龄，带领数十名伙伴，在半路上将老爹救了出来，逃亡到东海郡。后来黄巾贼叛乱，臧霸跟随陶谦四处征战，被封为骑都尉。等有了资本，臧霸便处于半独立状态，听调不听宣，和孙观、尹礼、吴敦等人屯兵开阳。
刘备刚做了徐州牧，消息一传出去，立即惹恼了一个人，便是之前提到的袁术，袁公路。袁术年少时便是飞鹰走狗的纨绔子弟，长大后更是仗着家世显赫，目中无人，总认为自己是天下最尊贵的人，天下人都应该以自己为中心，世间一切都应该归自己所有；同时又瞧不起天下所有人。这家伙自大到真么程度呢，看到各路英雄豪杰都归顺袁绍而不跟从自己，竟然说：“这些瞎眼的家伙，跟从我家的奴仆而不跟随我。”还跟公孙瓒写信说袁绍不是袁家后人。听说有谶书中讲：“代汉者当涂高”，就认为应在自己身上，说自己有天子名，当取代汉朝。关于谶语，袁术是这么理解的：涂，通途，指道路，而他的名字术正好有路的意思，他的字又是公路（幸好当时没有铁路、飞机跑道，不然不知道他还有什么样的字，哈哈哈），正好应了谶语。后来果然称帝，当然，结局也是悲惨的。
依袁术这妄自尊大的性格，一听说刘备占了徐州，立即火冒三丈，他刘备一个织席贩履之徒，竟然占据大州，妄称诸侯，就凭他也配？于是，不管三七二十一，发兵征讨刘备，徐州是我的！