刘备这时候就想回小沛去。但是半路要经过下邳。刘备就派官吏去吕布那里求和。吕布说：“是陶谦旧部非来请我，把我请进来，力主让我做徐州刺史，我只好顺意自领了。”
“刘备才德有限，愿意把徐州转交吕使君，当初本意也不是要做徐州牧，既然陶谦旧部如此，人心所归，刘备愿意让出徐州。”使者说。
“好啊，刘使君从前是豫州刺史，我安排他照旧回豫州小沛，和我并势拒袁术吧。”
于是，吕布派出了刺史专用级别乘坐的车马，还有刘备的妻子和孩子，以及刘备的部曲，出到泗水上等着刘备。刘备来了，坐上自己级别的马车，带上一新一旧两个媳妇，准备往东走。刘备在车上坐了一会儿，吕布就也过来了。刘备赶紧下来。吕布和刘备执手共话，时时哈哈大笑。旁边乐队班子一起奏乐，很多发髻掉到右耳朵旁的扎着这种堕马髻的伎女围着路边酒桌翩翩起舞，吕布把盏相送刘备，一时宾主欢乐无比。
刘备于是就高高兴兴又失魂落魄地开拔向东去了小沛。
诸将都劝吕布不要放刘备走：“刘备数次反复，是个难养的人，应该早点干掉他。”