نفسه ثم يعاد إليه دون رغبته، إلى أن أخلص في الإقلاع عنه عقب صرفه في جمادي الثانية سنة 852 هـ.
رحلاته:
1 - الرحلة الأولى: وكانت إلى مكة في سنة 785 هـ وعمره 12 سنة. مع وصيه الخروبي إلى مكة وجاور بها. وسمع صحيح البخاري على العفيف النشاوري. وصلى في المسجد الحرام صلاة التراويح إماما بالمسلمين وكان ذلك دليلا على نبوغه المبكر وأهليته على الصدارة في كل موطن وهو لا يزال صبيا وعاد في سنة 786 هـ.
1 - الرحلة الثانية: وكانت إلى صعيد مصر في سنة 793 هـ فرحل إلى قوص وغيرها وسمع من علمائها.
2 - الرحلة الثالثة: كانت إلى الإسكندرية في سنة 797 هـ وكان عمره وقتها 24 سنة فالتقى بجماعة من المحدثين والمسندين مثل شمس الدين الجزري، وابن الفراط. ومكث بها عدة أشهر ثم قفل عائدا.
3 - الرحلة الرابعة: في سنة 799 هـ. وكان عمره 26 سنة رحل إلى اليمن وهي خرجته الأولى لها وفي طريقه إليها التقى بالرضي الزبيدي، والصلاح الأقفهسي، والنجم المرجاني فسمع منهم. وفي اليمن دعاه الملك الأشرف إسماعيل بن عباس. وأحسن إليه وأكرمه. وتنقل بين مدن اليمن فسمع من علمائها مثل ابن الخياط الشافعي. ففي زبيد التقى بكل من ابن عبد الصمد الجيرتي، وأحمد بن أبي بكر الناشري، والشريف ابن المقرئ. وفي عدن لقي الرضي بن المستأذن فسمع ابن حجر منه وأسمعه.
4 - الرحلة الخامسة: رجع فيها من اليمن إلى مكة للمرة الثانية ليحج حجة الإسلام. وكان ذلك في سنة 800 هـ. وكان عمره 27 سنة.
5 - الرحلة السادسة: وكانت في سنة 802 هـ. وقد أتم 30 سنة. فقصد بلاد الشام والتقى هناك بعلمائها ومسنديها فأخذ عنهم. ومكث بدمشق مائة يوم سمع فيها نحو ألف جزء حديثي. كما دخل حماه وحمص وحلب.