তাঁর ইন্তেকাল হয় তুস নগরে, সোমবার, ১৪ই জমাদিউল আখিরা, ৫০৫ হিজরি সনে; সে সময় তাঁর বয়স ছিল পঞ্চান্ন বছর।
আবুল ফারাজ ইবনুল জাওজি তাঁর ‘আস-সাবাত ইনদাল মামাত’ গ্রন্থে উল্লেখ করেছেন: "ইমাম গাজালির ভাই আহমদ বলেছেন: যখন সোমবার সুবহে সাদেকের সময় হলো, আমার ভাই আবু হামিদ অজু করলেন এবং নামাজ আদায় করলেন। এরপর তিনি বললেন: ‘আমার কাফনটি দাও।’ তিনি সেটি নিলেন এবং তাতে চুমু খেলেন, তা নিজের চোখের ওপর রাখলেন এবং বললেন: ‘মালিকের (মহান প্রভুর) দরবারে উপস্থিত হওয়ার জন্য আমি পূর্ণ শ্রবণ ও আনুগত্যের সাথে প্রস্তুত।’ অতঃপর তিনি তাঁর পা প্রসারিত করলেন এবং কিবলার দিকে মুখ করলেন। ঊষার আলোকচ্ছটা ছড়িয়ে পড়ার আগেই তিনি ইন্তেকাল করেন। আল্লাহ তাঁর আত্মাকে পবিত্র করুন।"
প্রসিদ্ধ সাহিত্যিক ও কবি আবু আল-মুজাফফর মুহাম্মদ আল-আবিওয়ার্দি তাঁর মৃত্যুতে একটি শোকগাথা রচনা করেছেন, যার পঙক্তিগুলোর মধ্যে রয়েছে:
তিনি বিদায় নিয়েছেন, আর যাঁকে হারিয়ে আমি সর্বাধিক শোকার্ত হয়েছি—তাঁর স্থলাভিষিক্ত হওয়ার মতো দ্বিতীয় কেউ মানুষের মাঝে অবশিষ্ট নেই। …
ইমাম ইসমাইল আল-হাকিমি তাঁর ইন্তেকালের পর আবু তাম্মামের একটি বিখ্যাত কাসিদার পঙক্তি উদ্ধৃত করেন:
তাঁর মৃত্যুর পর আমার ধৈর্যের কথা চিন্তা করে আমি নিজেই আশ্চর্য হই, অথচ ইতিপূর্বে কেবল তাঁর অদর্শনেও আমি রক্তাশ্রু বিসর্জন দিতাম। …
আসলে এই দিনগুলো সবই এখন আশ্চর্যের বিষয়ে পরিণত হয়েছে, এমনকি এতে এখন আর নতুন করে আশ্চর্য হওয়ার মতো কিছু অবশিষ্ট নেই। …
ইমাম গাজালি (রহিমাহুল্লাহ) তাবরানের বহির্ভাগে সমাহিত হন, যা তুস নগরের প্রধান কেন্দ্র ছিল। আল্লাহ তাআলা তাঁর ওপর রহমত বর্ষণ করুন।