לפני פטירתו הדפיס הרב גינזבורג מכתב אישי, נוקב ומעורר, ובו הוא שב וקורא לעסוק ב'עבודה שבלב'. למעשה זהו מכתבו האחרון, ובו ביטא את עצמיותו: להשתפך לפני השם