На всякий пожарный случай (разг. шутл.) — на всякий случай. (Толковый словарь русского языка (1992 г.) Ожегова С.И., Н. Ю. Шведова, "Пожарный")
Пожарный — 2. перен. Экстренный, чрезвычайно спешный (разг. фам. шутл.). Сделать в пожарном порядке. На всякий пожарный случай. (Толковый словарь (1935 – 1940 г.) Д. Н. Ушакова)
Примеры
Стивен Кинг
"Оно" (1986 г.), переводчик Виктор Вебер, ч. 3, гл. 12, 3:
"Уже два года бросив курить, Кей держала пачку «Пэлл Мэлл» в ящике стола на всякий пожарный случай."