Под забором (родиться, жить, умереть) (значение фразеологизма) — бедняк, человек без жилья, неудачник.
Видимо забор применяется здесь как символ собственного жилья. Человек под забором — человек без своего угла, живущий на улице.
Примеры
Паустовский Константин Георгиевич (1892 – 1968)
Далекие годы (Книга о жизни) (1946 г.) — автор пишет про период начала 20 века:
"Это мое свойство пугало маму. Она боялась моих "фантазий" и говорила, что таких мальчиков, как я, ждет нищета и смерть под забором. Это мрачное предсказание "ты умрешь под забором" было очень распространено в то время. Почему-то смерть под забором считалась особенно позорной."