嬰兒塔存在的地方一般都是荒郊野外,據說有人路過的時候能夠聽見嬰兒的哭聲,這種恐怖的氛圍令人毛骨悚然,一刻也不想多待,所以嬰兒塔存在的地方方圓幾里都沒有人敢在這裡居住。這個習俗就算在當時人看來也十分殘忍,並且他們也知道這是背負罪惡的一件事。所以嬰兒塔才會建成像小廟、小塔一樣的造型,塔內還有神像,希望神佛來鎮壓住這些冤魂,淨化人們犯下的罪孽。