為了搜羅「黑畫」的行蹤,「四人幫」的幹將還派人去上海調查黃永玉等人在上海大廈畫畫的情況,寫了一篇所謂調查材料。其中有這樣的內容:「黃畫了一張國畫,在一隻鳥的眼圈上有十二個白點,很像國民黨的青天白日旗,當地有人指出這個問題。」「黃在上海專門去找一位老畫家,要了一幅有麻雀的畫,黃要求要畫很多麻雀,這是影射1958年打麻雀運動。」