Is a feminine looking umbrella בגד אשה?

There is no problem of לא תלבש in regards to an umbrella.

Sources:

ב”ח יו”ד סי קפ”ב ד”ה לא תלבש. וט”ז סק”ד שמותר אם עושה להגן מפני הגשמים. וגם המחמירים כהש”ך והיד קטנה הובא בדרכי תשובה שם סק”ט אינם חולקים אלא בבגד ממש, אבל במטריה לכו”ע לית בי’ חששא. וכן פסק בשו”ת שבה”ל ח”ב סס”א להקל במטריה. רבבות אפרים ח”ז סי רמ”ח. וראה בינת אדם כלל צ’ סקצ”ד הדן לגבי מקל ולהניף בנופף מפני החמה. וראה בדרכ”ת שם סק”י. וראה שו”ת קנין תורה ח”א סי’ ס”ח ועוד.