Is it okay to have a picture of a rainbow in a Parsha book, teaching Parshas Noach, the Mabul and the rainbow?

There is no problem.

Sources:

מקורות: אפי׳ בבבואה של הקשת נסתפקו, ויש שהחמירו – רוח חיים פלאגי או״ח רכט, ב. ילקוט הגרשוני שם. שו״ת בצה״ח ב, יח, ד. אבל בתמונה לית לן בה. ופוק חזי מאי עמא דבר.