ইলা মিত্র ১৯২৫ সালের ১৮ অক্টোবর কলকাতায় জন্মগ্রহণ করেন। জন্মের সময় ইলা মিত্র ছিলেন ইলা সেন। তার বাবা নগেন্দ্রনাথ সেন ছিলেন বৃটিশ সরকারের অধীন বাংলার একাউন্টেন্ট জেনারেল। তাদের আদি নিবাস ছিল তৎকালীন যশোরের ঝিনাইদহের বাগুটিয়া গ্রামে। বাবার চাকুরির সুবাদে তারা সবাই কলকাতায় থাকতেন। এ শহরেই তিনি বেড়ে ওঠেন, লেখাপড়া করেন কলকাতার বেথুন স্কুল ও বেথুন কলেজে। এই কলেজ থেকে তিনি ১৯৪৪ সালে স্নাতক শ্রেণিতে বি.এ ডিগ্রি অর্জন করেন। পরে ১৯৫৮ সালে তিনি কলকাতা বিশ্ববিদ্যালয় থেকে বাংলা সাহিত্য ও সংস্কৃতি বিষয়ে এম এ ডিগ্রি লাভ করেন। কৈশোরে তিনি খেলাধুলায় তুখোড় ছিলেন। ১৯৩৫ থেকে ১৯৩৮ সাল পর্যন্ত তিনি ছিলেন রাজ্য জুনিয়র এ্যাথলেটিক চ্যাম্পিয়ন। সাঁতার, বাস্কেটবল ও ব্যাডমিন্টন খেলায়ও তিনি ছিলেন পারদর্শী। তিনিই প্রথম বাঙালি মেয়ে যিনি ১৯৪০ সালে জাপানে অনুষ্ঠিত অলিম্পিকের জন্য নির্বাচিত হন। দ্বিতীয় বিশ্বযুদ্ধের কারণে অলিম্পিক বাতিল হয়ে যাওয়ায় তার অংশগ্রহণ করা হয়নি। খেলাধুলা ছাড়াও গান, অভিনয়সহ বিভিন্ন সাংস্কৃতিক কর্মকাণ্ডেও তিনি ছিলেন সমান পারদর্শী।