Михайло Григорович Ярошевський народився 1915 року в Херсоні. Відразу після закінчення школи він переїхав до Ленінграда, де вступив на факультет російської мови та літератури Ленінградського педагогічного інституту. Закінчив інститут у 1937 році, вступив до аспірантури до С. Л. Рубінштейна. На початку 1938 року він був заарештований, але невдовзі, після того, як був зміщений зі своєї посади нарком внутрішніх справ Єжов, а на цю посаду був призначений Берія, був звільнений.
У першій половині 1940-х років Михайло Ярошевський переїхав із Ленінграда до Москви. Там він був зарахований до незадовго до цього організованого сектора психології в Інституті філософії АН СРСР під керівництвом Рубінштейна і перевівся в аспірантуру в Державному інституті психології. Як співробітник Інституту психології Михайло Ярошевський був у евакуації під час війни у Середній Азії. У 1945 році завершив кандидатську дисертацію «Вчення А.А.Потебні про мову та свідомість». Дисертація отримала схвалення офіційних опонентів А.А.Смирнова та Б.М.Теплова та була успішно захищена.
У 1951 році в Радянському Союзі була розв'язана антисемітська кампанія по боротьбі з «космополітизмом», що спричинило від'їзд Ярошевського з Москви до Таджикистану. У 1960 році він організував кафедру психології в Душанбінському педагогічному інституті та лабораторію експериментальної психології у Таджицькому державному університеті, які очолював до свого від'їзду до Москви у 1965 році.
Після повернення до Москви Михайло Ярошевський почав працювати в Інституті історії природознавства і техніки АН СРСР, де він у 1968 році створив і багато років очолював сектор, що займається психологічними проблемами наукової творчості. У 1990-ті роки його було обрано почесним академіком РАВ (1990) та дійсним членом Нью-Йоркської академії наук (1994). Входив до редколегії серії «Науково-біографічна література» у видавництві «Наука». Протягом багатьох років був членом редколегії журналів «Питання психології», «Питання історії природознавства та техніки» та «Психологічного журналу».
1998 року Михайло Ярошевський емігрував до США. У 2001 році помер у Лос-Анджелесі, Каліфорнія, США. Останнє місце проживання: район Західний Голлівуд (схід від Беверлі-Хіллз) Лос-Анджелеса.
