Олег родился в городе Джезказган Казахской ССР (ныне Казахстан) в семье Ивана Павловича и Марины Ивановны Янковских. Род Янковских имеет белорусские и польские корни.
Отец актёра, Ян Янковский (позднее закрепилось имя Иван), до революции 1917 года был гвардейским офицером, штабс-капитаном лейб-гвардии Семёновского полка, в Первую мировую войну награждён орденом Святого Георгия. Во время Брусиловского прорыва был тяжело ранен. Служил вместе с Тухачевским, который тоже начинал карьеру в Семёновском полку. В начале 1930-х был арестован, а в 1936 году освобождён. В 1937 году Иван Павлович был снова арестован, — как утверждал сам Олег Янковский, — «погорел» за то, что «был другом Тухачевского». Вскоре освобождён. Во время Великой Отечественной войны работал в тылу — на строительстве в Джезказгане и Ленинабаде. В 1951 году семья перебралась в Саратов, где в 1953 году Иван Павлович скончался (дало знать о себе ранение, полученное в Первую мировую войну). Иван Павлович любил театр, искусство, музыку; Марина Ивановна в юности мечтала стать балериной. У них была большая библиотека, которую собрал отец и сумела сохранить мать.
Когда семья переехала из Джезказгана в Саратов, увлечением сыновей стал театр — старший Ростислав занимался в кружке художественной самодеятельности, средний брат, Николай, — в театральном кружке. Братья обожали спектакли местного ТЮЗа. Ростислав, окончив театральную студию в Ленинабаде, стал работать в местном театре. В 1957 году он перебрался в Минск, где начал играть на сцене Минского русского драматического театра им. М. Горького. Чтобы избавить мать от части материальных забот (в семье остался один кормилец — средний брат Николай), через год Ростислав забрал к себе 14-летнего Олега, который как раз закончил седьмой класс.
В Минске Янковский-младший дебютировал на сцене — нужно было заменить заболевшую травести — исполнительницу эпизодической роли мальчика Эдика в спектакле «Барабанщица» А. Д. Салынского. Олег не ощущал важности своего участия в спектакле — однажды он заснул в гримёрке и не успел к своему выходу.
Олег любил футбол, которым увлёкся, ещё живя в Саратове. Перебравшись в Минск, он играл какое-то время вместе с Эдуардом Малофеевым. Но это увлечение отрицательно отразилось на учёбе, и старший брат запретил Олегу играть в футбол. Марина Ивановна переживала в связи с отъездом сыновей, и как только появилась возможность, Олег вернулся в Саратов, где окончил школу № 67.
После школы Олег собирался поступать в медицинский институт, но случайно увидел объявление о приёме в Саратовское театральное училище. Вспомнив свой минский опыт на сцене, он решил попробовать свои силы. К его разочарованию, приёмные экзамены уже закончились, но Олег решил всё-таки узнать о правилах приёма на следующий год и зашёл в кабинет директора. Тот только спросил фамилию и сказал, что Янковский зачислен и нужно приходить на занятия в начале сентября. Как выяснилось спустя несколько месяцев, брат Олега — Николай — втайне от семьи решил поступать и с успехом прошёл творческий конкурс. Искренне любящий Олега Николай не стал разлучать его со сценой.
Учился Олег не без проблем. Как вспоминал педагог по сценической речи: «Говорил плохо, аппаратом обладал тяжёлым, рот открывал неправильно». Но в роли Тузенбаха в дипломном спектакле «Три сестры» Олег Янковский сумел показать себя многообещающим, интересным актёром, и это развеяло сомнения мастера курса.
На втором курсе училища Олег познакомился с Людмилой Зориной, которая училась на курс старше. Вскоре они поженились. Когда после училища Зорину пригласили в Саратовский драматический театр, она настояла, чтобы Олега тоже взяли туда. После окончания в 1965 году Саратовского театрального училища (педагог — А. С. Быстряков) Олега зачислили в труппу Саратовского театра. Людмила быстро стала звездой театра, на неё ходил смотреть весь Саратов. Олегу же доставались лишь эпизодические роли.
В кино Олег Янковский попал почти случайно. Саратовский театр драмы находился на гастролях во Львове. Олег зашёл в гостиничный ресторан, чтобы пообедать. В этом же ресторане расположился режиссёр Владимир Басов и члены съёмочной группы будущего киноромана «Щит и меч». Они обсуждали, где найти артиста на роль Генриха Шварцкопфа. Жена Басова, Валентина Титова, заметив за соседним столиком Олега, сказала режиссёру: «вот сидит юноша с типичной арийской внешностью». Басов согласился, что молодой человек подошёл бы идеально, но «он, конечно, какой-нибудь физик или филолог. Где найти артиста с таким умным лицом?». Встретив вновь Олега на Мосфильме и узнав, что он актёр, Наталья Терпсихорова, ассистентка Басова, предложила его кандидатуру режиссёру. Она нашла Олега в саратовском театре и пригласила на пробы. Станислава Любшина, который был уже утверждён на роль разведчика Иоганна Вайса (Александра Белова), вызвали подыгрывать молодому артисту. Олег очень волновался. У него совсем не было опыта в кино, а в театре его опыт состоял из крошечных эпизодов. Станислав Любшин рассказывал: "Играем и, как все артисты на кинопробах, играем ужасно. Мне это не страшно, я уже утверждён, а Олег так стал переживать! У нас там стояла белая колонна, мраморная, и он был бледнее, чем эта колонна. Всё трагическое состояние было выражено на его благородном лице. И чем дольше Олег держался за колонну, тем становился краше. Я тогда Басову говорю: «Владимир Павлович, ну посмотрите, как этот парень страдает, как точно вы выбрали артиста». Оператор Паша Лебешев меня поддерживает: «Действительно, он всё интереснее и интереснее делается». И Басов согласился: «Да, с каждой секундой хорошеет, мы его утверждаем»". Так Олег Янковский был приглашён в свой первый фильм.
Труппа театра отправилась после Львова в Ялту, там Олег читал сценарий фильма «Щит и меч». В этом же году он сыграл красноармейца Андрея Некрасова в драме Евгения Карелова «Служили два товарища». Вначале он пробовался на роль поручика Брусенцова, но режиссёр, увидев на пробах Олега, воскликнул: «Этого человека мы Врангелю не отдадим».
Потом были все фильмы со всеми его ролями и все спектакли. Последний раз Олег Янковский вышел на сцену Ленкома в 2009 году…
