Родился в Одессе в семье торговца-еврея. Начало века было временем общественных беспорядков и массового исхода евреев из Российской империи. Сам Бабель выжил во время погрома 1905 года (его спрятала христианская семья), а его дед Шойл был одним из 300 убитых евреев.
Чтобы поступить в подготовительный класс одесского коммерческого училища Николая I, Бабель должен был превысить квоту на студентов-евреев (10% в черте оседлости, 5% за её пределами и 3% для обеих столиц), но несмотря на положительные отметки, дававшие право на обучение, место было отдано другому юноше, чьи родители дали взятку руководству училища. За год образования на дому Бабель прошел программу двух классов. Помимо традиционных дисциплин он изучал Талмуд и занимался музыкой. После ещё одной неудачной попытки поступить в одесский университет (вновь из-за квот) он оказался в киевском институте финансов и предпринимательства. Там он встретил свою будущую жену Евгению Гронфейн.
Свободно владея идишем, русским и французским языками, Бабель первые свои произведения писал на французском языке, но они до нас не дошли. Первые рассказы на русском Бабель опубликовал в журнале «Летопись». Затем, по совету М. Горького, «ушёл в люди» и переменил несколько профессий.
В 1920 был бойцом и политработником Конной армии. В 1924 опубликовал ряд рассказов, позднее составивших циклы «Конармия» и «Одесские рассказы». Бабель сумел мастерски передать на русском языке стилистику литературы, созданной на идиш (особенно это заметно в «Одесских рассказах», где местами прямая речь его героев является подстрочным переводом с идиша).
Советская критика тех лет, отдавая должное таланту и значению творчества Бабеля, указывала на «антипатию делу рабочего класса» и упрекала его в «натурализме и апологии стихийного начала и романтизации бандитизма».
В «Одесских рассказах» Бабель в романтическом ключе рисует жизнь еврейских уголовников начала XX века, находя в обиходе воров, налётчиков, а также мастеровых и мелких торговцев экзотические черты и сильные характеры.
В 1928 Бабель опубликовал пьесу «Закат» (поставлена во 2-м МХАТ), в 1935 — пьесу «Мария». Перу Бабеля принадлежит также несколько сценариев. Мастер короткого рассказа, Бабель стремится к лаконизму и точности, сочетая в образах своих персонажей, сюжетных коллизиях и описаниях огромный темперамент с внешним бесстрастием. Цветистый, перегруженный метафорами язык его ранних рассказов в дальнейшем сменяется строгой и сдержанной повествовательной манерой.
В мае 1939 Бабель был арестован по обвинению в «антисоветской заговорщической террористической деятельности» и расстрелян 27 января 1940. В 1954 году посмертно реабилитирован.
Творчество Бабеля оказало огромное влияние на литераторов так называемой «южнорусской школы» (Ильф, Петров, Олеша, Катаев, Паустовский, Светлов, Багрицкий) и получило широкое признание в Советском Союзе, его книги переведены на многие иностранные языки.
