родился в Харькове в семье служащих авиационного завода. В годы Великой Отечественной войны, в эвакуации в Перми, вплоть до 1945 года работал слесарем на том же заводе.
С детства увлечённый театром, Эфрос в 1943 году поступил в актёрскую студию Ю. А. Завадского при Театре им. Моссовета, находившемся в то время в эвкуации; в 1944 году поступил на режиссёрский факультет ГИТИСа, который окончил в 1950 году (мастерская Н. В. Петрова и М. О. Кнебель).
Первой самостоятельной постановкой стал спектакль «Прага остаётся моей» в Центральном доме культуры железнодорожников в 1951 году. На профессиональной сцене дебютировал в том же году спектаклем «Приезжайте в Звонковое» по пьесе А. Корнейчука в Московском областном драматическом театре им. Островского.
В 1951—1953 годах Анатолий Эфрос набирался опыта в Рязанском драматическом театре. В 1954 году он был направлен в качестве режиссёра-постановщика в Центральный детский театр, где встретился со своим институтским педагогом — уволенной из МХАТа Марией Кнебель, годом позже возглавившей театр, и вместе с ней в считанные годы сумел превратить забытый зрителями ЦДТ в один из самых интересных и популярных театров столицы. Хотя репертуар ЦДТ как таковой был ориентирован прежде всего на подростковую аудиторию («В добрый час» и «В поисках радости» В. Розова, «Друг мой, Колька» А. Хмелика и др.), при Эфросе он перестал быть исключительно детским.
В ЦДТ Эфрос ставил почти всё, что писал в те годы Виктор Розов, и эти пьесы, как пишет А. Смелянский, позволили ему «начать свой „неравный бой“ с помпезным, липовым, мертвым искусством, которое его окружало». Он был убеждённым сторонником К. С. Станиславского, немодного в те годы в театральных кругах, и в середине 50-х опубликовал статью «Бедный Станиславский!», в которой резко критиковал Николая Охлопкова и Бориса Равенских за фальшивую театральщину и тягу к «представлению». Для самого же Эфроса в неоднородном наследии Станиславского наиболее актуальным оказалось то, что сам реформатор называл «линией интуиции и чувства».
В Центральном детском начинали свою карьеру Олег Ефремов и приглашённые Эфросом молодые актёры Олег Табаков и Лев Дуров, и здесь, по словам А. Смелянского, в середине 50-х, ещё до прихода Товстоногова в БДТ и создания «Современника», началось возрождение российского театра.
