Его творческий путь начался с публикации стихов в газете «За автодорожное движение», позже — в журнале «Юность». Печатается как прозаик с 1973 года: рассказы появились в журнале «Аврора». Его рассказы и повести тематически связаны с Дальним Востоком и Сахалином и несут на себе печать национального корейского миросозерцания, быта и фольклора. Сильное развитие в прозе Кима получили традиции русских философов и учения космистов Запада. Первые рассказы Кима привлекали не только экзотичностью материала, глубиной постижения драматически сложившихся судеб героев, но и проникновенным лиризмом, живописностью красок и тонкостью психологического рисунка. Своеобразие творчества Кима критика усматривает в единстве всех его произведений, каждое из которых является как бы завершением предшествующего произведения и началом последующего. Единство текстов служит отражением единства мира, который воссоздает на страницах своих произведений художник. На стилевом уровне художественное своеобразие прозы Кима определяется прежде всего живописностью мира. Критика неоднократно отмечала «восточное» начало в способах художественной выразительности и мировоззрения Кима.
Нашедшие отражение в рассказах и повестях Кима такие качества, как обращенность к натурфилософской проблематике, стремление познать законы единства и единения человека и окружающего его природного мира, подчиненность человеческой природы как земным, так и неземным законам существования, получили свое развитие в романах писателя. Широкая известность пришла к писателю после выхода романа-притчи «Белка» (1984).
В 1979 году писатель принял христианство, а позже написал роман «Онлирия», в котором христианские идеи нашли свое непосредственное отражение.
Произведения Кима переведены на английский, датский, испанский, итальянский, китайский, корейский, немецкий, финский, французский, японский языки.
Анатолий Ким принимал активное участие в издании периодики: газеты «День», журналов «Литературная газета», «Советская литература (на иностранных языках)», «Московский вестник», «Новый мир», «Роман-газета».
С 1996 года писатель является академиком Академии российской словесности и главным редактором журнала «Ясная Поляна».
Анатолий Ким много переводит на русский язык видных казахских писателей. Самые крупные проекты: «Последний долг» Абдижамила Нурпеисова (2000) и новый вариант эпопеи «Путь Абая» Мухтара Ауэзова (2007). В 2003 году Ким перевел на русский язык корейский народный эпос «Сказание о Чхунян».
С конца 2004 года Анатолий Ким жил в Казахстане, хотя часто посещал Россию. Вернулся в Москву в 2012 году и сейчас живет в Переделкино.