Инициатор и создатель Алтайского ботанического сада – старший научный сотрудник Семипалатинской областной опытной станции Петр Александрович Ермаков. В 1933 году руководимая им экспедиция Всесоюзного института кормов исследовала флору на востоке Казахстана. Вернувшись из экспедиции, П.А. Ермаков в 1934 году пишет служебную записку академику Б.А. Келлеру, где ссылаясь на флористическое богатство края, обосновывает необходимость создания ботанического сада в регионе. Идею поддержали крупные ученые страны, местные партийные и советские органы. Эта инициатива была одобрена Казахским филиалом АН СССР. Ушло два года на организационные хлопоты. Участок земли под ботанический сад был отведен постановлением Горсовета города Риддера от 9 декабря 1935 года. Этот день и считается днем основания Алтайского ботанического сада.
По запискам П.А. Ермакова, хранящимся в местном архиве, Горсовет г. Риддер весьма благожелательно отнесся к организации сада. Наряду с земельным участком из госбюджета города было выделено 10 тысяч рублей и отданы пять пустующих кулацких домов в селе Поперечное.
В состав земельного участка сада вошли: пашня – 23,16 га, выгон каменистый – 25,32 га, выгон с кустарниками – 28,13 га, территория с лесом – 1,37 га и неудобные земли 2,64 га. Всего – 80,62 га. В январе 1937 года постановлением Риддерского городского совета по северо-восточным и юго-восточным границам произведено увеличение землепользования на 98,66 га. К этому периоду общая площадь сада составила 179,28 га.
Постановлением Совета народных комиссаров и Центрального комитета КП (б) Казахстана от 2 июня 1943 года № 174/б «О плане научно-исследовательских работ Казахского ФАН СССР на 1943 год» и постановлением Президиума Казахского ФАН СССР от 24 июня 1943 года был организован почвенно-ботанический институт. В ее состав вошел и Алтайский ботанический сад на самостоятельном балансе.
Постановлением Совета народных комиссаров Казахской ССР от 6 декабря 1944 года № 689 «О структуре Каз. ФАН ССР на 1945 год» была утверждена структура Казахского ФАН СССР на 1945 год и штатные расписания Институтов Казахского ФАН СССР. Алтайский ботанический сад был передан Институту ботаники.
Постановлением общего собрания Академии наук Казахской ССР от 27 января 1965 года №5 «Об организации Главного ботанического сада Академии наук Казахской ССР» на базе Алма-Атинского ботанического сада и Института ботаники был организован Главный ботанический сад Академии наук Казахской ССР на правах научно-исследовательского института. Алтайский ботанический сад был передан в подчинение Главному ботаническому саду города Алма-Аты и переименован в Алтайский филиал Главного ботанического сада АН Казахской ССР.
После образования независимого Казахстана статус ботанического сада менялся и несколько раз преобразовывался.
Постановлением Президиума НАН РК от 5 мая 1995 года № 38 «О преобразовании Институтов Национальной академии РК» Институт ботаники и Главный ботанический сад были преобразованы в Институт ботаники и фитоинтродукции. Алтайский ботанический сад был введен в структуру Института ботаники и фитоинтродукции на правах отдела.
Приказом Министерства образования и Академии наук от 26.01.1999 г. №13 и приказом Министерства науки и Высшего образования от 18.02.1999 г. ботанический сад переименован в Республиканское государственное казенное предприятие «Алтайский ботанический сад» Министерства науки и Высшего образования.
Постановлением Правительства Республики Казахстан от 5 июля 2000 года № 1018, приказом Министерства образования и науки от 2 августа 2000 г. № 807 РГКП «Алтайский ботанический сад» преобразован в филиал.
21 марта 2006 года постановлением Правительства Республики Казахстан № 195 создано Дочернее государственное предприятие на праве хозяйственного ведения «Алтайский ботанический сад».
В соответствии с постановлением Правительства Республики Казахстан от 1 марта 2010 года № 151 «О некоторых вопросах республиканских государственных предприятий Комитета науки Министерства образования и науки Республики Казахстан» создано Республиканское государственное предприятие на праве хозяйственного ведения «Алтайский ботанический сад» Комитета науки Министерства образования и науки Республики Казахстан.
