Еще в начале 50-х годов ХХ века ученые Казахстана понимали необходимость развития в республике фундаментальных и прикладных научных исследований в области ядерной физики и использования атомной энергии в народном хозяйстве. Президент Академии наук Казахской ССР, академик Каныш Имантаевич Сатпаев в своем обращении в Совет Министров СССР и ЦК КПСС писал: «Огромное расширение производительных сил Казахстана требует соответствующего усиления науки в Казахстане и в первую очередь внедрения во все звенья промышленности, сельского хозяйства и здравоохранения последних достижений ядерной физики».
Позицию Каныша Имантаевича поддержал Игорь Васильевич Курчатов и многие известные ученые-физики Казахстана. Их предложения были поддержаны Правительствами СССР и Казахской ССР. Президиум Академии наук Казахской ССР издал Постановление №-14/4 от 25 июля 1957 года о создании Института ядерной физики на базе Физико-технического института Академии наук Казахской ССР.
Этим же постановлением исполняющим обязанностей директора Института ядерной физики был утвержден Ж.С.Такибаев. Постановлением Президиума Академии наук Казахской ССР № 49 от 12 июня 1958 года директором назначается Г.Д.Латышев, проработавший в этой должности до 1965 года.
Работа по созданию Института ядерной физики началась с определения его структуры. В Академии наук Казахской ССР были сторонники включения в его состав лабораторий из институтов Отделения биологических наук, Отделения науки о Земле и других отделений. Однако было принято решение, что Институт ядерной физики должен иметь строго физический профиль. В результате в структуру были включены:
✓ сектор физики реакторов, в состав которого вошли: лаборатория нейтронной физики, радиохимическая лаборатория, отдел обслуживания реактора;
✓ сектор физики частиц высоких энергий с лабораториями: частиц высоких энергий, космических лучей;
✓ сектор физики атомного ядра с лабораториями: ядерных реакций, радиоактивных излучений, ядерной спектроскопии, ядерного резонанса и отделом обслуживания циклотрона;
✓ сектор теоретической физики с отделом теоретической физики и вычислительной лабораторией;
✓ сектор технической физики с лабораториями: электроники и автоматики, спектрального анализа, криогенной, экспериментального приборостроения;
✓ сектор прикладной ядерной физики, в составе которого планировалось создание ряда лабораторий: использования методов ядерной физики в медицине, металлургии и горном деле.
По мере развития Института ядерной физики его структура изменялась: секторы были заменены отделами, центрами, открывались новые и преобразовывались старые лаборатории.