Інститут утворено відповідно до Постанови Президії Академії наук Союзу РСР від 09.08.1957 № 607 як Інститут неорганічної хімії Сибірського відділення АН СРСР. У 2002 р Інституту присвоєно ім'я академіка О.В. Миколаєва, і Інститут перейменований в Інститут неорганічної хімії ім. А.В. Миколаєва Сибірського відділення Російської академії наук постановою Президії РАН від 26.03.2002 № 86. Постановою Президії РАН від 18.12.2007 № 274 Інститут перейменований в Установа Російської академії наук Інститут неорганічної хімії ім. А.В. Миколаєва Сибірського відділення РАН. Постановою Президії РАН від 13.12.2011 № 262 тип і найменування Інституту змінені на Федеральне державне бюджетна установа науки Інститут неорганічної хімії ім. А.В. Миколаєва Сибірського відділення Російської академії наук. Відповідно до Федерального закону від 27 вересня 2013 р № 253-ФЗ «Про Російської академії наук, реорганізації державних академій наук і внесення змін в окремі законодавчі акти Російської Федерації» і розпорядженням Уряду Російської Федерації від 30 грудня 2013 р № 2591-р інститут переданий у відання Федерального агентства наукових організацій (Фано Росії).
Першим директором Інституту був призначений доктор хімічних наук Анатолій Васильович Миколаїв (Постанова Президії АН СРСР від 09.08.1957 № 607). 1957-1960 рр. були роками організації та становлення Інституту. Він не мав ні своїх приміщень, ні повного штату. В основному велася організаційна робота: комплектування та підготовка кадрів, проектування будівництва, забезпечення майбутніх виробничих приміщень обладнанням тощо Інститут працював на виробничих площах родинних НДІ і підприємств в Москві, Ленінграді, Ярославлі. У Новосибірську лабораторії Інституту розміщувалися в чотирьох приміщеннях інших установ і служб СО АН СРСР і на трьох підприємствах міста. Навіть в таких важких умовах Інститут вів наукові дослідження відповідно до його завданнями та можливостями.
При організації інституту були залучені перспективні молоді науковці з різних наукових організацій нашої країни: Інститут загальної та неорганічної хімії ім. Курнакова (Москва) ; Московський державний університет ім. М.В. Ломоносова ; Ленінградський державний університет ім. А.А. Жданова ; Московський хіміко-технологічний інститут ім. Д.І. Менделєєва ; Ленінградський хіміко-технологічний інститут ім. Ленсовета ; Горьковський державний університет ім. Лобачевського .
У 1962 р Інститут отримав власне приміщення. До цього часу визначилися три основних наукових напрямки, в яких йшли дослідження: 1) структура кристалів і хімічний зв'язок, 2) хімія комплексних сполук, 3) хімія лантанідів і актинидов.
У 1964 р список основних наукових напрямків розширився, їх стало п'ять: 1) синтез речовин, важливих для нової техніки (електроніка, ядерна енергетика та ін.); 2) вивчення кристалічної структури і теорії хімічного зв'язку; 3) вивчення хімії елементів, важливих для нової техніки; 4) отримання речовин в стані особливої чистоти; 5) поділ трудноразделімих природних композицій елементів (рідкоземельні елементи, кольорові і благородні метали і ін.).
У 1970 р Постановою Президії АН СРСР № 822 наукові напрямки Інституту були визначені в такий спосіб: 1) екстракційне і ионообменное поділ і очищення неорганічних речовин; 2) синтез неорганічних речовин, важливих для нової техніки, і отримання їх в особливо чисті стані; 3) хімія координаційних сполук перехідних металів; 4) хімія напівпровідників; 5) хімія рідкоземельних елементів і актинидов; 6) вивчення структури кристалів і хімічного зв'язку в них; 7) вивчення розчинів електролітів в екстремальних умовах.
Директор Інституту д.х.н., професор Анатолій Васильович Миколаїв був обраний в 1958 році членом-кореспондентом АН СРСР, а в 1966 році - дійсним членом АН СРСР. Їм були закладені роботи за сучасними фізичними методами дослідження будови речовин, з проблем поділу, очищення та аналітичного контролю речовин на основі фізико-хімічного аналізу, по синтезу нових складних, практично важливих дзвінків. На посаді директора академік А.В. Миколаїв працював до кінця свого життя.
З 1980 року по 1983 рік директором Інституту був д.х.н., професор Сергій Павлович Губін. За його ініціативи стали проводитися широкі і всебічні дослідження кластерних сполук металів.
З 1983 року по 2005 рік інститут очолював академік Федір Андрійович Кузнецов , Який не тільки сприяв піднесенню на новий щабель розвинених напрямків, але активно брав участь в становленні робіт на електронну матеріалознавства і хімічної інформатики.
На даний момент ІНХ СО РАН склався як багатопрофільний інститут, активно бере участь у вирішенні проблем сучасної неорганічної хімії. Директором Інституту є чл.-к. РАН Володимир Петрович Федін - відомий фахівець в області координаційної хімії перехідних металів, хімії кластерних сполук і супрамолекулярної хімії.