Место постройки будущей усадьбы С.М. Рукавишникова долгое время оставалось окраинным. Бровка высокого берега Волги, перерезанная несколькими оврагами, была неудобна для застройки, и сюда выходили лишь заборы владений, расположенных по параллельной улице, получившей наименование Жуковой или Жуковской (ныне улица Минина). Несколько генеральных планов Нижнего Новгорода, высочайше конфирмованных во второй половине XVIII – начале ХIХ веков, не затронули данной территории: вплоть до 1830-х годов откос и склон горы были заняты огородами, банями и службами усадеб, расположенных на Жуковской улице.
Так, в частности, на фиксационном плане города, относящемся к 1792 году, показана незначительная деревянная застройка, располагавшаяся вдоль средневекового вала, без указания ее владельцев. При этом, большая часть исследуемого места оставалась незастроенной. С востока к нему примыкал «двор с огородом» подканцеляриста Ивана Житенина. За валом находилось «каменное с деревянным строением и огородом» место секунд-майора Федора Бухвалова.
С начала 40-х годов XIX века набережная начинает застраиваться каменными зданиями. Вместе с тем, ограничительный режим застройки, предусматривавший здесь строительство только каменных домов и по «лучшим» фасадам, сдерживал формирование «парадного лица» города.
В середине XIX столетия отмечалось, что из «замечательных строений» на Верхней набережной находились корпуса Мартыновской больницы и Мариинского института благородных девиц, строительство которого еще не было окончено, а также несколько частных домовладений.
В числе частных «недурных домов», находящихся в середине XIX века на набережной, был отмечен и дом нижегородского купца 3-й гильдии Серапиона Везломцева. Его домовладение занимало только часть территории усадьбы при выходе Малой Печерской улицы к Откосу (примерно ее половину, обращенную в сторону Волги). В дальнейшем границы домовладения, приобретенного М.Г. Рукавишниковым, не менялись.
Автор проекта особняка Серапиона Везломцева и точное время его возведения не установлены. Можно предположить, что им являлся архитектор Г.И. Кизеветтер, чрезвычайно активно разрабатывавший в 30 - 40-х годах XIX века проекты домов для нижегородских дворян и купечества. Достаточно сказать, что в формулярном списке первого городового архитектора за 1843 год отмечено 236 фасадов, без замечаний утвержденных императором. К особняку Везломцева типологически близок дом В. Арясова на Ильинской улице, проект которого был выполнен Г.И. Кизеветтером в 1838 году.
9 октября 1868 дом на набережной был описан за долги, сына Серапиона Везломцева М.М. Усову. Можно добавить, что в мае следующего года также «с молотка» за долги разным лицам пошли принадлежавшие Я.С. Везломцеву мельницы с различным при них строением в Семеновском уезде на реке Везломе.
Бывшая усадьба Везломцевых была приобретена М.Г. Рукавишниковым с торгов в декабре 1868 года. Согласно окладной книге 1871 года, перешедший к нему каменный двухэтажный дом с надворным строением был оценен в 4000 рублей. При жизни этого домовладельца оценочная сумма усадьбы не менялась.
В 1874 году М.Г. Рукавишников умирает. Архивные источники не позволяют установить точно, к кому из наследников переходит усадьба. Сам процесс передачи всего наследства растягивается до конца 1875 года. В этот же период времени решается вопрос об учреждении опеки над одним из сыновей – Александром Михайловичем Рукавишниковым и его долей наследства «по слабости его характера и болезненному состоянию».
Судя по некоторым архивным материалам, в 1876 году владельцем усадьбы являлся уже единолично Сергей Михайлович Рукавишников. По данным Н.Ф. Филатова, С.М. Рукавишников унаследовал дом в 1875 году. Окладная книга за 1884-1887 годы фиксирует переход домовладения к С.М. Рукавишникову 13 июня 1886 года. Впрочем, ситуация меняется в начале 1890-х годов: очередная окладная книга фиксирует в марте 1891 года переход усадьбы к «Ивану, Сергею, Митрофану и Николаю Михайловичам и Евгении Ивановне Рукавишниковым». Но спустя несколько месяцев, в июле 1891 года, единственным владельцем вновь становится С.М. Рукавишников, остававшийся таковым вплоть до своей смерти в 1914 году.
Проектных чертежей на особняк С.М.Рукавишникова обнаружить не удалось, так же как и какой-либо другой архивной документации, связанной с его перестройкой. Наиболее полную информацию дает дело об оценке недвижимого имущества, датируемое 1880 годом. Определенные сведения содержит одно из дел городской управы, в котором представлено отношение строительного отделения Нижегородского губернского правления по вопросу строительства локомобиля С.М. Рукавишниковым (1876 год). С ним соотносится соответствующий архивный чертеж.
Это единственные документальные источники, проливающие свет на историю этого дома.
Начальные работы по возведению нового здания можно датировать ориентировочно 1875 годом. Именно тогда были уничтожены остатки древнего земляного вала, выходившего на Верхневолжскую набережную в непосредственной близости от усадьбы. В июле 1876 года в усадьбу проводится водопровод, в связи с чем на ее территории строится специальное одноэтажное каменное здание для размещения локомобиля. Это механическое приспособление предназначалось для накачивания воды в новые строения усадьбы. Дата окончания строительства - 1877 год - указана над главным входом в здание.
Литературные источники в качестве автора проекта особняка С.М. Рукавишникова называют московского архитектора Петра Самойловича Бойцова, а отделку его фасадов, насыщенную различными скульптурами, приписывают Михаилу Осиповичу Микешину – автору памятников «Тысячелетие России» в Великом Новгороде, Екатерине II в Санкт-Петербурге, Богдану Хмельницкому в Киеве и др.
Из дальнейшей строительной истории усадьбы дореволюционного периода известно лишь о разрешении на прокладку нового «водопроводного ответвления от городской магистрали в дом Сергея Михайловича Рукавишникова», данном городской управой в июле 1906 года.
Первоначальное внешнее убранство усадьбы сохранилось до настоящего времени почти полностью: исчез лишь художественно выполненный металлический навес над главным входом, опиравшейся на две стойки. Произошло это, вероятно, в годы Великой Отечественной войны, во всяком случае, после 1936 года, когда он еще существовал.(В ходе последней реставрации навес восстановлен).
В советское время усадебный комплекс С.М. Рукавишникова был национализирован. Перемены, прежде всего, коснулись главного здания, в котором разместился губернский музей. Переселение сюда музея состоялось в марте-июне 1918 года. В 1919 году с территории усадьбы выселяют сыновей бывшего владельца – Ивана и Митрофана Рукавишниковых, до того принимавших деятельное участие в работе по реорганизации музея.
Сам усадебный комплекс в 1920-х годах не входил в перечень 46-ти важнейших памятников архитектуры Нижнего Новгорода.
В послевоенное время неоднократно осуществлялись ремонтно-реставрационные мероприятия, касающиеся как всего усадебного комплекса, так и его главного дома, занимаемых Горьковским (Нижегородским) государственным историко-архитектурным музеем-заповедником. В частности, в течение 1980-х годов ежегодно проводились работы по восстановлению скульптурных и архитектурных элементов убранства фасадов и интерьеров здания. По старому образцу были заново сделаны ворота с калиткой, ведущие на территорию усадьбы. При этом полный комплект проектных чертежей не составлялся. Выпущенные тогда отдельные чертежи в составе фонда Горьковской специальной научно-реставрационной производственной мастерской находятся сейчас в Государственном архиве специальной документации Нижегородской области.
Поскольку указанные работы носили локальный характер, а на самом рубеже XX – XXI столетий вообще были прекращены из-за отсутствия финансирования, главный дом усадьбы С.М. Рукавишникова на Верхневолжской набережной, взятый на государственную охрану решением Горьковского облисполкома № 559 от 3 ноября 1983 года как памятник архитектуры областного (по ныне действующему законодательству – регионального) значения, пришел в аварийное состояние. Закончившаяся в 2010 году реставрация вернула к жизни дворец Рукавишниковых – одно из самых замечательных архитектурных сооружений Нижнего Новгорода.
