Здание дома-музея Альбрехта Дюрера было построено около 1420 года. Сохранился письменный договор о покупке этого дома Дюрером в 1509 году за 275 гульденов. Художник переселился сюда со своей супругой Агнес, многочисленными учениками, подмастерьями, слугами и прожил в этом доме 20 лет до своей смерти в 1528 году, создав в нем многие свои известные картины и гравюры.
После смерти художника дом 24 раза менял владельцев, однако в Нюрнберге его неизменно называли Dürerhaus, домом Дюрера. В 1826 году к 300-й годовщине смерти художника здание было выкуплено городом Нюрнберг, в нем была оформлена мемориальная комната Дюрера. В 1871 году к 400-й годовщине рождения мастера здание было передано «Обществу дома Альбрехта Дюрера» (Albrecht-Dürer-Haus-Verein), которое с тех пор и до настоящего времени занимается организацией работы музея Альбрехта Дюрера.
В настоящее время четырехэтажный Дюрерхаус имеет первые 2 этажа кирпичных, верхняя часть — фахверк. Естественно за почти шести вековую историю дом многократно перестраивался, так эркер фронтона в 1898 году был перенесен с другого здания, во времена Дюрера на его месте было окно со стрелой и блоком для подъема припасов.
В конце II Мировой войны, когда старый центр Нюрнберга был почти полностью разрушен, дом-музей Дюрера удивительным образом почти не пострадал. Он открылся для посетителей уже в 1949 году, задолго до главных церквей и ратуши Нюрнберга.