С начала ХVIII века в Кёнигсберге существовали приюты и сиротские дома, которые находились на содержании муниципальных властей, церкви и зажиточных
горожан.
В 1838 году старший советник городского управления Кёнигсберга Карл Готтлиб Альбрехт (нем. Karl Gottlieb Albrecht), при поддержке прихода
Альтштадтской кирхи (нем.Altstädtische Kirche) основал приют для бедняков и завещал всё своё состояние на благотворительные цели. Его именем была названа одна из улиц Кёнигсберга Альбрехтштрассе (нем. Albrechtstraße, ныне улица Космонавта Пацаева).
Новое здание приюта в стиле «историзм» было построено в 1890-1900 гг. рядом с кирхой королевы Луизы на Лавскераллее (нем. Lawskerallee/проспект
Победы, адрес до 1945 года – Лавскераллее, 1а).
Средства фонда и содержание приюта, названного в честь Карла Готтлиба Альбрехта (нем. Albrechtstift), находились в ведении прихода кирхи памяти королевы Луизы (нем. Königin-Luise-Gedächtniskirche).
Здание получило повреждения во время боевых действий в 1945 году. В послевоенный период было восстановлено в упрощённых формах. В 1961 году в здании открылся «Дом художника», который размещается здесь и до настоящего времени.
Памятник представлен двумя примыкающими под прямым углом друг к другу объёмами: северо-восточным объёмом и поперечным юго-западным объёмом.
Северо-восточный объём трёхэтажный с цокольным этажом, обращён торцовым северо-западным фасадом к проспекту Победы, имеет одноэтажную пристройку-ризалит на юго-восточном фасаде.
Юго-западный объём двухэтажный с двухэтажной пристройкой на юго-западном фасаде.
Крыша северо-восточного объёма двускатная. Крыша юго-западного объёма плоская с разуклонкой.