Від самого початку будівництва й донині про «замок» ходить величезна кількість легенд і переказів, які оточують його певним містичним ореолом.
Історія будівлі починається з крадіжки архітектурних креслень. У 1902 році промисловець Дмитро Орлов викупив землю та почав зводити будинок у стилі англійської готики. Через проблеми та складність будівництва забудовник був вимушений позичити близько 60 тисяч карбованців. Креслення були скопійовані з опублікованих у журналі «Строитель» проектів будинку з Санкт-Петербурга, який Міністерство внутрішніх справ планувало побудувати на Аптекарському острові.
Будинок зводився як прибутковий і мав принести власнику чималу суму грошей. Утім, 24 березня 1904 року на будівництві сталася пожежа. Ліквідація її наслідків відтягнула час: поліція раптом виявила, що спорудження ведеться без дозволу міської влади. Усе це призвело до того, що остаточно будівництво завершилося лише у 1905 році. У народі ж поширювалися чутки про втручання «нечистої сили» та завивання і скрипи в кімнатах, від яких мешканцям будинку ставало моторошно. Так дім набув репутації «будинку з привидами». Незважаючи на це, у замку оселилися відомі українські митці Фотій Красицький, Григорій Дядченко, Іван Макушенко, скульптори Федір Балавенський та Федір Соколов, а також професор-історик Духовної академії Степан Голубєв.
Щодо назви, то вважається, що вперше «замком Річарда» на честь короля Річарда Левове Серце будинок назвав відомий київський письменник Віктор Некрасов у своєму романі 1955 року. Та насправді ангелом-охоронцем замку був його мешканець, колишній польський улан-авантюрист Річард Юревич в квартирі якого збиралися дисиденти та творча молодь.
Незважаючи на свою нелегальну появу та містичний ореол, «замок Річарда» став яскравою перлиною в архітектурному обрисі Андріївського узвозу.