Do 1785 roku budynek został wybudowany, ale gdy caryca przyjechała do pałacu, nie była zadowolona. „To więzienie, a nie pałac!” – powiedziała po obejrzeniu.

Katarzynę II oburzyła też obfitość masońskich symboli, użytych jako elementy dekoracyjne. Architekt został zwolniony. Kontynuację budowy powierzono architektowi M. Kazakowowi, który zaczął całkowicie przebudowywać pałac.