Z zamkiem związana jest legenda o zjawie błąkającej się po zamku w ciemne noce. Jest to duch Maćka Borkowica - wojewody poznańskiego, przeciwnika polityki króla Kazimierza Wielkiego. Powołał on konfederacje wymierzoną w króla. Wygnany z kraju po 4 latach powrócił i nadal przeciw niemu spiskował. W końcu został schwytany w Kaliszu i skazany na śmierć głodową w lochach pod główną wieżą zamku olsztyńskiego. Więzień otrzymywał dziennie tylko dzban wody i wiązkę siana. Podobno wytrzymał tak 40 dni a jego jęki i przekleństwa słychać było w całym zamku. Niektórzy twierdzą też że przywiedziony głodem do szaleństwa zaczął kąsać i pożerać własne ciało. Nie potwierdzona plotka mówiła, że tak sroga kara podyktowana była osobistą zemstą króla za tajemne schadzki Borkowica z królową.
dodane na fotoforum: