Dönemin valisi Abdurrahman Paşa tarafından yaptırılan Saat Kulesi, İstanbul’dan dönemin padişahı II. Abdülhamidtarafından Kastamonu’ya gönderilen ‘sürgün’ bir saat aslında. Bu sürgünle ilgili çeşitli rivayetler dolaşıyor.
Rivayete göre; II. Abdülhamid zamanında saat İstanbul’da Sarayburnu’nda bulunurken yanlış gitmesi ve zamansız çalması sarayı kızdırmış, saray tarafından cezalandırılarak Kastamonu’ya sürgün edilmiştir.
Diğer bir rivayete göre de; dönemin padişahının hareminde bulunan gözde bir cariyesinin Sarayburnu’ndaki bu saatin vurma sesi nedeni ile karnındaki çocuğunu düşürmesi sonucu, padişah tarafından Saat Kulesi, Kastamonu’ya sürgün edilmiş.