İyi bir tesadüf eseri olarak ele geçirilen ve bugünkü kütüphane binasının iç kapısı üzerine yerleştirilen bir mermer kitabe Rizemiz de kütüphaneciliğin 115 senelik mazisi olduğunu gösteriyor.
Tatoğlu Abdülkerim adında hamiyetli bir vatandaş tarafından Orta Cami civarında inşa ettirilen binanın bir kısmının fakir ve kimsesizlerin barınacağı ve hatta ölülerinin de yıkanmasına mahsus gasılhane ve bir kısmının da kütüphane olduğu yaşlılarımızdan öğrenilmiştir.115 sene önce yapılan bu binanın ayakta kalan bir duvarında bulunan adı geçen kitabe aynen şu mısraları taşımaktadır.
Tatoğlu bilader maruf a’vam, velakin şöhreti Abdülkerim nam.
Rızayı hak için dinari verdi,muvaffak oldu iş bu hayra girdi.
Bu devr-i cevahil hayr-i bil ataya,aziz etsin iki alemde Mevla.
Bir adem geldi Zühtü dedi Ruşen,kütüphane yapıldı pek müzeyyen.
Gerçi kitabe 1265 tarihini taşımakta ise de ebcet hesabı ile düşürülen tarih beytinin hesaplanmasında binanın 1264 tarihinde yapıldığı anlaşılmakta ve bir yıllık farkın de kitabenin bir sene sonra yazdırılmış olmasından ileri geldiği tahmin edilmiştir.
İkinci bir teşebbüsünün 35 sene sonra yani 1884 tarihinde Ali Kulaçzade Hacı Ahmet Efendi tarafından yapılarak 300 kitaplık bir kütüphanenin halkın hizmetine açılmıştır.
Bu günkü İL HALK KÜTÜPHANESİ 1924 tarihinde ilk Rize Valisi olan ve o zaman mutasarrıf bulunan rahmetli Mehmet Hurşit Bey tarafından Özel İdare bütçesiyle kütüphane binası olarak yaptırılan ( şimdiki Jandarma Alay Komutanlığı binası ) binada MİLLİ KÜTÜPHANE olarak hizmete girmiş ise de kitap mevcudu çok az olduğundan birkaç sene gazete ve mecmua okuma salonu mahiyetinde kalmıştır.Zamanla şehrin münevverleri ve kitap severleri tarafından yapılan teberrular ve temin edilen mahalli ödenek ve imkanlarla satın alınan ve kısmen de Milli Eğitim Bakanlığından gönderilen kitaplarla mevcudu çoğalan kütüphane, halka yararlı olmaya çalışmışsa da esas gayesine erememiştir. 20 ile 25 sene kadar gayri müsait binalarda dolaşan kütüphanenin,lağvedilen halkevinden devr aldığı kitaplarla mevcudu 25 bine yaklaşmış ve fakat okuma masası,sandalye ve dolap gibi malzemeden mahrum bulunmakta idi.
1961 yılında Şehir Kitaplığı Ve Yaşatma Derneği Milli Eğitim Bakanlığına ait arsa üzerinde bugünkü kütüphane binasını yaptırmış ve teslim etmiştir.
1992 yılında yıkılarak 1994 yılında yeniden hizmete açılmıştır.
2014 yılında Kültür ve Turizm Bakanlığı tarafından bakım, onarım ve tadilat yapılarak bu günkü halinde hala hizmet vermeye devam etmektedir.