Telpās Barona ielas trešajā un piektajā namā grāmatu vai citu radniecīgu kultūrpreču tirdzniecība norit jau kopš nama uzcelšanas laika, kad turp savu grāmatu veikalu pārceļ Dāvids Golts.
Latviešu grāmatniecības leģenda Jānis Roze uz Rīgu pārnāk 1912. gadā. Sākumā grāmatu iespiešanas un tirgošanas jomā darbojas kopā ar draugiem, bet jau visai drīz sāk veidot pats savu uzņēmumu, un 1923. gadā Jāņa Rozes grāmatu izdevniecība, zīmogu darbnīca un rakstāmlietu un grāmatu veikals ir nostiprinājušies un paplašinājušies tiktāl, ka grāmatnieks atpērk no Golta veikalu, kas atrodas līdzās tam, ko Roze iznomājis kaimiņu ēkā, un izveido veikalu "J. Roze, grāmatas un rakstāmlietas", zina stāstīt izdevniecības pārstāvji.
Lielāku ievērību divdesmitajos un trīsdesmitajos gados Jānis Roze guvis ar izdevēja darbību, kas ieņem sevišķu vietu tā laika kultūras procesā. Tomēr arī viņa grāmatu tirgotava bija tiem laikiem pietiekami moderns uzņēmums, kurā tika izvirzītas gan augstas prasības pret sortimentu un apkalpojošo personālu, gan domāts par pienācīgu reklāmu un grāmatu un lasīšanas popularizēšanu. "Jāatceras, ka visus latviešu literatūrai un kultūrai tik būtiskos izdevumus Roze varējis iespiest un nodrošināt, tikai pateicoties veikala un spiestuves veiksmīgajai darbībai. Grāmatnīca Kr. Barona ielas sākumposmā neapšaubāmi ieņēma cienīgu vietu divdesmito un trīsdesmito gadu Rīgas kultūrģeogrāfiskajā kartē," atzīmēja grāmatnīcas pārstāvji.
Diemžēl četrdesmito gadu sākuma pārmaiņas Rozes uzņēmumam tāpat kā visai Latvijas grāmatniecībai izrādījās ne pārāk labvēlīgas. Pēc uzņēmuma nacionalizācijas kultūras darbinieks Jānis Roze nonāk Sibīrijā, kur 1942. gadā mirst. Tā dēvētajā vācu laikā, kad lielākajai daļai bijušo latviešu apgādu ļauts atjaunot savu darbību, arī Rozes dēli nedaudz turpina tēva uzsākto, un grāmatnīca joprojām atrodas vecajā vietā. Pēc nākamajiem vēstures griežiem agrākajā Rozes grāmatnīcā sāk darbu viens no GTU "Dzintars" veikaliem.
Astoņdesmito gadu otrajā pusē valdošās brīvības vēsmas grāmatnīca izmanto, lai ar plašu sabiedrības atbalstu atgūtu vēsturisko nosaukumu. 1988. gada 30. novembrī, Jāņa Rozes simt desmitajā dzimšanas dienā, pie veikala parādījās izkārtne "Jāņa Rozes grāmatnīca" un izdevējam veltīta piemiņas plāksne.
1997. gada vasarā grāmatnīcā notika vērienīga rekonstrukcija, kuru vadīja arhitekts Andrejs Ģelzis.
Jāņa Rozes grāmatnīcas un tās dibinātāja liktenis aprakstīts vairākās ārzemēs izdotās grāmatās, tās apmeklējums pat kļuvis par ierosmi Jana Brokena eseju krājuma "Baltische Zielen" tapšanai, kas izlasāma ne tikai flāmu, bet arī franču un itāļu valodā.
Dzīvas ir arī Jāņa Rozes iedibinātās tradīcijas pārzināt un apspriest jaunākās grāmatas. Kopš 2014. gada grāmatnīcas telpās darbojas "Grāmatu klubiņš", kuru vada veikala vadītāja Kristīne Pīkenena.
