Дом, в котором останавливался Потанин - Григорий Потанин (1835–1920) был исследователем Центральной и Средней Азии и Сибири. В 1913 году Потанин посетил город Каркаралинска, чтобы изучать казахский фольклор, и остался в доме, принадлежавшем Василию Петровичу Рязанцеву. До того, как это было домом, в деревянном здании находилась торговая компания «Кузьмин и Деров». 6 ноября 1890 г. В.П. Райзанцева купила здание за 600 руб. В 1920 году дом был приобретен государством. В здании размещались различные советские учреждения, в том числе школы. Первая библиотека в Каркаралах была основана в 1892 году и имела 626 книг, переданных им чиновниками. В 2004 году библиотека была перенесена на свое нынешнее место: дом, где остановился Потанин.