Первые посещения Столбов относятся к 1770—1780 гг., а первыми столбистами были золотоискатели. В 1829 г. в расселине камня под Первым столбом была оборудована первая стоянка. В 1851 г. красноярские спортсмены впервые поднялись на вершину Первого столба — эта дата считается началом развития скалолазания, ставшего впоследствии самостоятельной спортивной дисциплиной в России. С этого времени началось массовое посещение Столбов, которое продолжается и до наших дней.
В конце XIX в. началось покорение скал. Первая попытка взять вершину Такмака относится к 1886 г., а лаз в «садик» Второго столба был открыт летом 1895 г. Анастасией Качаловой, первой в России женщиной, занимавшейся скалолазанием. В то время у столбистов из обуви были лишь сапоги и ботинки с твердой кожаной подошвой, которая скользила на камне. С 1895 г. широкое распространение получили лыковые лапти, после революции их вытеснили галоши, затем — прорезиненные тапочки. Смена вида обуви оказала большое влияние на дальнейшее развитие техники скалолазания.
В 1892 г. под Третьим столбом была построена избушка, которая стала центром движения столбистов. В это движение включались красноярские литераторы, музыканты и художники, политики и заключенные. Революционеры проводили на Столбах нелегальные собрания. В эти времена на скалах стали появляться противоправительственные надписи: в 1897 г. у основания Первого столба было выведено красной краской «Социализм», на южной стороне Деда написали «Пролетарии», в 1899 г. на Втором столбе появилось слово «Свобода». Здесь устраивались массовки, проводились доклады, дискуссии, а красноярская полиция периодически устраивала облавы на столбистов, которых подозревала в революционной деятельности. После одного из выпадов против самодержавия появилось предложение взорвать Деда, которое, однако, не осуществилось.
После 1910 г. столбизм разросся с новой силой. Люди несколько дней жили в тайге сплоченными группами: так формировались «компании» — «Фермеры», «Беркуты», «Волки» и др. В компаниях избирались руководители, разрабатывались уставы. С каждым годом движение столбистов росло: если в 1922 г. было зарегистрировано около 3 тыс. человек, то в 1929 г. — уже 18,5 тыс.
Красноярские столбисты братья Виталий и Евгений Абалаковы во время войны сыграли большую роль в передаче опыта альпинизма горным подразделениям Красной армии. Во время исторических боев за Кавказ в одном горном разведывательно-штурмовом отряде два отделения были сформированы из столбистов. Они в течение 28 часов сдерживали натиск немецкой горной дивизии «Эдельвейс», в итоге высота была удержана.
