Крымско-Кавказский горный клуб был создан по образцу известных в Европе так называемых альпийских клубов. Они возникали в Европе для изучения горных районов и организации путешествий не только ученых, но и широких слоёв общественности.

Крымско-Кавказский горный клуб начал свою деятельность 6 мая 1890 года. Однако днём основания клуба следует считать утверждение министром внутренних дел его устава 25 января 1890 года, после чего было созвано первое собрание 15 членов-учредителей, на котором избрали временное правление. Первоначально он назывался Крымский горный клуб, так как имел целью исследование Крымских гор. Официально клуб находился в ведении Министерства земледелия и государственных имуществ.

Административный центр клуба находился в Одессе — крупном научном и культурном центре на юге России.

За свою более чем тридцатилетнюю историю устав клуба менялся четыре раза, отражая развитие целей деятельности и организационную структуру. С 1905 года он стал называться Крымско-Кавказский горный клуб в связи с ростом интересов по изучению Кавказа и появлением новых отделений за пределами Крыма.