Położone jest w dolinie Zadrny pomiędzy górskimi pasmami Gór Kruczych i Zaworów. Chełmsko posiada średniowieczny układ urbanistyczny z zabytkowymi kamieniczkami wokół rynku, narożnie wychodzącymi uliczkami i centralnie usytuowaną studnię.  Ciekawostkę stanowią należące niegdyś do tkaczy domki zwane "Dwunastoma Apostołami". Obecnie ostało się tylko jedenaście. Zostały one wybudowane specjalnie dla sprowadzonych w 1707r. tkaczy z Czech. Nad rynkiem góruje XVII wieczny kościół Świętej Rodziny.