沙夫豪森州是瑞士最北端的州。除了莱茵河畔施泰因的一小部分以外,该州全境都位于莱茵河北岸,且几乎被德国包围。沙夫豪森州的主体部分将其南部的布辛根隔离成德国的飞地,同时该州还拥有两个较小的飞地,吕德林根(德语:Rüdlingen)-布赫贝格(德语:Buchberg SH)位于主体部分的西南方向,拉姆森和莱茵河畔施泰因位于主体部分东部。该州在南部以莱茵河为界,与苏黎世州和图尔高州接壤。该州边境总长度为185.4公里,其中与德国构成的边界(包括飞地布辛根)长为151.8公里,与苏黎世州边界长为23.2公里,与图尔高州边界长为10.4公里。该州复杂的边界在沙夫豪森州18,19和20世纪区划变更(德语:Territoriale Veränderungen des Kantons Schaffhausen im 18., 19. und 20. Jahrhundert)中被反复简化和调整。
兰登山脉南部有一片肥沃而平坦的克莱特高谷地,在5万多年前由早期莱茵河形成。克莱特高谷地的主要产业是葡萄和其他农作物种植。许多谷地横贯于兰登山脉和莱亚特(德语:Reiat)构成的高原上,其中较大的有:比伯尔河谷、黑门塔尔谷地(德语:Hemmentalertal)、黑布林根谷地(德语:Herblingertal)、梅里斯豪森谷地(德语:Merishausertal)、奥瑟伦谷地(德语:Orserental)、旺根谷地(德语:Wangental)和武塔赫河谷。(参见瑞士谷地列表(德语:Liste von Tälern in der Schweiz))