Škrdlovice liegt im nördlichen Teil des Bezirks Žďár nad Sázavou in der Böhmisch-Mährischen Höhe. Dank seiner Lage im Naturschutzgebiet Žďárské vrchy ist es eines der beliebtesten Touristenzentren.
In der Nähe des Dorfes befindet sich der Teich Velké Dářko, der hier von Viktorín von Kunštát und Herzog Mustenberský angelegt wurde. Es gibt viele interessante Orte in der Umgebung zu besuchen. Einer von ihnen ist Čertův kámen, eine Felsformation auf dem Gipfel von Tisůvka, die durch Verwitterung entstanden ist.
Im Sommer bietet Škrdlovice ein dichtes Netz markierter Wanderwege, im Winter Langlaufloipen.