Carballeda se sitúa en el extremo oriental de Galicia y por ella transcurren el trazado de la antigua N-120, que une Galicia con la meseta, y el ferrocarril de Palencia a La Coruña. Por el extremo norte pasa el río Sil, aunque tiene más relevancia el Casaio, que transcurre por todo el municipio. Estos y otros ríos transcurren en los valles de la Sierra del Eje, que tiene sus mayores alturas en el sur: Macizo de Peña Trevinca (2119 m en Peña Negra, Peña Survia 82095 m., a Sierra del Eje (1500 m.) y los Valles del Casaio (1773 m.). Los montes son de pizarras y esquistos, y su extracción en canteras es la principal actividad económica del municipio.