Hola,
Alex, investigando un poco la textura que has publicado en uno de tus anteriores mensajes, fijándome más en el mapa de normales que en la propia imagen, me he dado cuenta que ambos lados del baldosín estan coloreados de distinto modo. Consecuentemente, me da a imaginar que segun el lado en el que esté la cámara reflejarán diferente la luz, hecho que no deberia ocurrir (en caso de haber una luz constante) porqué dichos baldosines son simétricos.
Por otro lado me he fijado que tus capturas siempre han sido por la derecha, siguiendo este esquema que he comentado antes. Si colocaras la cámara en el ángulo contrario, es decir, a la izquiera, ¿el efecto será el mismo? ¿Orientas el mapa de normales según te interese? (en sentido contrario a donde tienes la sombra).
Saludos,