Das liegt daran, dass in deiner Blickrichtung viele Objekte sind die gerendert werden müssen. Sei es zum Beispiel ein Dorf, oder viele kleine Details auf der Map.
Oder wenn du auf deinen vollgestellten Hof schaust, kann es auch zu FPS Einbrüchen kommen!