請站內懂法律的大大幫幫忙>"<

[飛天德]

小弟去年因欲建造養殖場及住家
因要合法申請基地面積不足(約350坪)
所以向隔壁地主購買建地約180坪
已過戶完成且合併為一筆土地
今年初準備動工所以請建築師繪圖及地政鑑界
鑑界之後新買的土地有大約40坪被鄰居長期佔用
與對方協調後沒有共識(他不讓我拆他蓋在我土地上的圍牆)
還嗆我叫我去告他
告那些都無所謂請律師也沒多少錢
只是我怕曠日費時耽誤到我要蓋房子的進度
目前建照已經核發下來了
想請教了解法律的大大
這種情形我一定要跟他走法院嗎?
還是我可以請員警到場維持秩序我直接請人拆除
我真金白銀買來的地還要這麼疲勞嗎?
還請了解的大大不吝回答~謝謝!!