直接在耕地上建造房屋，是违法的。在耕地上建造房屋，必须先办理农用地转用审批，批准后才可以办理用地许可、建设许可手续，在未办理农用地转用审批之前就直接在农用地上建房，这是违法行为。虽然左右已有了邻居，但存在的并不一定就是合法的，如果邻居也未办理农用地转用审批，未取得用地许可，那么邻居的行为也是违法的。
