Durante a Idade Média, a cidade cresceu entre o monte do castelo e o rio. Os terrenos da outra margem, onde ficava Santa Maria, estavam cobertos de olivais que cercavam a igreja. Foi daí que lhe veio o nome.