オリーブは油料作物として有史以前から地中海沿岸諸国で栽培されてきました。古代ギリシャではオリーブがブドウとともに最も重要な農産物として栽培され、今日でもこれらの地域の主要な農産物となっています。最古のオリーブの種子は、死海のほとりにあるテレイラト・ガッスルという約5000年前の遺跡から発見されています。
野生のオリーブの樹は肥沃で繁った森に覆われている小アジアが原産地とされ、シリアからトルコを経てギリシャへ広がったとされる説とエジプト、リビア、エチオピア、アトラス山脈やヨーロッパの一部にそれぞれ発祥地が存在していたという説とがあります。
国際オリーブ協会（IOC）によれば、オリーブは南カフカス山脈からイラン高原やシリア、パレスチナ周辺の地中海沿岸地域から広がり、キプロス島からトルコ方面へ、またクレタ島からエジプト方面へと2方向に広がったとされています。
このオリーブの栽培を地中海に広めたのは、通商や航海術に長けていたフェニキア人、ついで高い文化を誇ったギリシャ人、さらに大帝国を築き上げたローマ人だったと考えられています。
紀元前16世紀にはフェニキア人によってギリシャの島々でオリーブ栽培が始められ、紀元前14世紀から12世紀にはギリシャ本土にもオリーブ栽培が導入されました。ギリシャ本土では紀元前4世紀頃にオリーブ栽培に関する法令が発令されるなどしてオリーブ栽培は一気に増加し、重要な産業となりました。
オリーブ栽培は、紀元前6世紀頃から西方諸国へ進み、地中海諸国を経てリビア、チュニジアやシシリー島へと広がり、さらにイタリア南部、イタリア北部へと広がりました。その後ローマ人の支配地域が広まるに従って、それぞれの国でオリーブ栽培は広まり、オリーブは地中海沿岸諸国を代表する作物となり、独自の文化と経済を築き上げたのです。
一方、アメリカ大陸へは、コロンブスのアメリカ大陸大発見(1492年)とともにセビリアから西インド諸島を経てアメリカ大陸に伝わりました。1560年頃にはメキシコで栽培され、その後ペルー、アメリカ合衆国（カリフォルニア州）、チリ、アルゼンチン、オーストラリアでも栽培が始められました。
わが国に初めてオリーブが持ち込まれたのは、約410年前の安土・桃山時代にキリスト教伝導のため来日したフランシスコ派のポルトガル神父がオリーブオイルを携えてきたものとみられています。そして、日本人で初めてオリーブを食べたのは、文禄3年（1594年）にスペイン王国から秀吉に「オリーブの実一樽」が献上されていることから豊臣秀吉であろうと言われています。
一方、オリーブ樹がわが国へ導入されたのは、文久2、3年（1862、3年）頃、幕府医学所の医師林洞海の意見によって横須賀に植えられたのが最初です。その後、慶応3年（1867年）から明治9年の間に数回、日本赤十字社を起こした佐野常民らによって導入され、神奈川、静岡、兵庫、愛知、和歌山、高知、宮崎、鹿児島の各県に配布され試験栽培が行われました。この中には調子よく開花結実したものもありましたが栽培は長続きしませんでした。
鎖国により欧州各国から近代化が遅れた明治政府は、日本の近代化を積極的に推進するため、明治5年（1872年）殖産興業政策の一環として内藤新宿試験場（新宿御苑）を設置し、外国よりゴム、ブドウ、オレンジ、ユーカリ、のほかオリーブを導入・栽培を試みましたが成果を上げることはできませんでした。
そこで、政府はこれらの植物の栽培適地を全国に求め、苗木培養（海外暖地産有用食物を繁殖させ西南諸島の暖地に苗木を分布することを目的）の適地として明治14年（1881年）に、勧農三田育種場（前田正名場長）及び神戸の山本通（現、三ノ宮）に三田育種場付属植物試験所を設置（農務顛末1957年）し、前途の導入植物を試作しました。その結果、オリーブの実が栽培に成功し、明治29年（1896年）までこの地で栽培が行われました。
明治10年（1877年）第7回パリ万国博覧会の日本事務局副総裁 松方正義侯爵（のち内閣総理大臣）の発案で、前田正名が明治12年（1879年）の春、フランスより苗木2，000本を勧農局三田育種場に取り寄せました。このうちの600本は、神戸の同付属温帯植物試験場に植え付けられました。同時に残りの苗木は和歌山県に800本、愛知県に150本、高知県に50本、鹿児島県に150本が配布されました。付属温帯植物試験場のオリーブの苗木はヨーロッパへ園芸留学して帰国した福羽逸人により管理され、同15年（1882年）初めて開花結実しました。翌年には五石（約585㎏）の果実を、同17年には7石3斗（約854㎏）収穫し、塩蔵600ビン、オイル216ビンを製造するまでになりました。付属温帯植物試験場は、明治17年には農商務省樹芸課管轄となり、「神戸阿利襪（オリーブ）園」として改称され、よく18年には「播州葡萄園」の所管となりました（農務顛末1957）。
一方、明治13年には三田育種場の支場として、「播州葡萄園」を加古郡印南村（現、稲美町母里）の高原地帯30町（30ヘクタール）あまりの地を開拓して設置し、三田育種場の苗木を移植して、この地も福羽が管理にあたりました。明治18年には「播州葡萄園」と「神戸阿利襪園」の経営委託を受け、民間事業として発展さすことを計画し、同21年5，377円5銭で払い下げを受け、自らその経営に乗り出しました。
明治18年にはオリーブオイル2合5勺（450ミリリットル）が30銭、塩蔵2号（約250グラム）が20銭で「払い下げ」という形で販売されていたと伝えられますが、栽培者も漸次増加したようです。しかし、経営は次第に困難となり、明治29年（1896年）に播州葡萄園、神戸阿利襪園ともに閉鎖されてしまったのです。
閉鎖の理由は、オリーブアナアキゾウムシの被害等が原因したと伝えられているが、オリーブ園敷地に県会議事堂が建設され「阿利襪園」の面積が縮小したことも原因していると思われます（徳島文理大）。現在に兵庫県庁北側に当たるといわれています。（農務顛末、1957）、（加古川市史1971）、（多木久米二郎伝記、1958）
香川県におけるオリーブ栽培は、明治40年（1907年）、農商務省がオリーブオイルの国内自給と日清、日露戦争で獲得した広大な漁場から捕れる鰯等の缶詰を製造して輸出することを計画し、香川、三重、鹿児島の3県をオリーブ栽培試験地に指定したためで、翌41年4月22日に小豆郡内海町西村にアメリカから輸入された苗木519本を1．2ヘクタールに植栽したのが、本県における試験栽培の始まりです。香川県が指定されたのは、気候がオリーブの産地地中海に似ていたためと推測できます。先進県が栽培を中止していく中、台風とオリーブアナアキゾウムシの被害に悩まされながらも栽培を継続して本県小豆島のみが試験栽培に成功したのも何かの因縁と考えられます。昭和29年（1954年）には、県花、昭和41年（1966年）には県木に選定されるほど県民に親しまれるようになりました。
しかし、農産物輸入自由化（昭和34年）は安価なオリーブオイル、テーブル・オリーブ（塩漬け、ピクルスなど）が多量に輸入され価格の低迷を期しました。さらには、オリーブアナアキゾウムシの防除薬剤であるエンドリン乳剤が使用禁止にとなり被害が増加し、丁度ミカンブームで改植する農家も続出したことから、その後栽培面積は急速に減少してしまいました。 一方、昭和37年の統計では香川・岡山県のほかに広島・熊本・静岡・茨城県などで栽培がみられ、雑誌等で紹介された産地も出現しましたが、現在では小豆島を中心とした本県と岡山県の牛窓など地方の特産物として生産がみられるのにすぎません。
小豆島は平成15年オリーブ振興特区に指定され、現在は栽培地をと生産量が増えてきています。平成19年度の統計によれば126トンとなっています（香川県の統計資料）。
