公元前586年巴比伦人占领了犹大，他们焚毁耶路撒冷的所罗门圣殿，驱逐了大批犹太人。从此之后，耶路撒冷曾被多次易手，还被无数次地摧毁和重建。
公元前63年，庞贝（Pompei）的罗马军团攻占了犹大，占领了耶路撒冷。而耶稣正是在罗马的统治区伯利恒（Bethlehem）降生的。罗马统治者在公元70年摧毁犹太教圣殿，并于公元135年将所有犹太人驱逐出耶路撒冷。并把耶路撒冷重新命名为巴勒斯坦。从此，犹太人开始流散到欧洲各国，他们变成了一个没有祖国的民族，开始了持续1800多年的漂泊生涯。但是，从被逐出故土那天起，犹太人也从来没有忘记过重返故园。
公元７世纪，阿拉伯人在战胜罗马帝国并接管巴勒斯坦后不断迁入，并被当地土著人同化，逐渐形成了现代的巴勒斯坦阿拉伯人。伊斯兰教的创始人穆罕默德在这片土地上建立起了统一的阿拉伯帝国，从此，信仰伊斯兰教的阿拉伯人再也没有离开过这块土地。
1517年，土耳其奥特曼帝国（Ottoman Empire）将巴勒斯坦纳入自己的版图。在这期间，土耳其苏丹还曾邀请离散的犹太人到巴勒斯坦的各个城市里定居下来。
18世纪末拿破仑入侵时，巴勒斯坦的阿拉伯人趁机起来反抗埃及和土耳其人的统治，致使奥特曼政府进一步开放其边界，犹太人和阿拉伯人口同时增长了，而且两个民族的民族意识也随之提升。
到了1880年，巴勒斯坦的人口达到了40万，其中犹太人口是2.4万左右。这时奥托曼政府开始采取严厉的措施限制犹太移民，但是，犹太人仍然采取各种手段移入巴勒斯坦。
流浪到欧洲的犹太人的命运十分悲惨。由于基督教在欧洲的广泛传播，信奉犹太教的犹太人成为欧洲大陆上为数不多的异教徒，歧视、迫害和驱逐犹太人的风气在欧洲大陆逐渐形成。到了１９世纪末，欧洲出现了大规模反犹太主义浪潮，而犹太复国主义（Zionism）的思潮和运动也由此相应兴起。
1881年，俄籍犹太医生平斯克尔出版了《自我解放》一书，提出了建立犹太民族国家的想法。该书被认为是犹太复国主义的发端。
