卡扎菲从学生时代起就是埃及已故总统纳赛尔的虔诚信徒和狂热追随者。纳赛尔的阿拉伯统一、阿拉伯民族主义、阿拉伯革命、阿拉伯社会主义等思想和实践对卡扎菲产生了极为重要的影响。
青年时期的卡扎菲就极力主张实现阿拉伯统一。他说，早在伊斯兰教创立传播时代，伊斯兰教创始人就为阿拉伯统一奠定了基础。阿拉伯国家之间的边界是人为的，应该取消。阿拉伯世界出现的问题是由于阿拉伯民族分裂造成的，只有实现阿拉伯统一才能解决这些问题。他还认为，要彻底解决中东问题，实现巴勒斯坦的解放，就必须摧毁以色列。而要实现这一目标，就必须实现阿拉?的统一，建立一个统一的阿拉伯国家集团。为此，他把实现阿拉伯全面统一作为他的奋斗目标和历史使命，并视为利比亚的历史责任。他曾提出成立“阿拉伯联邦”方案，为与一些国家实现统一作出了努力，但也有不少痛苦的实践。
利比亚“九·一”革命爆发后，埃及总统纳赛尔即派埃及《金字塔报》主编海卡尔飞往班加西，探听“九·一”革命及其新领导人的情况。卡扎菲在接见海卡尔时说：“请告诉纳赛尔总统，我们为他发动了这场革命。他可以把我们的一切都拿去，我们不打算统治利比亚，现在应该由纳赛尔总统把这个国家亲自接管过去，加入进步?营。”
利比亚“九·一”革命爆发三个多月后，也就是在1969年12月，卡扎菲赴摩洛哥首都拉巴特出席伊斯兰国家首脑会议，这是他执政后第一次出席国际会议。他在会上感受到阿拉伯国家和伊斯兰国家间存在着严重分歧，令他痛心，从而增加了他为促进阿拉伯统一的使命感和迫切感。卡扎菲主动邀请纳赛尔总统和苏丹尼迈里总统赴利比亚共商加强团结，实现统一大业。1969年12月7日，卡扎菲同纳赛尔总统及尼迈里总统在的黎波里签署《的黎波里宪章》，旨在建立紧密的革命同盟。1970年9月28日，纳赛尔总统因突发心脏病逝世，这对卡扎菲是一个沉重的打击。
卡扎菲继续努力推动阿拉伯统一事业。在他的建议下，他于1970年11月赴开罗，与纳赛尔的继任者萨达特总统及尼迈里总统举行会议，协调三国的政策。卡扎菲建议，拟订一个建立总的阿拉伯联邦方案，但因难度太大而搁浅。
1970年11月，叙利亚国防部长兼空军司令阿萨德发动“纠正运动”。阿萨德掌权后，对阿拉伯联合统一表现出较大兴趣，表示愿参加利比亚、埃及、苏丹三国首脑就统一问题举行的会谈。同年11月晚些时候，叙利亚加入在利比亚班加西就统一问题举行的会谈，并拟就了实现统一的草案。
1971年4月，利比亚、埃及和叙利亚三国一致同意组成阿拉伯共和国联邦。当时，尽管苏丹收到邀请，但尼迈里总统因被国内问题所困扰而未能与会，苏丹也就没有加入阿拉伯共和国联邦。由埃及、利比亚、叙利亚三国元首签署的关于成立阿拉伯共和国联邦的协议规定，该联邦统一使用一面国旗、一个国徽和一首国歌;三国元首组成联邦总统委员会，负责任命联邦总统，每届总统任期2年;成立联邦委员会，由60人组成，每国20人，任期4年;由联邦总统负责成立最高立法委员会。1971年9月1日值利比亚“九·一”革命两周年之际，三国就成立阿拉伯共和国联邦方案举行公民投票，埃及的赞成率为99.9%，利比亚的赞成率为98.6%，叙利亚的赞成率为96.4%。根据投票结果，三国宣布成立阿拉伯共和国联邦。1971年10月4日，该联邦三位领导人在开罗举行会议，萨达特当选为联邦首任总统，开罗定为联邦首都;确定该联邦于1972年1月1日正式成立。阿拉伯共和国联邦成立后，三国元首签署的协议并未得到认真实施，联邦机构形同虚设，联邦国家徒托空言。
1972年2月，萨达特出访途中在利比亚逗留，卡扎菲向萨达特提出埃及与利比亚实现全面联合的想法。在卡扎菲的一再催促下，萨达特同意于1973年9月之前建立统一的国家，首先成立统一政治指挥部，以便分阶段实现两国的合并。为此，双方于1972年9月成立了许多混委会，囊括了立法、外交、新闻等方面300位专家，为实现全面统一进行筹备工作。1973年6月萨达特赴的黎波里参加利比亚撤军节三周年庆祝活动，与卡扎菲就全面统一问题举行会谈。此后，卡扎菲频频接见访问利比亚的埃及各代表团，喋喋不休地谈论利比亚与埃及合并问题。
1973年7月，卡扎菲与萨达特达成原则协议，规定就两国实现合并问题举行两次公民投票。第一次公民投票定于1973年9月举行，旨在确定两国合并的原则和基础;第二次公民投票定于1974年9月举行，旨在确定合并后国家的新宪法和选举新总统等事宜。
卡扎菲急于实现利比亚与埃及的全面合并，但他也觉察到，萨达特对这种合并缺乏应有的热情，只是敷衍搪塞而已。于是，卡扎菲于1973年7月发动了一场奔赴开罗的“人民进军”，目的是迫使埃及接受立即合并。开始，进军队伍仅数千人，迅速增加到两万人，后又成倍增加。萨达特闻讯后，立即发电给卡扎菲，要求他采取明智而坚决的态度，制止这场进军活动。7月19日，萨达特派埃及社会主义联盟总书记哈菲兹·加尼姆作为密使前往的黎波里，要求卡扎菲采取行动立即制止这次“人民进军”。7月20日，开罗公布了卡扎?已于7月11日辞职的消息，并封锁了利比亚“人民进军”队伍前进的道路。7月21日，利比亚革命委员会表示拒绝卡扎菲辞职，要求他收回辞呈，但无济于事。在此情况下，利比亚革命指挥委员会提出集体辞职。7月22日，利比亚参加“人民进军”的队伍返回的黎波里，会同其他游行队伍，一道要求卡扎菲收回辞呈。7月23日，卡扎菲宣布收回辞呈，并发表讲话说，利比亚同埃及的统一势在必行，甚至不惜以打一场内战为代价。他还说，当今埃及腐败之风盛行，裙带关系、文牍主义严重，铲除这些现象的惟一办法就是发动一场人民革命。
此后，利比亚与埃及进行了多次谈判，卡扎菲与萨达特也专门就统一问题举行了会晤。1973年8月29日，两国统一政治指挥部宣布了一系列纸面上的统一措施，计划于9月1日实施。同年9月10日，双方成立最高计划委员会，并决定两国由“驻节部长”分别取代驻的黎波里和开罗的双方大使。
1973年10月6日第四次中东战争爆发，卡扎菲对没有让他参与战争的秘密策划而耿耿于怀，对萨达特多有微辞。战后不久，萨达特在美国国务卿基辛格斡旋下开始同以色列举行脱离接触谈判，埃及逐步走上和平谈判的道路，卡扎菲对此极为不满。双方分歧日趋严重，卡扎菲飞赴开罗试图劝说萨达特放弃和谈计划，以弥合裂痕，但未能奏效。随着事态的发展，利比亚与埃及之间的关系进一步恶化，两国领导人公开互相攻击。卡扎菲斥责萨达特是叛徒、投降主义者，背弃了纳赛尔的传统。萨达特斥骂卡扎菲神经错乱，头脑发育不健全，是疯子。不言而喻，利比亚与埃及之间的合并统一计划就湮灭在这唇枪舌剑之中了。
利比亚与突尼斯在统一问题上的戏剧性演变也是人们津津乐道的话题。鉴于突尼斯是利比亚近邻，卡扎菲对与突尼斯发展关系给予特别关注。1971年2月，卡扎菲对突尼斯进行第一次访问。1972年12月，卡扎菲再次访问突尼斯，突尼斯总统布尔吉巴安排卡扎菲在帕尔玛梳姆电影院举行演讲报告会。卡扎菲在即席演说中，建议突尼斯和利比亚实现统一。这时，布尔吉?一直在官邸电视机前观看卡扎菲报告的实况转播，当他听到卡扎菲讲到两国统-时，再也坐不住了。他立即乘奔驰车赶往电影院，登上舞台发表即席讲话。布尔吉巴强调，大家都赞成实现阿拉白统一，但在两国联合问题上，决不可贸然行事。报告会后，两位领导人就统一问题进行了紧急磋商。
1974年1月，卡扎菲突然到达突尼斯风光秀丽的地中海岛屿杰尔巴岛，并提出要与布尔吉巴总统就统一问题举行会谈。布尔吉巴率庞大代表团到岛上同卡扎菲会晤，两位元首经过45分钟会谈后，签署了同意建立“阿拉伯伊斯兰教共和国”的文件。该文件规定，两国统一后,将共同拥有统一宪法、军队、立法、行政和司法权力机构，将只有一个总统。
布尔吉巴与卡扎菲签署两国统一文件后，在突尼斯国内掀起轩然大波，决策层内部反对统一的人士出谋划策，提出将对这次统一文件的投票时间推迟。突尼斯社会主义宪政党宣称，不仅公民投票将推迟到1974年3月20日以后，而且举行公民投票之前必须先修改宪法，这项工作至少要花4个月的时间。布尔吉巴为摆脱尴尬处境，飞往瑞土休假。卡扎菲闻讯后立即赶往瑞士与布尔吉巴会晤，以图挽救处于夭折之中的统一，但他一无所获。后来，两国分歧日益严重，两国关系每况愈下，两?统一自然告吹。
1980年，黎巴嫩内战形势严峻，巴勒斯坦问题困难加剧，阿拉伯国家与以色列冲突备受世人关注。在这种形势下，叙利亚的作用益显突出。卡扎菲向阿萨德提出，为了斗争的需要，利比亚与叙利亚实现统一。阿萨德接受了卡扎菲的建议，两元首遂于1980年9月签署《的黎波里宣言》，宣布两国统一。该统一方案签署后，利比亚派大批军队到叙利亚，并运去大量武器装备，以图在解决黎巴嫩问题上发挥实质性作用。但令卡扎菲遗憾的是，他的军队未能起到任何作用。后来，他与阿萨德在中东和谈等一些问题上产生分歧，利比亚与叙利亚第二次统一再次破产。
长期以来，利比亚与其近邻乍得的关系一直处于跌宕起伏之中，两国关系好时亲如兄弟，恶时兵戎相见。1980年古库尼任乍得临时国务委员会主席期间，得到卡扎菲的大力支持。1980年6月，利比亚与乍得签订“友好同盟条约”。同年11月，卡扎菲应古库尼请求出兵乍得，协助古库尼击败对手哈布雷派，控制了乍得首都及北部和中部一些地区。1981年1月，古库尼访问利比亚，与卡扎菲签署了两国实现完全统一的联合公报。这项公报一经发布，立即遭到乍得国内外强烈反对。同年1月，非统组织在多哥首都洛美就乍得问题召开紧急会议，谴责利比?与乍得统一，要求废除该项协定，并要求利比亚从乍得撤军。此后，尽管卡扎菲与古库尼经常会晤，尽力挽救这项统一协议，但古库尼面临强大压力，在统一问题上的立场不断后退。1981年10月，古库尼正式要求利比亚军队全部撤出乍得。同年11月，卡扎菲下令从乍得撤军。1981年底，哈布雷的北方武装趁利比亚撤军之际发动进攻，于1982年6月攻占首都恩贾梅纳，并于同年9月初任总统。哈布雷执政后，乍得与利比亚关系甚为紧张，两国的统一协议也就埋葬在双方交战的炮火中。
此外，卡扎菲还就利比亚与摩洛哥、阿尔及利亚的统一做出了努力，但均未成?。他对也门的统一、结束也门内战做了大量斡旋工作。他还规劝叙利亚与伊拉克实现统一，但未果。他积极参与创建马格里布联盟，并希望该联盟成为走向阿拉伯全面统一的一步。事态的发展未能使他如愿以偿。
卡扎菲在长期的统一实践中连连受挫，抱怨不迭。他认为阿拉伯团结虽然重要，但十分困难，一方面因为一些阿拉伯国家领导人缺乏诚意，另一方面因为一些阿拉伯国家与美国等西方国家结盟。他还认为，在利比亚遭受制裁期间，阿拉伯国家无动于衷，没有给予利比亚应有的声援，使利比亚大失所望，使他感到伤心。为此，他把追求统一的痴情移往?洲，把自己外交活动的重点也移往非洲。他积极参与非洲事务，1997年8月，卡扎菲倡议成立了由利比亚、苏丹、乍得、尼日尔、马里和布基纳法索组成的撒哈拉一萨赫勒国家联合体。1999年9月，卡扎菲在利比亚锡尔特主持召开了非洲国家特别首脑会议，给他提供了大出风头的机会。2000年3月，卡扎菲决定解散利比亚大多数部，只保留外交、司法与安全、财政、信息四个部，但却特意增加第五个部，这就是非洲团结部。2000年7月，非统组织第36届首脑会议在多哥首都洛美召开，卡扎菲向大会提出了建立非洲政治经济联盟的计划，这项计划既包含建立非洲合众国的?想，又带有欧盟的模式。会议开始阶段，非洲与会元首对卡扎菲计划的表态不甚热情，和者甚寡。卡扎菲大为不满，抵制了多哥总统为全体与会元首举行的盛大宴会。与此同时，卡扎菲在自己下榻的帐篷内另外举办了一场宴会，邀请布基纳法索、乍得和塞内加尔元首出席。后来，大会经过反复讨论协商，终于在闭幕式前签署建立非洲联盟章程草案。章程草案规定，非洲联盟所遵循的原则是：平等、主权和国家独立，尊重各国边界，互不干涉，禁止对其他成员国使用或威胁使用武力。联盟设最高权力机构和执行理事会，总部设在埃塞俄比亚首都亚的斯亚贝巴。该章程?案待非洲2/3的国家批准后取代非统组织章程。会议决定，下届非洲国家首脑会议于2001年3月在利比亚锡尔特召开。分析家们认为，洛美会议既未完全接受卡扎菲的构想，但也未完全使卡扎菲失望，综合而言，卡扎菲取得了一半胜利。
第36届非统首脑会议结束后，卡扎菲应贝宁总统克雷库邀请访问贝宁。在贝宁首都波多诺伏万人欢迎会上，卡扎菲发表了慷慨激昂的讲话。他称赞?洲儿女改变了世界地图，并呼吁非洲人行动起来拆除边界，使非洲成为无边界的统一非洲。他几乎忘却了身旁信奉天主教的克雷库总统，向集会的群众大声疾呼，要求人们信奉伊斯兰教。卡扎菲说，天主教和基督教是殖民主义在非洲的工具，非洲的穆斯林应该劝说他们的兄弟们皈依伊斯兰教。他宣称，阿拉伯语是天堂人土的语言。
卡扎菲对统一事业满怀一片痴情，尽管通往统一的道路坎坷不平，但他仍义无反顾地继续前进。在阿拉伯统一方面，尽管他有意见和抱怨，但仍出席阿拉伯首脑会议。利比亚仍是阿拉伯联盟成员国。在非洲统一方面，卡扎菲积极参与有关活动，并主动邀请有关方面在利比亚召开非洲统一的会议。
