约翰·F·肯尼迪的逝世不仅是一场悲剧，也为他的政府蒙上了一层卡米洛特的神秘色彩，延续了他的声望。尽管他的私生活丑闻和健康问题被曝光，美国民众依然给予他极高的支持率。许多历史学家至今仍认为他是美国历史上最杰出的总统之一。
然而，肯尼迪的形象并非完美无缺。他在政治上一直受到右翼的批评，随着时间的推移，左翼和中间派也开始对他提出质疑。值得注意的是，肯尼迪在生前并不总是受到普遍的爱戴。流行文化中，他那亲民的魅力与理查德·尼克松在电视辩论中的紧张形成鲜明对比，但1960年的总统选举竞争激烈，仅以0.2%的微弱优势获胜。一些左翼人士对他的政绩感到失望，而在美国和国际上，有许多杰出人物出于各种原因，对肯尼迪并不感兴趣。
尽管约翰·F·肯尼迪和理查德·尼克松在总统竞选中势均力敌，但他们在1960年前后保持了友好的关系。然而，肯尼迪与支持他的一些人之间的关系并不总是和谐。林登·B·约翰逊与肯尼迪的弟弟罗伯特·F·肯尼迪之间的冲突是公开的。他们的紧张关系在肯尼迪执政初期就显现出来，罗伯特毫不掩饰地接管了他哥哥的核心职责，这让约翰逊感到不满。肯尼迪的去世进一步加深了他们之间的裂痕。
约翰本人与他的副总统关系并不亲密。杰奎琳·肯尼迪与约翰逊夫妇保持着良好的私人关系，但她声称，她的丈夫无法从约翰逊那里得到真正的政府支持，并怀疑他是否适合担任总统。肯尼迪有意边缘化约翰逊，并试图让他在1964年的竞选中退出。约翰逊则被一些人视为一个野心勃勃、冷酷无情的政治攀登者，对担任肯尼迪的副总统感到不满。
另一些人认为，约翰逊认为肯尼迪兄弟是傲慢的沿海精英。他的不满主要针对罗伯特，但似乎也对生活在肯尼迪的阴影下感到不满，即使在肯尼迪遇刺后他自己掌权。“肯尼迪不会那样做”的抱怨在约翰逊的余生中不断出现，甚至在他退休后也被记录下来。
在一些传记作家、调查人员和阴谋论者看来，肯尼迪家族的故事中处处隐藏着黑手党的影子。许多人相信老约瑟夫·肯尼迪与黑帮一起走私了数百万美元的私酒，弗兰克·科斯特洛甚至声称肯尼迪是他的合伙人之一。尽管这些说法缺乏确凿证据，但这并没有阻止这些故事的传播，也没有阻止一些人相信，黑手党的芝加哥团伙通过操纵伊利诺伊州的选举结果，帮助肯尼迪赢得了1960年的总统选举。
不幸的是，一些黑手党成员似乎真的相信他们为肯尼迪赢得了白宫，当他派罗伯特·F·肯尼迪打击有组织犯罪时，他们感到被背叛。这种怨恨，以及罗伯特对黑手党的压力，构成了黑手党参与暗杀总统的阴谋论。有人猜测，幕后黑手可能是新奥尔良的卡洛斯·马塞洛和佛罗里达州的小桑托·特拉菲坎特。但另一个在有组织犯罪中臭名昭著的名字也被提及：芝加哥黑帮的老板山姆·莫莫·吉安卡纳，一个坐着喷气式飞机、参与政治的好色之徒，据称他与总统朱迪思·坎贝尔·埃克斯纳共享一个情妇。
埃克斯纳后来声称，吉安卡纳吹嘘自己把肯尼迪送进了白宫。他的家人使黑帮为民主党人争取伊利诺伊州的传说永恒，据说吉安卡纳和特拉菲坎特一样，对肯尼迪选择的司法部长感到愤怒。一名助手甚至声称（没有确凿证据）吉安卡纳承认安排了刺杀总统的行动。
在将近50年的时间里，J·埃德加·胡佛一直掌控着联邦调查局。在此期间，他见证了八位总统的更迭。其中一些，他很喜欢；其他人，比如约翰·F·肯尼迪，他则不然。尽管胡佛和老约瑟夫·肯尼迪相互尊重，但这并没有阻止胡佛编纂老肯尼迪的档案。他对肯尼迪的儿子采取了同样的做法，早在1942年就收集了约翰婚外情的内幕。当肯尼迪成为总统时，胡佛对他的关系表示怀疑和蔑视，并对他的政治持怀疑态度。
胡佛和肯尼迪家族之间的仇恨是相互的。肯尼迪在公开场合对胡佛表示尊重，但私下里既不喜欢他，也不信任他。胡佛对联邦调查局的几乎完全控制，以及该机构的监视网络，让肯尼迪感到担忧。据报道，肯尼迪曾考虑解除胡佛的职务，但在宣布自己在1960年大选中获胜的第二天，他就宣布将保留胡佛。一个促成因素可能是胡佛知道肯尼迪的私人丑闻——他向肯尼迪和他的司法部长兄弟坦白了这一点。
肯尼迪通过闯入正在打盹的胡佛家中，或者带他去吃粗鄙的午餐来进行某种程度的报复。就像那些年肯尼迪家族在行政部门之间的敌对一样，真正的紧张关系发生在胡佛和罗伯特·F·肯尼迪之间，后者害怕胡佛的权力，尽可能地反对他的权力，并憎恨他的阴谋诡计。
20世纪60年代的政治冲突虽然激烈，但与我们今天看到的民主党和共和党之间的极端两极分化相比，情况有所不同。当时，两党都是大帐篷，各党派之间存在着相当大的意识形态差异，这意味着总统的性格和优先事项在制定议程时更为重要。这也意味着像约翰·F·肯尼迪这样的总统可能会在他自己的政党内部引起强烈的反对和敌意——来自“南方民主党人”，那些对肯尼迪的民权行动持敌对态度的南方民主党人。
在这些南方民主党人中，乔治·华莱士以“永远的种族隔离”而臭名昭著。华莱士对肯尼迪保持着个人感情，在20世纪50年代也是肯尼迪的早期支持者。但到了1963年，作为阿拉巴马州州长，华莱士代表了南方对种族融合的抵制。他在阿拉巴马大学招收黑人学生问题上的不妥协态度，甚至威胁要违抗联邦法院的命令，引发骚乱。司法部长罗伯特·F·肯尼迪亲自参与了最终成功的努力，使黑人学生进入学校，而不必逮捕华莱士，以免在南方引发暴力和混乱。
肯尼迪在他哥哥的工作之后，向全国发表了一次演讲，宣布他打算通过一项民权法案。华莱士在林登·B·约翰逊担任总统期间一直反对民权，约翰逊在1965年《投票权法案》出台之前召见华莱士进行了谈话。
尽管乔治·华莱士对约翰·F·肯尼迪倡导的民权议程充满敌意，但他仍然对肯尼迪本人保持着好感。他最严厉的评论是关于罗伯特·肯尼迪的，不管多么不情愿，他最终还是接受了阿拉巴马大学的种族融合而没有被逮捕。但他并不是唯一一个在民权问题上与肯尼迪发生冲突的南方民主党人。
斯特罗姆·瑟蒙德在1957年《民权法案》通过过程中进行了24小时以上的阻挠议事，在美国历史上声名狼藉。20世纪40年代，当他还是南卡罗莱纳温和派到改革派的州长时，他很少谈论种族问题，但当他进入参议院时，他成了一个彻头彻尾的种族主义者。他反对肯尼迪在与华莱士对峙后提出的民权法案，就像他反对1957年的民权法案一样，瑟蒙德对肯尼迪还有更多的不满。他声称肯尼迪计划将美国的核武库交给联合国，这是一个令人发指的阴谋论，以至于在南卡罗莱纳发行的邻近国家报纸都对他进行了抨击。
南方民主党人从右翼抨击约翰·F·肯尼迪，但伯特兰·罗素，既不是政治家，也不是美国人，却是来自左翼的肯尼迪最著名的批评者之一。罗素是一个和平主义者，公开反对核武器。他是如此反对核武器的思想，以至于在冷战开始时，他宣称，“我支持有控制的核裁军，但如果不能诱使共产党人同意，那么我就支持单方面核裁军，即使这意味着共产主义统治的恐怖”。由于拒绝考虑单方面裁军，罗素指责肯尼迪和其他西方领导人“比希特勒邪恶得多……他们是人类历史上最邪恶的人，我们有责任尽我们所能反对他们。”
在古巴导弹危机期间，罗素给肯尼迪和尼基塔·赫鲁晓夫都发了电报。值得注意的是，罗素在给赫鲁晓夫的信中并没有批评苏联对古巴的政策，而是谴责肯尼迪对美国的封锁。罗素急着把赫鲁晓夫的和解答复给肯尼迪，肯尼迪不喜欢罗素把自己卷入一场国际危机。危机过去后，罗素确实对没有对肯尼迪采取温和的态度表示遗憾。肯尼迪遇刺后，罗素也加入了进来，批评沃伦委员会的组成和对证据的处理。
