先说结论：岳飞和很多南宋文武官员的关系并没有大家想象的那么好。
以韩世忠为例，很多人以为韩世忠和岳飞是亲密无间的抗金搭档，然而历史上韩世忠和岳飞的关系其实非常一般。岳飞看不起韩世忠（准确来说岳飞是张、韩、刘一个都瞧不上），绍兴七年陈公辅评价岳飞就有如下言论。
飛本麤人，凡事終少委曲，臣度其心，往往謂其餘大將或以兵為樂，坐延歲月，我必欲勝之。
也就是岳飞对其他将领拥兵自重、消极抗金的行为很不以为然。至于岳飞点名道姓的瞧不起韩世忠的史料也有，例如《岳侯传》记载了岳飞绍兴十年一个奏议。
是时韩世忠在楚州，亦无所措遂求，救於朝廷，後无旬日，尽失淮楚，退兵回往镇江，以拒江为阻，更无前进之意，大概行军无方略，料敌无知识，赏罚不明，信令不行，兵无斗志，是以战之不克，攻之不拔，则败之由也。
岳飞对韩世忠军事能力的评价《行军无方略，料敌无知识，赏罚不明，信令不行，兵无斗志》字样，已经是骂的很难听了，至于绍兴十一年淮西之战后，岳飞对韩世忠也有恨其不争之语。
似张家人，张太尉尔将一万人去跎踏了”“似韩家人，董太尉不消得一万人去跎踏了。
大意岳飞认为韩世忠全部战斗力都比不上一万岳家军。至于韩世忠对岳飞的态度也没后人想象的那么好，举个郝抃的例子。
韓世忠伏兵洪澤鎮，詐令為紅巾，俟通古過則刼之，以壞和議，肖胄至揚州，世忠將郝抃密以告，直秘閣淮東轉運副使胡紡紡白之肖胄，故通古自真和由淮西以去，世忠怒追抃，欲殺之，抃棄家依岳飛軍中，世忠奏知鄂州范漴縱之，漴坐奪官編管汀州，仍命鄂州拘漴，俟獲抃訖赴貶所。
大意是因为郝抃告密，造成韩世忠劫杀金使的计划破产，韩世忠盛怒之下要杀掉郝抃，结果郝抃直接越过张俊的防区跑到岳飞的大本营鄂州请求庇护去了，韩世忠作为回应直接请求赵构把鄂州主政官员范漴一撸到底，要知道这个范漴和岳飞的关系非常的好。按史料记载。
左朝散大夫知江州范漴罷，以右正言凌哲論其嘗諂事岳飛也。
可见韩世忠对范漴的情绪宣泄明显是醉翁之意不在酒了。
当然岳飞和韩世忠关系一般不代表他俩关系很差，比如绍兴十一年岳飞措置山阳期间主动请求保留韩世忠部队；再比如岳飞告密韩世忠秦桧对其的谋害计划；还有韩世忠对秦桧著名的莫须有质问，都表明岳飞和韩世忠虽然私交平平，但为了国家前途，民族尊严，还是非常乐意放下彼此的分歧去共同进取的。
岳飞和韩世忠的关系也是岳飞与文官团体羁绊的缩影，即虽然岳飞的军事能力得到了南宋朝野上下普遍性的认可，但当岳飞快速发展的势力影响到地方主政官员的权威性时，岳飞在政治、军事方面的诉求也自然而然与倡导以文制武的文官群体发生了必然性的碰撞。
我们不妨先以李纲为例，熟悉岳飞的人对下面一段话应该都耳熟能详了。
李纲称赞岳飞“年齿方壮，治军严肃，能立奇功，近来之所少得”，断言他“异时决为中兴名将”。
然而上疏文字是标准的拼接史料，李纲的原意是：
如飛年齒方壮，治軍嚴肅，能立奇功，近來之所少得，然正當且使在人下，有以調御服習之，使知禮義名節，異時决為中興名將，若使便當一面，驕心易生，適所以壞之，
对应的翻译：岳飞正值壮年，治军严肃，更能屡立奇功，真是近年来我国少有的优秀将领，所以才更应该让他隶属我，让我逐渐驾御和了解岳飞，教会他为官的礼仪、名誉和节操，这样不久之后他一定可以成长为一代中兴名将；但如果听之任之放任他独当一面，那就容易让他衍生骄躁之心，
可见李纲认为，只有让岳飞隶属于他，在他的调教下，岳飞才有可能成为一代中兴名将，反而反之，就容易让岳飞滋生骄躁之心。
李纲和岳飞在绍兴二年有过短暂的共事，当时李纲受命宣抚荆湖，岳飞则在李纲手下奔波剿匪，但在李纲任期快结束的时候，两个人有过一次不太愉快的经历。矛盾缘由很简单，当时南宋的荆湖地区布满了大大小小的流寇，但由于怂军的战斗力实在是感人，各路政府军在平叛的过程中也不乏各种吃瘪，而岳飞就是在这个过程中脱颖而出的，与其他悲催的友军不同，岳飞一路砍瓜切菜，平推了各类大大小小的流寇。
李纲对于岳飞的赏识在他的文集中随处可见，但与此同时，李纲也发现了另一个很棘手的问题，就是以他的能力驾驭不了岳飞。
大约在绍兴二年年末，岳飞初步平定了曹成之后，李纲给赵构写了好几封奏议，大意是虽然荆湖的寇患已经大为缓解，但依然需要岳飞这样的名将坐镇一方，所以请求赵构将岳飞留在荆湖地区。
平心而论，李纲这个要求其实也不算过分，因为先前岳飞在理论上是受他节制的。问题就出在接下来发生的事情，岳飞不久之后同样给赵构写了一封奏议，内容和李纲的建议截然相反，大意是荆湖地区的寇患已经平定的差不多了，所以让我离开荆襄、转屯其他地方吧。
讽刺的是，赵构最开始对李纲多次要求岳飞留守荆襄的奏议置若罔闻，反而等到岳飞的奏议一上，马上态度大反转，直接顺水推舟的批准了岳飞移屯江州的请求。所以李纲得到这个消息后大为光火：我苦口婆心的提议你们不听就罢了，怎么反过来对违背我意愿的手下这么言听计从了？你们让我以后还怎么建立威信？
李纲当时对吕颐浩吐槽如下
近蒙朝廷差拨岳飞一军存留本路措置盗贼，专听某节制，方幸有可倚仗，忽闻以岳飞奏报本路羣盗已是静尽，却有指挥依旧屯驻九江，殊失所望。
李纲在对吕颐浩的吐槽中语气还比较客气，但李纲在对秦桧的信中吐槽岳飞的言语就已经很难听了，指名道姓说岳飞“欺罔朝廷”，并期望秦桧能帮助他拆分岳飞的部队，另外李纲无不担忧的对秦桧说，这样下去，我们这些地方帅臣还怎么节制这些武夫啊。
岳飞一军本司累具申奏祈告朝廷，方蒙矜从，今以飞片纸虚辞即行改命，窃恐朝廷所以待大帅与武将者轻重不伦，为有识者之所窥测，若且下本司体究着实，然后降旨，似为得体，幸望洞察
飞惮于回军，辄敢欺罔朝廷，理须行下本司体究着实乃为得体，今遽已改命，使武夫悍卒谓朝廷可欺以自便，帅臣不能制其进退，恐非计之得也，如岳飞果已别降指挥，不敢再三烦紊，朝廷只乞拨还韩京、呉锡、呉全三项军马，庶几贴助见管单弱之兵可以支梧，目前不然决难以自立，京、锡等乞回避岳飞状备録申枢宻院，并乞照察。
另外李纲也给其他阁臣的信中提到了岳飞的问题，内容大同小异。
近蒙朝廷差岳飞在本路措置盗贼，被受劄子，未旬日间，已别有指挥，如止坐飞奏而改命，恐武夫不复可号令矣。
岳飞闻已别降指挥，章奏累上，仅得之而飞一奏，即免行事，至于此，夫复何言？
而当时荆襄战区和岳飞发生观念碰撞的地方官员不止李纲一人，吕祉当时也是站在李纲的立场上对岳飞愤恨不平。
近以權要撫之，故亦頗有過舉，呂憲（即时任荆湖提刑的吕祉）書中能道其詳，俟續納呈，
翻译：近来朝廷一直在用高官重禄来拉拢岳飞，这种行为反而让他滋生了很多错误的做法，吕祉在给你的信中会把这些事情的来龙去脉讲清楚，希望不久之后你（指秦桧）能看到。
当然彼时的赵构并没有把李纲和吕祉对岳飞的抱怨当回事，不久之后，岳飞就被重新调配到江西安抚大使李回的辖区继续作战了。
李回本人同样对岳飞的军事能力赞叹有加，但讽刺的是，后来李回和岳飞也发生了不愉快，
詔漕臣曾紆津致錢糧為軍中五月之費,而鼎督趣之,(李)囬與（岳）飛不協,至鼎推誠待之,飛亦心服.
而李回和岳飞的矛盾表面上是因为岳飞酒后殴打赵秉渊所致，
是飛在洪州與江南兵馬鈐轄趙秉淵飲大醉擊秉淵，幾死，帥臣李囬奏劾之，及是上戒飛止酒，飛遂不飲……江東宣撫使劉光世與秉淵素厚，奏秉淵還建康以避之。
但根本原因还是岳飞和李回在争夺部队的归属权。
始統制官傅選屯江州，李山知蘄州，皆受囬節度，飛受命奏乞選山皆為本司統制，於是飛始能成軍，
可见岳飞和李回的矛盾与其和李纲的如出一辙，都是关于地方军政的话语权，一个中层武将能竟然能跟宣抚地方的主政文官争夺嫡系部队，这放在有宋其他年代都是匪夷所思的事情，赵构彼时对岳飞的偏爱可见一斑。
而当时岳飞的势力不断扩张的结果，也引起了其他官员的警惕，例如胡寅再给张浚的信中就提到过。《斐然集》
今聞祁超一軍又為岳飛所併，而任士安、吴錫、郝晸、王宗等飛盡欲得之，飛本忠義自立，初不若是有所效而為之。
虽然胡寅对岳飞的评价是“忠义自立”，但在吐槽南宋诸将尾大不掉的现状时还是专门拿岳飞出来举例。
再比如吕颐浩的左右手席益曾经质疑岳飞玩寇自重。《金佗稡编》
時張浚以都督軍至潭帥，參政席益與浚語及之，益疑飛玩寇，欲奏聞。浚笑曰：岳侯忠孝人也，足下何獨不知用兵有深機，胡可易言？益慙乃止。
朱胜非的副手徐俯曾经极力反对岳飞宣抚荆襄，甚至因为因此被罢官。
趙鼎曰知上流利害無如飛者，徐俯獨以為不然。
秦桧的挚友李光曾经质问赵构，凭什么对“未立尺寸之功”的岳飞和韩世忠这么好。《历代名臣奏议》
臣观诸将各有所长，不可偏任，如张、刘之持重，韩、岳之骁勇，政在陛下区处驾御之耳，韩世忠、岳飞其实未立尺寸之功，宠任之专，恩数之隆，锡赉之厚，莫与为比，而隂拱傍观者，惟幸其不成功。
而上文中一直偏袒岳飞的张浚后来也和岳飞闹翻了，所以陈公辅同样吐槽赵构惯坏了岳飞，正是因为先前赵构对岳飞过于纵容，才让今天岳飞敢于和宰相张浚闹矛盾。
前此朝綱不振，諸將皆有易心，習以為常，此飛所以敢言與宰相議不合也。
不难看出岳飞和这些南宋文武官员发生矛盾的根源还是赵构对岳飞的态度，赵构在绍兴元年到绍兴七年之间以几乎违反祖制的态度在光速提拔岳飞，期间赵构更是几乎是无视了朝野上下几乎所有对岳飞的批评和弹劾，这种脱离官僚系统的偏袒自然而然的会引起其他官员对岳飞的不满。
而在岳飞视角，岳飞一直和那些满脑子强调“以文制武”的主政文官不太对付，反倒是和赵鼎这样没有架子、平等交流的官员相处的很友好。
至鼎推誠待之,飛亦心服.
当然后来还有一个秦桧。
如襄阳一路，愿陛下除秦桧为都督，以岳飞次之，诏刘岑为参谋，复以蒋粲为参议，何以言之？桧见任枢密，宽而有容，岑与粲才术过人，喜於立事，观其应变，亦善与人。
可见在当时的世人眼里，秦桧这种“宽而有容”（装出来的）和赵鼎这样“推誠待之”的宰相，才可以和岳飞友好的相处。
