A zenekart szerződés kötelezte, hogy még karácsony előtt összehozzon egy új albumot, s mivel kevés új anyag volt raktáron, több mint egy hónapon át írtak és rögzítettek új dalokat a későbbi Rubber Soulhoz.

      1965 végére a Beatles nagyjából elveszítette kollektív energiáját, de mindegyikük felfedezte az ihlet új formáit, melyekkel feldobhatták a felvételekkel eltöltött hosszú időt.

      John szabadon kísérletezett az LSD-vel – vagy „acid”-del, ahogyan általában nevezték, - a tudattágító hallucinogén kábítószerrel, ami az Egyesült Királyságban akkor még legális volt. Újra írt, és júliusban megjelentette második könyvét, ezúttal egy karcsú kötetnyi nonszensz-verset, ismét szójátékos címmel: Spaniard In The Works.

      George a Help! Forgatása alatt felfedezte az indiai szitárt, s e hangszer megjelenése John mélyről jövő Norwegian Wood című számában végre lehetővé tette, hogy George valami kiemelkedővel járuljon hozzá a Beatleshez.

Paul egyre több időt töltött barátnője, Jane Asher színésznő kiváltságos családjával, küzdött, hogy elfogadtassa magát a brit elittel. Ringo eközben csak élvezni akarta munkája gyümölcseit, s keveset értett meg a többiek törekvéséből.

      A Rubber Soul nyugalmasabb album volt, elsősorban Geogre If I Needed Someone-jának és John Nowhere Man című kompozíciójának magába forduló hangulata határozta meg. Hamarosan rádöbbentek, hogy az olyan bonyolult, személyes balladákat, amilyen az In My Life, nem lehet visongó tizenévesekből álló közönség előtt előadni. Ez vetette el a Beatles színpadról való visszavonulásának magvait. 1965 végén levezényeltek egy rövid, mindössze nyolc várost érintő brit turnét: a műsor 11 dalból állt csupán, többnyire régi kedvencekből – ami rendben is volt, hiszen a tömeg ezeket akarta hallani.

      Csak John, Paul, George és Ringo tudta, hogy ez lesz utolsó brit koncertturnéjuk. Bár vissza szándékoztak vonulni a koncertezéstől, voltak még kötelezettségeik.  Első és utolsó japán koncertjeiket – öt este a 10.000 férőhelyes Nippon Budokan Csarnokban – elképesztően sok, 3000 rendőr biztosította, amiből a japán Beatles-mánia legelfojtottabb megnyilvánulása következett.

      Talán nagyon is itt volt az ideje a visszafogottabb hozzáállásnak: 1966 júliusában a Beatles-őrület szomorú eredményekkel járt. A Fülöp-szigeteken tett látogatásuk során véletlenül semmibe vették a First Ladyt, Imelda Marcost, amikor nem jelentek meg a Malacanang Palotában adott fogadáson. Ki kellett magukat csempészni az országból, a repülőtéren pedig dühös tömeg „köszöntötte” őket.

      Brian Epsteint és a Beatles megbízható testőrét, Mal Evanst pedig megverték és megrugdosták. Bár nem tudtak róla, az erőszak átterjedőben volt az Egyesült Államokra is.