McCartney had van 1963 tot 1968 een relatie met Jane Asher. Na enige tijd betrok McCartney een zolderkamer in het huis van de familie Asher aan Wimpole Street in Londen.[2] McCartney schreef in deze kamer diverse nummers voor The Beatles. De relatie tussen McCartney en Asher kende ups en downs. Ruzies met Asher vormden voor McCartney soms de inspiratie voor een nieuw lied. Voorbeelden hiervan zijn We Can Work It Out en For No One.[3] Net als You Won't See Me, ontstond I'm Looking Through You uit frustratie van McCartney over het feit dat Asher voor haar werk lange tijd in Bristol verbleef om daar te acteren in een toneelstuk dat werd opgevoerd door de Bristol Old Vic Theatre Company.[4] McCartney was naar eigen zeggen gedesillusioneerd over haar toewijding aan hun relatie; door veel in Bristol te verblijven, koos ze in feite voor haar werk en niet voor hem.[4]
She went down to the Bristol Old Vic quite a lot around this time. Suffice to say that this one was probably related to that romantic episode and I was seeing through her façade. And realising that it wasn't quite all that it seemed. ... I remember specifically this one being about that, getting rid of some emotional baggage. 'I'm looking through you, and you're not there!'
The Beatles hadden moeite met het opnemen en perfectioneren van I'm Looking Through You. Van het nummer werden dan ook diverse arrangementen opgenomen.[5] Op 24 oktober 1965 begonnen The Beatles in de Abbey Road Studios in Londen aan de opnamen van de eerste versie van het nummer.[5] Deze versie is in 1996 uitgebracht op het verzamelalbum Anthology 2. Het arrangement en de instrumentatie van het nummer was bij deze eerste versie duidelijk anders dan bij de definitieve versie. Op de versie die deze dag werd opgenomen, ontbrak bijvoorbeeld de Why, tell me why-passage die in het uiteindelijke nummer wel is te horen. Bovendien is de toonsoort van de uiteindelijke versie een halve noot hoger en heeft het nummer een hoger tempo.
Op 6 november namen The Beatles in twee takes een remake van het nummer op. Deze remake was sneller dan de eerste versie.[6] The Beatles waren echter niet tevreden, want op 10 november werd wederom een remake van het nummer opgenomen.[6] Dit resulteerde in de definitieve versie van het nummer. Op 10 november werd de backing track van het nummer opgenomen.[7] Een dag later werden hier zang en hammondorgel bespeeld door Ringo Starr aan toegevoegd.[7] De versie op de Amerikaanse release van Rubber Soul begint met enkele malen hetzelfde gitaarintro. Deze versie zou bekend worden als "de versie met de valse starts".
· 
· 