Absolut, det kan jag göra. Ursäkta om jag berättar saker som du redan har koll på, men jag tänkte att detta svaret även skulle kunna vara informativt för någon som inte har full koll. Efter att jag börjat skriva detta svar så började jag också undra om jag inte missförstått din fråga lite, men skit samma, nu tar vi det från början 
På Bitcoin-närverket så finns det en massa publika adresser där varje publik adress antingen kan innehålla en viss mäng Bitcoins (eller delar av en Bitcoin, typ 0.24) eller vara tom. Detta fungerar egentligen precis som vanliga postadresser. Vem som helst kan kolla upp en random adress, typ Drottninggatan 32 eller Sjöstigen 157 (även om Bitcoin-adresser inte har så snygga namn, utan snarare heter någonting i stil med 3k9xG1cdWaPyVNYJFMxc4La13hMtZmXcbJ), och se hur många Bitcoins den adressen innehåller samt vilka transaktioner som har gjorts mot den.
Om jag skulle vilja skicka de Bitcoins som finns på adressen Drottninggatan 32 till en annan adress så behöver jag dock ett långt och komplicerat lösenord. Den som har tillgång till detta lösenord har också full tillgång till dessa Bitcoins.
När man köper ett Bitcoin-certifikat på typ Avanza så håller certifikatägaren en motsvarande mängd Bitcoins. Om du ringer upp dem och ber om att få lösenordet till “dina” Bitcoins så kommer de dock, på ett snällt sätt förhoppningsvis, be dig att fara och flyga. Du har alltså inte mer tillgång till dessa Bitcoins än vad du har tillgång till det underliggande guldet om du köper ett guldcertifikat. Du får också en motpartsrisk i termer av att certifikat-utställaren skulle kunna tappa bort alla lösenord, bli hackad på alla lösenord eller själv ta alla lösenord och flytta till Bahamas. Dock är, som sagt, fördelen att du kan ha dessa Bitcoins i en ISK eller KF vilket skattemässigt är mycket trevligare än att behöva punga ut 30% på alla vinster varje gång du säljer.
När man köper Bitcoins på ett ställe som Coinbase så händer framförallt två saker. Dels kan du inte längre dra nytta av den lägre skatten som ISK och KF erbjuder utan måste skatta 30% på alla vinster. Dels så kan du faktiskt ringa upp Coinbase (eller ja, dutta på deras hemsida) och be om lösenordet till dina Bitcoins (eller, snarare så ber du dem att skicka dina Bitcoins till adress som du känner till lösenordet till). Om du däremot aldrig gör detta, utan låter Coinbase ta hand om dina Bitcoins åt dig så utsätter du dig för en motpartsrisk (Coinbase kan dra till Bahamas).
Vad du alltså kan göra är att skaffa en egen Bitcoin-plånbok (jag skulle säga att Electrum Bitcoin Wallet är den bästa/enklaste att använda för tillfället, men därom tvista de lärde), via denna få en eller flera adresser där man kontrollerar lösenorden, och sedan be Coinbase skicka alla ens Bitcoins till någon/några av dessa adresser. Då har man, i princip, full kontroll på sina egna Bitcoins. Coinbase-grundarna kan dra till Bahamas hur mycket de vill, du kommer alltid att ha kontroll över dina egna Bitcoins.
Varför jag säger “i princip” är för att det tyvärr inte är helt riskfritt/enkelt att ha koll på sina egna Bitcoins. Just med Electrum så har det exempelvis vid ett tillfälle hänt att deras hemsida blivit hackad och deras mjukvara blivit ersatt med en fejkmjukvara. Alla som använde denna fejkmjukvara för att hantera sina Bitcoins blev sedermera av med dem. Vidare så är det inte ovanligt att människor tappar bort sina lösenord, till exempel genom att inte ha någon backup på dem och sedan typ råkat tappa sin laptop i sjön. En del blir hackade också, även om det vanligaste är att folk blir bestulna via phising, där någon till exempel får dem att skriva in sina lösenord på någon skum hemsida.
När man håller sina Bitcoins själv så är man sin egen bank. Det innebär att man full kontroll på sina pengar och att ingen tredje part kan bestämma vad man får eller inte får göra med dem, men det innebär också att ingen tredje part kan komma och rädda en om man dabbar sig (vilket gör en mer ansvarig än en bank som i alla fall brukar få hjälp av staten ibland). Således, om man inte har koll på vad man håller på med så kan det vara bättre att låta någon börs eller liknande ha kontroll på ens Bitcoins. Man får göra en avvägning.
Att kryptobörser går helt åt skogen är heller inte helt ovanligt. Det har skett vid ett flertal tillfällen, där det kändaste exemplet antagligen är från 2014 då Mt. Gox, en sida likt Coinbase, under mystiska omständigheter blev av med/tappade bort/förskingrade (jag kan inte alla detaljer kring detta fall) lite över en halv miljon Bitcoins, alltså lite över 2% av alla Bitcoins som någonsin kommer att existera.
Om du är intresserad av att bli din egen bank, med allt vad det innebär, så råder jag dig dels att läsa på (nätet kryllar av tutorials) och dels att börja med ett litet belopp som du kan slarva bort utan att bry dig. I min mening så är användarbarheten på det här området tyvärr alldeles för dålig för att man ska kunna göra det på fem minuter och sedan vara nöjd med det. Det finns plånböcker till mobiler som tar typ så lång tid att sätta igång och göra backup på, men enligt mig så brister säkerheten där (i alla fall om man tänkte ha att göra med rätt så stora belopp). Varför skulle jag kunna gå in på, men det är en hel diskussion i sig.
Jag märker att jag skulle kunna skriva hur mycket som helst angående detta. Alla påståenden ovan kan kompliceras och utvecklas ytterligare (speciellt delen om lösenord som är en rätt förenklad och något felaktig förklaring), men jag har försökt att göra det så lättillgängligt som möjligt. Så jag sätter punkt här så länge så får vi se om folk tröttnat på mina walls of text eller om det kommer följdfrågor 