Po uzavření Vídeňského míru byl na jaře 1814 pověřen, společně s ruským komisařem Šuvalovem a pruským Truchsessem, doprovodem císaře Napoleona z Fontainebleau na Elbu.

Byl vyslancem v Petrohradu a od roku 1820  generálním intendantem v Neapoli. Kromě svých úředních povinností se zúčastnil archeologických vykopávek v Pompejích a městě Herculaneum. Množství nalezených vzácných předmětů posílal se svolením neapolského krále do zámku v Obříství, který zakoupil v roce 1817, postupně dostavěl do současné podoby a zřídil v něm pozoruhodné antické muzeum, které však nebylo veřejnosti přístupné.

Jaké záměry měl Koller s tímto bohatstvím, odhadovaným na deset tisíc exemplářů, není dodnes zcela jasné, on sám, ani jeho pobočník Matěj Polák, se o svých plánech nikomu nikdy nezmínil. Vzhledem k tomu, že Koller byl ve spojení s předními kulturními osobnostmi a činiteli v Čechách, od nichž vyšel popud k založení Vlasteneckého muzea v roce 1818, předpokládáme, že budoucnost svých antických pokladů spojoval s budoucností českého muzea. Nasvědčuje tomu i jeho členství ve Společnosti vlasteneckých přátel umění, společnosti sice šlechtické, ale schopné uvádět své kulturní invence v život.

Do Obříství se však již nevrátil, v Neapoli se nakazil tyfem a ve věku 59 let předčasně zemřel. Podle poslední vůle bylo baronovo nabalzamované tělo dopraveno do Čech a zde za obrovské účasti c.k. vojska, jeho důstojnického sboru, duchovenstva z pražské kapituly a dalších cca 12 000 účastníků pohřbu uloženo v hrobce pod presbytářem sv. Jana Křtitele.

V životě Františka Kollera a Obříství hrálo velkou úlohu číslo 7. Je zajímavé, že v Obříství byl poprvé v roce 1787, když byl poručíkem a už tehdy se mu panství s okolím zalíbilo. Podruhé navštívil Obříství v roce 1797 jako setník, při třetí návštěvě již jako generál a velitel pěší divize, je pak zakupuje od hraběte Clamm-Galase za 640 000 zlatých. Naposledy do Obříství přijíždí 5. května 1727, tentokrát jako nabalzamovaný nebožtík na lafetě děla.

V Obříství zanechal nesmazatelné stopy. Nejen že přestavěl starou tvrz na moderní zámek, ale vybudoval novou silnici od návsi ke Štěpánskému přívozu, posílil hospodářství vybudováním velkých kravínů a stodoly s pěti mlaty apod.

František Koller byl ženatý s Johannou, rozenou von Gränzenstein, se kterou měl tři syny – Gustava, Viléma a Alexandra a dceru Johannu, roku 1833 provdanou za hraběte Karla Thuna.

Jeho sbírka zůstala na zámku až do roku 1828, kdy ji vdova z finančních důvodů nabídla k odkoupení muzeu v Praze, to však neprojevilo zájem a tak tuto unikátní sbírku (1348 váz, 671 terakot, 186 sklenic a bronzových věcí, 60 kusů mramoru a 28 egyptských památek aj.) nabídla pruskému králi Bedřichu Vilému III. (Fridrich Wilhelm III), který shodou okolností pobýval v lázních v severočeských Teplicích.

V květnu 1828 se v Obříství objevil berlínský archeolog a náměstek ředitele budoucího královského muzea Konrád Lewezow, aby sbírku ohodnotil. Po třech týdnech bylo rozhodnuto – na jeho návrh král kolekci odkoupil za dvě stě tisíc pruských tolarů.

Lewezow sbírku rozdělil na několik částí, antické sochy přidělil Galerii skulptur, egyptské památky přešly do egyptského oddělení a další část do sbírek University v Lipsku. Berlínské muzeum, které bylo dostavěno v roce 1830, mělo zvláštní oddělení Kollerische Vasensammlung – Kollerova sbírka, obsahující 1348 váz. V takto uceleném stavu vydržela až do druhé světové války, kdy byla v bednách uschována v depozitářích. Během bombardování Berlína pak byla část beden zničena a po ukončení války rozdělena mezi Východní a Západní  Berlín. Předměty pak byly uloženy v Pergemonském muzeu v bývalém hlavním městě NDR, avšak již ne v celku, nýbrž podle časových a zeměpisných ukazatelů. Jinak dopadla druhá část sbírky, kterou mělo ve správě Antické muzeum v Západním Berlíně. Zde byla vystavěna pouhá část, zbytek byl uložen v depozitáři.

Zbytek předmětů, které na zámku v Obříství zbyly prodala Kollerova vdova do Záhřebu a posledními předměty pak podarovala své známé.

Kollerova sbírka se někdy přirovnává k proslulým sbírkám císaře Rudolfa II. Bohužel z ní v Obříství, až na dvoumetrový kříž, který dal František Koller vybrousit z lávy Vesuvu, a který stojí na místním hřbitově, nezůstalo nic.

Generálova vdova se poté provdala za barona Mořice ze Salhausenu, rovněž vojáka, který zemřel roku 1835. Rod Kollerů vymřel roku 1915.