Paměti mají formu dopisů dvořákovskému badateli Otakaru Šourkovi, s nímž byl Kovařík v kontaktu téměř až do své smrti roku 1951. Kovaříkův otec odjel z Čech do Ameriky roku 1868. Usadil se v obci Spillville a stal se významnou postavou tamního hudebního života. Syna poslal studovat hudbu do staré vlasti a Jan Josef byl skutečně přijat ke studiu houslové hry na Pražské konzervatoři.
Podivný pán z knihkupectví
Dvořáka poprvé potkal na přelomu let 1888 a 1889 v pražském knihkupectví Františka Urbánka, kam si chodil číst americké noviny. Seznámení osmnáctiletého mládence se slavným skladatelem bylo poněkud zvláštní. „Pojednou stanul mistr přede mnou, vytrhl mně listy z rukou a povídá: To vypadá jako americké noviny, půjčte mi je!“ popsal v jednom z dopisů Kovařík první dialog. „Jak jsem mu jich měl půjčit, když již je měl v rukou?“ přiznal své rozpaky. Dvořák napřed nevěřil, že Kovařík je z Ameriky, přesvědčila ho teprve jeho angličtina. „Podivný pán, myslel jsem si,“ okomentoval Kovařík svůj dojem.
Po rozpačitém začátku se však oba muži spřátelili a Dvořák Kovaříkovi navrhl, aby ho doprovázel do Ameriky. Dokonce mu zařídil místo profesora houslí na National Conservatory of Music of America, kde sám vyučoval. Kovařík se tak stal Dvořákovým spolupracovníkem a opisovačem, doprovázel ho na prázdninový pobyt do Spillvillu, sledoval vznik jeho skladeb včetně Novosvětské symfonie. Byl také svědkem úvah o složení americké opery Hiawatha, podle básně Henryho W. Longfellowa. Ta Dvořáka zaujala už v Čechách, ale ke kompozici nakonec nepřistoupil kvůli nízké kvalitě libreta.
Hledali holuby a lokomotivy
Před čtenářem vyvstává Dvořák jakožto člověk uzavřený, ale laskavý a bodrý, někdy však také výbušný. Kovařík ho upřímně obdivoval. Hledal s ním například holuby, které Dvořák tolik miloval, ale v New Yorku je postrádal. Nakonec je objevili v malé zoo v Central Parku. Horší to bylo s lokomotivami, další Dvořákovou láskou. V New Yorku v té době bylo jediné nádraží, na něž kromě cestujících nikoho nepouštěli. „A tak vynašel si mistr nového koníčka, a sice lodě, lépe řečeno parníky,“ vzpomíná Kovařík.
Dvořák také učil mladšího přítele karetní hru darda. Jako učitel byl prý velmi trpělivý, ale při hře tomu bylo jinak. „Mistr hrál klidně, pokud vyhrával, ale jakmile dvakráte po sobě prohrál – bylo zle! Nebylo jediného večera, by se mistr při dardě nerozčilil, ba nerozházel karet po celém pokoji a nepoctil mne všemožnými tituly. Nejraději mne tituloval indiánem,“ vzpomínal Kovařík, podle nějž ovšem přízvisko „indián“ či „indiánek“ Dvořák používal stejně tak v hněvu jako v dobrém rozmaru.
Kovařík vyvíjel i vlastní kariéru, přes čtyřicet let byl členem Newyorské filharmonie. O Dvořákův odkaz však pečoval až do konce života.
