Ivan Milavec se je rodil 21. februarja 1874 v Blekovi vasi pri Zgornjem Logatcu. Orglarske obrti se je izučil pri mojstru Francu Goršiču, pri katerem je po znanih dokumentih delal kot vajenec od 21. septembra 1888 do 21. januarja 1892. Po končani vajeniški dobi je v Goršičevi delavnici pomagal vse do 18. maja 1895. Istega leta, 20. maja, pa je stopil v Lenarčičevo delavnico za harmonije na Vrhniki, kjer je ostal do 29. septembra 1895. Nato je odšel k vojakom. Ko je 18. septembra 1898 slekel vojaško suknjo, se je zaposlil v Krieglovi orglarski delavnici, kjer je delal do 14. oktobra 1900.
Kljub nasprotovanju družine se je 14. maja 1899 oženil s Paulo Jarec (1876-1953) s Sv. Katarine – Topol. Od devetih Milavčevih otrok jih je dolgo živelo samo pet. Hči Pavli (1903-2000) je velikokrat pripovedovala, da so bili očetovo največje veselje glasba, petje in ples. Sam si je izdelal tudi pesmarico, v katero si je zapisoval besedila in note. Najraje pa je hodil z ženo na ples v rokodelski dom.
Po pričevanju hčere Mare (1905–2010) je bilo v Milavčevi orglarski delavnici zaposlenih 12 pomočnikov in 4 učenci. V delavnici je bilo 13 ponkov in karbidovk, ogromno lesa, cinka … Milavec je v orglarsko delavnico vedno hodil napravljen v sivi halji in z metrom. Pavli je pravila: »Ne le za nas, za ves Bežigrad je bil praznik, kadar je oče izgotovil orgle. Čakale so le še na visoki obisk dveh gospodov, ki sta vedno pripešačila skupaj. Bila sta Franc Kimovec (1878–1964) in Stanko Premrl (1880– 965). Prihajala sta kolavdirat orgle, jih strokovno pregledat. Otroci nismo nikoli zamudili njunega prihoda po strmem makadamskem klančku z Linhartove. Nestrpno smo ju pričakovali, predvsem Kimovca. Bil je dobrohoten mož, pred obiskom si je svoje žepe napolnil z bonboni. Veselo nam jih je delil in se smejal našemu navdušenju in skakanju okoli njega.«
V Milavčevi delavnici je v dobrih desetih letih nastalo 37 orgel. Pri njem so se izučili mnogi orglarji, ki so delovali po vsej Sloveniji.
Skrivnost hitre in prerane očetove smrti je razkrila hči Mara: » Očeta je nekega dne začel boleti trebuh, mama mu ga je grela, da bi bolečina prešla. Bolečina je naraščala, nazadnje so ga le odpeljali v bolnico. Operiral ga je vojaški zdravnik dr. Stojc. Oče je imel visoko vročino in je prosil mamo, naj mu prinese toplomer, ker mu v bolnici nočejo izmeriti temperature. Mami je tudi svetoval, naj zdravnika toži. Bilo je 18. januarja 1915 ob treh zjutraj, ko so prišli iz bolnice mami povedat, da je njen mož zelo slab. Odhitela je k njemu. Razlitje slepiča je povzročilo vnetje trebušne votline, antibiotikov pa ni bilo. Ob pol štirih zjutraj je umrl.«