Был женат на Матрёне Васильевне Костроминой (1882-1939). Имели они четырнадцать или тринадцать детей, до взрослого состояния дожили восемь, пятеро умерли в младенческом возрасте от кори и скарлатины.
Племянница Даниила Ильича — Таисия Яковлевна Ермилова (Иванеева) рассказывала, что «от горла» у Харламовых одновременно умерли трое или четверо детей. Бабушка Матрёна восприняла это горе внешне спокойно, сказала только с христианской покорностью:"Бог дал, Бог взял«. Бабушку похоронили рядом с могилками её детей, могилки уже невозможно определить, расположены они рядом с памятником на могиле Матрёны Васильевны.
В двадцатилетнем возрасте деда призвали на действительную службу (1901-1905), в 1901 году родился сын Дмитрий, в 1908 году наша мама, Анастасия Даниловна. В июле 1914 года предвоенная Вера Даниловна, и дед был призван на германскую войну, воевал, примерно, до сентября 1917 года, 1 августа 1918 года родился Василий Данилович. Выше говорилось о фотографиях деда при уходе на службу и возвращении с войны.
За германскую войну Даниил Ильич награждён Георгиевским крестом и двумя медалями, воинское звание — вахмистр.
Когда деда мобилизовали белые, и его службу в гражданскую войну установить не удалось. Известно только, что гражданская война для него закончилась в Крыму (красными Крым был взят 17 ноября 1920 года). Домой Даниил Ильич возвращался вместе с Яковом Семёновичем Иванеевым (муж старшей сестры Агафьи), шли они пешком, по дороге Яков Семёнович заболел тифом и умер. Возвратился Даниил Ильич в хутор один.
Мама рассказывала, что пришёл он домой ночью (скорее всего в конце декабря), долго стучал в дверь, но ему не открывали, потому что домочадцы не узнавали деда даже по голосу, настолько простужен и истощен был Даниил Ильич.
Жизнь продолжалась. В 1921 году родился Евгений. Больше дед уже не воевал, в 1941 году ему было уже шестьдесят лет, занимался своим исконным делом — сельскохозяйственным производством. Рождались дети, в 1925 году — Андрей, в 1927 году — Анна, в 1930 году — Мария. Овдовел дедушка в 1939 году, бабушка Матрёна долго болела. Больше Даниил Ильич не женился, жил с детьми.
Первым покинул родовое гнездо Дмитрий Данилович, ещё в гражданскую войну и надолго выбрал путь службы в армии. В 1926 году выдали замуж нашу маму, Анастасию Даниловну, в 1932 году — Веру Даниловну, в октябре 1939 года призван на службу Василий Данилович, учился в Константиновском педучилище Евгений Данилович.
После 1937 года Даниил Ильич остался единственным мужчиной по дедовской горизонтали обеих родов. Практически, реликт. Наверняка был бы и он уничтожен, но после ареста брата Ильи Ильича, написал дед письмо сыну своему Дмитрию, который в это время служил в политорганах и был в подчинении у Рокоссовского, в городе Нерчинск.
Дмитрий Данилович приехал в хутор, дяде родному помочь не успел, того уже расстреляли, но повстречался с Ломакиным Артёмом Ионовичем. Ломакина тогда называли «член правительства», видимо был он депутатом Совета высокого уровня, в арестах людей принимал активное участие, давал обличающие показания.
Дмитрий Данилович пригрозил или предупредил Ломакина, что если с отца, Даниила Ильича, упадет хоть один волос, будет найдена управа и на Артёма Ионовича.
Деда Даниила не арестовали, но ждал он ареста долгое время. Об этом периоде со слезами на глазах рассказывал Андрей Данилович: «У отца была приготовлена к аресту сумка с одеждой и харчишками, держал он эту сумку всегда наготове. Однажды подошла машина, остановилась рядом, дед взял свою сумку, попрощался с женой и детьми, вышел на крыльцо, но забрали соседа». Минула чаша сия Даниила Ильича.
Ушёл из дома на войну Евгений Данилович, хуторской учитель. Пережил войну Даниил Ильич с младшими дочерьми Анной и Марией. В 1946 году Анну отправили в лагерь на три года за три килограмма зерна, в 1949 году умерла младшая дочь Мария.
Остался дедунька один. В это время, возвратившийся с фронта, Василий Данилович работал в Константиновской, перевёз отца вместе с домом в Константиновскую, где и прожил дедушка в семье Анны Даниловны до 1966 года, похоронен на Константиновском кладбище, в возрасте восьмидесяти пяти лет.
Видели мы его в последний раз с братом Иваном в 1965 году, ездили к деду в гости на мотоцикле. Дедушка выглядел ещё хорошо, но страдал склерозом. Долго на нас смотрел, не узнал, спросил: «Ребята, чьи вы будете?» Мы ему объяснили, но через некоторое время он снова задал нам тот же вопрос. Посадили мы его в люльку мотоцикла, привезли к тёте Вере, пообедали, он ещё выпил стопку водки. Когда возвращались назад, брат высказал мысль, что печально видеть деда в таком состоянии, остался бы он в нашей памяти более молодым, активным, находящимся в постоянном движении. Когда он приходил или приезжал к нам в гости в Семикаракорск — сразу же брался за работу: ремонтировал забор, стругал и прибивал доски, мастерил какие-то скамейки, одним словом, наводил в нашем хозяйстве порядок и спешил домой. Я не могу вспомнить, чтобы он бывал у нас более одного дня, хотя мать со слезами уговаривала его погостить ещё. Самым страшным ругательством у него было выражение — «изверг сопатый», что это значило, знал только он один. Дед был искренне верующим человеком. В начале пятидесятых годов, я жил два года у деда и тёти Ани — учился в техникуме, и наблюдал, как дед читал библию и ещё какие-то церковные книги, художественную литературу не любил, а газеты выписывал и читал регулярно. Носил дед бороду и усы, расчёсывал их щеткой, без бороды и усов мы его никогда не видели.
