Яков Григорьевич Жилинский родился 15 (27 по старому стилю) марта 1853 года. Военное образование получил в Николаевском кавалерийском училище, окончив которое в 1876 году, он был произведен в офицеры и направлен для прохождения службы в Кавалергардский полк. В полку он заведовал учебной частью.
В 1883 году Жилинский окончил Николаевскую академию Генерального штаба по первому разряду. По его просьбе он был направлен в строевые войска исполняющим должность полкового адъютанта. Затем служил при штабе Московского военного округа. До начала Русско-японской войны Жилинский занимал различные штабные должности и опубликовал ряд работ по военной истории.
Во время Русско-японской войны 1904-1905 годов Жилинский был направлен начальником полевого штаба главнокомандующего вооруженными силами на Дальнем Востоке. На этом посту он стал стратегическим советником адмирала Е.И.Алексеева. С начала января 1905 года Яков Григорьевич находился в распоряжении военного министра. В 1906 году Жилинский был назначен начальником 14-й кавалерийской дивизии, а в 1907 году - командиром 10-го армейского корпуса. В апреле 1910 года он был произведен в генералы от кавалерии.
В 1911 году Жилинский был назначен начальником Генерального штаба и занимал этот пост до марта 1914 года. По воспоминаниям генерала А.С.Лукомского, Жилинский крайне отрицательно относился к Государственной думе, что «…очень скверно отражалось на работе и вызывало ряд трений и недоразумений». Зато такое отношение Жилинского к Государственной думе нашло одобрение в придворных кругах и укрепило его авторитет и служебное положение.
На посту начальника Генерального штаба Жилинский провел ряд встреч с начальником французского Генерального штаба генералом Ж. Жоффром и от лица правительства принял на случай войны невыгодные для России обязательства. А именно: выставить после 15-го дня мобилизации 800-тысячную армию против Германии, вести военные действия на важнейших жизненных направлениях Германии, разбить германские войска в Восточной Пруссии или наступать на Берлин. Впрочем, такое настроение и уверенность в легкой победе было в предвоенное время характерно для многих высших офицеров русской армии.
В марте 1914 года Жилинский был назначен Варшавским генерал-губернатором и командующим войсками Варшавского округа.
В начале Первой мировой войны он возглавил войска Северо-Западного фронта, в состав которого вошли 1-я армия под командованием П.К.Ренненкампфа и 2-я армия под командованием А.В.Самсонова, а также конный корпус генерала хана Г.Нахичеванского.
В начале войны русское командование, понимая все преимущества, которые могло дать сосредоточение сил против Австро-Венгрии, но с другой стороны вынужденное направлять войска и против Германии, почти поровну распределило войска и почти одновременно начало наступательные действия против Германии в Восточной Пруссии и против Австро-Венгрии в Галиции.
В Восточно-Прусской операции, проводившейся Северо-Западным фронтом, русское командование намеревалось овладеть Восточной Пруссией до Вислы. Командующий Северо-Западным фронтом генерал Жилинский в директиве 13 августа поставил армиям следующие задачи: 1-я армия, охватывая левый фланг противника в обход Мазурских озер с севера, наступала на Истенбург и Ангербург; 2-я армия, обходя главными силами Мазурские озера с запада, - на Растенбург и Зеебург. Выполнив поставленные задачи, обе армии должны были, охватывая фланги противника, стремиться отрезать его от Кенигсберга и Вислы.
В свою очередь 8-я германская армия имела задачу не допустить проникновения русских войск в Восточную Пруссию. Командующий 8-й германской армией генерал Притвиц 14 августа решил оставить на южной границе Восточной Пруссии около 3,5 дивизий для прикрытия ее со стороны 2-й русской армии, а главными силами (3 корпуса и одна кавалерийская дивизия) нанести удар по правому флангу 1-й русской армии. Таким образом, на истенбургском направлении стороны вступили во встречное сражение.
17 августа 1-я русская армия перешла границу и в районе Сталупенена столкнулась с противником. Ренненкампф не смог разбить противостоящие его армии германские войска и отдал приказ о приостановке наступления.
20 августа в районе Гумбинена и в районе Гольдапа произошло столкновение главных сил противников. В начале сражения успех был на стороне немецких войск, но затем, понеся большие потери, они вынуждены были отойти. Немецкие войска не смогли добиться решающего успеха и в районе Гольдапа, где имели превосходство в силах.
В этот же день на юге Восточной Пруссии перешла границу и 2-я русская армия, угрожая окружением силам 8-й германской армии, действовавшим на истенбургском направлении. Вечером 20 августа Притвиц признал сражение под Гумбиненом проигранным и принял решение отходить к Висле, надеясь задержать продвижение русских войск на рубеже реки. Тем временем, в Восточную Пруссию по решению германского командования были переброшены дополнительные силы. Войска 8-й германской армии возглавил генерал Гинденбург, а начальником штаба стал генерал Людендорф. В результате действий русских войск германское командование изменило свои планы и вместо отступления решило разгромить 2-ю русскую армию, выставив против 1-й армии лишь слабый заслон - всего две дивизии.
При проведении Восточно-Прусской операции в результате неправильных действий самого командующего фронтом Жилинского и командующих 1-й и 2-й армиями русские войска понесли тяжелое поражение. В августе немцы отбросили фланговые корпуса, окружили и уничтожили центральную группу 2-й армии (около 5 дивизий) в районе восточнее Нейденбурга, вынудив остальные силы 2-й армии отойти к реке Нарев. Продолжая преследование 2-й армии, немецкое командование направило основные силы против 1-й русской армии, чтобы очистить территорию Восточной Пруссии от русских войск. Восточно-Прусская операция завершилась большими потерями со стороны 1-й армии и практически полным разгромом 2-й армии.
Великий князь Николай Николаевич телеграфировал императору: «Генерал Жилинский потерял голову и вообще не способен руководить операциями». Вслед за этим Жилинский был снят с должности командующего фронтом и был переведен в распоряжение военного министра.
В 1915 - 1916 годах он являлся представителем Верховного командования в Высшем союзном совете в Париже, принимал участие в качестве русского военного представителя в работе конференций военного руководства стран Антанты. В ноябре 1916 года был отозван в Россию и в сентябре 1917 года Жилинский был уволен в отставку.
После Октябрьской революции он перебрался на юг России и пытался эмигрировать за границу. В 1918 году Яков Григорьевич Жилинский скончался. По другим сведениям Жилинский в 1918 году был арестован красноармейцами и расстрелян.