1939년 아일랜드 태생으로 네 살부터 플루트 레슨을 받으면서 지역 콘테스트에서 상을 3개나 휩쓰는 재능을 보였다. 그는 직업 플루티스트가 되기로 결심하고 런던의 로얄 칼리지 오브 뮤직 앤 길드홀 스쿨에서 공부하였다.
15년동안 카라얀이 지휘하던 베를린 필하모닉 오케스트라의 수석 플루트 연주자로 활동했다. 제임스 골웨이의 성공의 원인은 다양한 쟝르의 연주 레퍼토리에서 찾아볼 수 있다. 그는 전통적인 연주 레퍼토리와 함께, Henri Lazarof, Thea Musgrave, John Corigliano, and Lowell Liebermann와 같은 작곡가들의 새로운 음악과 기존 음악의 새로운 편곡을 선보였다. 그는 팝송과 크로스오버 연주 레퍼토리를 지양한다고 스스로 언급했으나, 종종 그의 음반은 크로스오버 부분에서 베스트셀러가 되기도 했다.