Arif Sağ, 1945 senesinde Erzurum vilayetinin, Aşkale kazasının Dağlı köyünde hayata gözlerini açmıştır.
Çocukluğunda babasına ait değirmende çalışır. Beş yaşında kaval, bir yol sonraysa plak ve gramofon ile karşılaşır. Yedi yaşında Kumaş Dede'nin dükkanında sazıyla tanışır. On dört yaşında deyişler seslendirmeye başlayan Arif Sağ, sonraki yıllarda Nida Tüfekçi'nin talebesi olur.
1960 ve 1970 seneleri arasında resmi kurumların müzik uygulamalarına yönelir.
1963 senesinde ilk plak çalışması Gafil Gezme Şaşkın Bir Gün Ölürsün'ü piyasaya sürer.
1965 senesinde bağlama sanatçısı olarak İstanbul Radyosunda çalışmaya başlar.
Plak dönemi boyunca, kırk beşten fazla plak, iki yüzün üzerinde besteye imza atar. Farklı sanatçılara sazıyla eşlik eder. Besteleri birçok sanatçı tarafından paylaşılır.
1970 senesinde Yıldız Hanım'la evlenmiştir. Bu evlilikten Tolga ve Aslı adlarında iki evlada sahip olmuştur. Eşi Yıldız Hanım, "Sevemedim Kara Gözlüm" isimli şarkının beste sahibi Abdullah Nail Bayşu adlı sanatçının evladıdır. Eşi Yıldız Bayşu, 2016 yılında kanser teşhisiyle vefat etmiştir.
1975 senesinde faaliyete geçen İstanbul Devlet Türk Müziği Konservatuvarında öğretim üyeliği yapmaya başlayan Arif Sağ, akademik faaliyetlerini bu zaman diliminde başlatır.
1982 yılında gelindiğinde buradan da ayrılarak, kendi işlettiği Arif Sağ Müzik Evini açar. Aynı zamanda "Muhabbet" serisinin çalışmalarına da katılır. Muhabbet serisi, Muhlis Akarsu, Musa Eroğlu, Yavuz Top ve Arif Sağ'dan oluşacaktı.
1982 senesinde İstanbul'da ilk resitalini gerçekleştirir. Sazımızı sözümüzü tanıtan konserler için yurt dışına gider.
1987 ve 1991 yılları arasında mecliste milletvekili olarak yer alır.
1996 senesinde Almanya Cumhurbaşkanı Roman Herzog desteğinde Köln'de Flarmoni Orkestrasıyla beraber verdiği konserde Anadolu müziğini yurt dışındaki müzikseverlere tanıtmıştır. Bu faaliyete Erol Parlak ve Erdal Erzincan da katılmışlardır.
Flamenko gitaristi Toma Tito ile beraber Avrupa'da konserler gerçekleştirerek sazımızı yurt dışında tanıtmıştır.
2009 senesinde Erdal Erzincan ile beraber yazdığı "Bağlama Metodu" isimli bir kitabı bulunmaktadır.
1981 senesinden 2011 yılına kadar, Erol Parlak'la, Belkıs Akkale'yle, Musa Eroğlu ve çeşitli sanatçılarla birçok albüme imza atmıştır.
2017 senesinde akciğer kanseri rahatsızlığıyla hastaneye kaldırılan Arif Sağ, yapılan operasyonla şifaya kavuşmuştur.