بدأت الرقابة المالية مع إشراقة عصر النهضة المباركة في عام 1970م ممثلة في دائرة تدقيق الحسابات بالمديرية العامة للمالية وكان دورها يقتصر على تدقيق السندات قبل الصرف.
استقلت دائرة تدقيق الحسابات عن دائرة المالية وفقاً للمرسوم السلطاني رقم 6 / 74 الصادر بتاريخ 12 فبراير 1974م لتكون تحت مسؤولية وزارة شؤون الديوان السلطاني، وأُنيط بها الرقابة المالية على الأجهزة الإدارية ومعالجة ما يعن لها من ملاحظات، ثم شرعت في إبلاغ تقاريرها مع بداية عام 1975م، كما عُنيت آنذاك بتدريب موظفي الأجهزة الإدارية بهدف تحسين أدائهم.
صدر قانون تنظيم الجهاز الإداري للدولة بالمرسوم السلطاني رقم 26 / 75 وأتبعت دائرة تدقيق الحسابات إلى وزارة شؤون البلاط السلطاني، إلى أن صدر المرسوم السلطاني رقم 24 / 81 باعتماد الهيكل التنظيمي لهذه الوزارة وتحولت الدائرة إلى مديرية عامة لتدقيق الحسابات حتى عام 1983م، حيث أتبعت المديرية العامة مباشرة إلى معالي السيد وزير شؤون الديوان السلطاني بالمرسوم السلطاني رقم 65 / 83 .
صدر أول قانون يختص بتنظيم تدقيق حسابات الدولة بتاريخ 10 مارس 1985م بالمرسوم السلطاني رقم 36 / 85 متضمناً الأهداف والاختصاصات والمسؤوليات المنوطة بالمديرية العامة ومحددًا الجهات الخاضعة لرقابتها والتقارير الدورية والسنوية الصادرة عنها.
عدل مسمى المديرية العامة لتدقيق الحسابات اعتبارا من 3 يناير 1989م بموجب المرسوم السلطاني رقم 81 / 89 إلى الأمانة العامة لتدقيق الحسابات، وبتاريخ 30 ديسمبر 1991م صدر المرسوم السلطاني رقم 129 / 91 الذي عدل مسماها لتكون الأمانة العامة للرقابة المالية للدولة، متضمنًا قانون الرقابة المالية للدولة ليحل محل نظام تدقيق الحسابات المشار إليه.
بتاريخ 22 نوفمبر 1999م صدر المرسوم السلطاني رقم 95 / 99 بتعديل مسمى الأمانة العامة للرقابة المالية للدولة إلى جهاز الرقابة المالية للدولة كجهاز قائم بذاته يتمتع بالاستقلال المالي والإداري، وتعيين معالي السيد/ عبدالله بن حمد بن سيف البوسعيدي رئيسًا للجهاز، ليكتمل له كل مقومات الاستقلال والحياد وما تبعه من إصدار قانون جديد للرقابة المالية بالمرسوم السلطاني 55 / 2000 واعتماد الهيكل التنظيمي الجديد للجهاز بالمرسوم السلطاني 56 / 2000 ليطل الجهاز خلال هذه المرحلة التي استمرت قرابة ثلاثة عقود ونصف وقد اكتملت له كل المقومات المؤهلة لمسايرة ركب الأجهزة الرقابية الدولية.
تاريخ 2 مارس 2011م صدر المرسوم السلطاني رقم 27 / 2011 في شأن تعديل مسمى جهاز الرقابة المالية للدولة إلى جهاز الرقابة المالية والإدارية للدولة، وتعيين معالي الشيخ / ناصر بن هلال بن ناصر المعولي رئيسا له، وبتاريخ 24 أكتوبر 2011م صـدر المــرسوم السلطاني رقم 111 / 2011 بإصدار قانون الرقابة المالية والإدارية للدولة.
في العام 2014 أسند مجلس الوزراء إلى الجهاز متابعة وتنفيذ اتفاقية الأمم المتحدة لمكافحة الفساد وتولي الجهاز مهام هيئة مكافحة ومنع الفساد.
في العام 2021 صدر المرسوم السلطاني رقم 6 / 2021 بإصدار النظام الأساسي للدولة، وتم النص بموجب المادة 66 منه على أنه: ينشأ جهاز يسمى “جهاز الرقابة المالية والإدارية للدولة” يتبع السلطان، يختص بالمتابعة المالية والإدارية لوحدات الجهاز الإداري للدولة، وغيرها من الأشخاص الاعتبارية العامة، وذلك على النحو الذي يبينه القانون، وعلى الجهاز إرسال نسخة من تقريره السنوي إلى كل من مجلس الوزراء ومجلس الدولة ومجلس الشورى.
بتاريخ 16 يونيو 2022م صدر المرسوم السلطاني رقم 42 / 2022 بتعيين معالي الشيخ/ غصن بن هلال بن خليفة العلوي رئيسًا لجهاز الرقابة المالية والإدارية للدولة. وأعقبه صدور المرسوم السلطاني رقم 73 / 2022 باعتماد الهيكل التنظيمي لجهاز الرقابة المالية والإدارية للدولة