تأسست جمعية العلماء المسلمين الجزائريين يوم 5مايو 1931 في نادي الترقي بالعاصمة الجزائرية على يد الشيخ العلامة عبد الحميد ابن باديس إثر دعوة وجهت إلى كل عالم من علماء الإسلام في الجزائر, من طرف هيئة مؤسسة مؤلفة من أشخاص حياديين ينتمون إلى نادي الترقي غير معروفين بالتطرف، لا يثير ذكرهم حساسية أو شكوكا لدى الحكومة، ولا عند الطرقيين. أعلنوا : أن الجمعية دينية تهذيبية تسعى لخدمة الدين والمجتمع, لا تتدخل في السياسة ولا تشتغل بها.
لبّى الدعوة وحضر الاجتماع التأسيسي أكثر من سبعين عالما, من مختلف جهات الجزائر، ومن شتى الاتجاهات الدينية والمذهبية : مالكيين واباضيين مصلحين وطرقيين، موظفين وغير موظفين وانتخبوا مجلسا إداريا للجمعية من أكفأ الرجال علما وعملا, يتكون من ثلاثة عشر عضوا برئاسة الشيخ ابن باديس الذي لم يحضر إلا في اليوم الأخير للاجتماع وباستدعاء خاص مؤكد, فكان انتخابه غيابيا.
لم يكن رئيس الجمعية ولا معظم أعضاء مجلسها الإداري من سكان العاصمة, لذلك عينوا لجنة للعمل الدائم ممن يقيمون بالعاصمة, تتألف من خمسة أعضاء برئاسة عمر إسماعيل, تتولى التنسيق بين الأعضاء, وتحفظ الوثائق, وتضبط الميزانية, وتحضر للاجتماعات الدورية للمجلس الإداري.
لم يحضر ابن باديس الاجتماع التأسيسي للجمعية من الأول, وكان وراء ذلك هدف يوضحه الشيخ خير الدين أحد المؤسسين الذي حضر الجلسات العامة والخاصة لتأسيس الجمعية, يقول : "كنت أنا والشيخ مبارك الميلي في مكتب ابن باديس بقسنطينة يوم دعا الشيخ أحد المصلحين محمد عبابسة الاخضري وطلب إليه أن يقوم بالدعوة إلى تأسيس جمعية العلماء المسلمين الجزائريين في العاصمة وكلفه أن يختار ثلة من جماعة نادي الترقي الذين لا يثير ذكر أسمائهم شكوك الحكومة, أو مخاوف أصحاب الزوايا, وتتولى هذه الجماعة توجيه الدعوة إلى العلماء لتأسيس الجمعية في نادي الترقي بالعاصمة حتى يتم الاجتماع في هدوء وسلام, وتتحقق الغاية المرجوة من نجاح التأسيس. ويقول الشيخ خير الدين : "وأسر إلينا ابن باديس أنه سوف لا يلبي دعوة الاجتماع ولا يحضر يومه الأول حتى يقرر المجتمعون استدعاءه ثانية بصفة رسمية, لحضور الاجتماع العام, فيكون بذلك مدعوا لا داعيا, وبذلك يتجنب ما سيكون من ردود فعل السلطة الفرنسية وأصحاب الزوايا, ومن يتحرجون من كل عمل يقوم به ابن باديس". وهكذا تأسست الجمعية, وتشكل مجلسها الإداري المنبثق عن الاجتماع العام