在我国过去的三十年的金融改革的浪潮中，中小股份制商业银行一直扮演着重要的角色。无论是银行业的改革还是证券改革，中小股份制商业银行作为金融改革的试验田，积极探索改革道路，为国有银行的制度改革和上市积累了宝贵的经验。入世以来，我国金融体系实行对外开放，然而最近几年国际上格局多变，经济极不稳定，金融产品风险系数升高等情况，对世界金融体系造成严重的影响。银行作为金融行业的重要组成部分，其内部控制的不完善，导致一系列银行危机的发生。因此中小股份制银行建立切实可行、完善全面、充分有效地内部控制体系是当下的重要任务。我们在完善的同时，也要积极学习西方商业银行的优点，在西方商业银行的成功案例中，找到自己的问题所在，努力建立健全我国中小股份制银行的内部控制体系。本文首先从内部控制的根本入手，并简单介绍了BJNS和花旗银行的内部控制体系，研究我国当下中小股份制商业银行，深入分析其不足之处，在此基础上结合上述的案例分析提出了相应的完善建议。