中国共产党不同于一般的议会党。从1927 年起，它就是一个有枪的党。有枪的好处是对外富有战斗力，在与敌对党的斗争中可以立于独立自主的地位，不必寻求别人的枪杆子保护，受别人左右、摆布。在那个武人当道的时代，任何一个政党要想独立自主地推行自己的主张，就必须掌握枪杆子。正如毛泽东所说，在中国，离开了武装斗争便没有共产党的地位。
但是有枪的党在内部也存在一个坏处，即容易增加离心倾向，甚至导致党的分裂，不利于党的团结和统一。党外有党，党内有派，正常的党派斗争，特别是党内斗争，应该是说理斗争。但是如果斗争的双方或一方手中握有枪杆子，那么最有说服力的就不是真理，而是武力。谁有武力，谁的武力强，谁就是赢家。如果武力差不多，就得见个高低，以生死相拼来定输赢。这样枪杆子的存在反而会削弱党的对外战斗力。国民党就是一面镜子，地方各实力派拥兵自重，互不买账，对中央也是貌合神离，蒋介石耍了许多手段都没有很好地解决这个问题。共产党的客观条件比国民党更不利。根据地与根据地，苏区与白区，长期处在孤立状态下作战，团结和统一本来就很困难，如果再掺杂着枪杆子的因素，那就更麻烦。
毛泽东从共产党一开始抓枪杆子就注意到这个问题，因而一开始就提出“党指挥枪”。
党怎样指挥枪呢？
首先是用党规党纪约束带枪的军人，特别是军事长官。军人以服从命令为天职，但在旧军队中，军人的服从只是对长官的服从，长官要使下属服从必须拥有足够的实力，上下级之间除了实力之外，还靠义气来维持隶属关系。如果有某一级长官带有一支很有份量的武装力量，而他的下属又很信服他，那就很难保证他百分之百地服从自己的上司，在独立作战的条件下更是如此。如果他入了党，那他就得受党纪党规的约束。他可以不服从某一个人，但是必须服从党，因为他是党员。党有党规，国有国法。不服从就是党性不纯的表现。
党指挥枪的主要办法是实行双重领导，每一级，在军事长官外另设一名党代表，后称政治委员。军事长官管枪，党代表或政委管人。管人比管枪更带有根本性，因为枪是由人掌握的。党代表，顾名思义，就是代表党的。在军事上是各级长官负责，但在党内，不管哪一级首长都得服从党。军队首长本人若是党员那就更好办，党员服从党的领导是天经地义。他可能指挥上万人的军队，但他在党内是一名党员，要听从党小组长在生活会上提出的批评，要绝对服从上一级党组织的领导。如果他不是党员，那么可以启发他觉悟，在思想上政治上帮助他，争取他加入党组织。
红军初创时期，旧军队的思想作风还很严重。有些人不把党代表制度看成一条建军原则，他们对党代表尊重与否，完全是看人行事。党代表如果能打仗，工作能力强，他们就尊重，否则就看不起，甚至骂党代表是“卖狗皮膏药的”。这一切的存在正说明军队中党的领导不健全，需要党代表加强思想政治工作，提高党的威信，真正使枪置于党的领导之下。好在党代表是代表党的，不管他业务能力怎样，只要他会做人的工作，一切带枪的人终究会听他的，或者不得不听他的。
党在军队中通过管人的办法来管枪，又通过管思想的办法来管人，因为人的行动是由思想支配的。管人的思想就叫政治思想工作。每一位党代表或政治委员都是这方面的专家。不论是干部，还是士兵，只要思想上有疙瘩，作风上有毛病，都要做政治思想工作，有时还要深入细致，组织生活会，个别谈心，批评和自我批评，直到思想疙瘩完全解开，完全按照党的要求去做，才算完成，这项工作对实行党的领导必不可少，因为它使党的路线、方针、政策等等得到贯彻执行。
党指挥枪的原则主要是解决平级和上下级之间的矛盾。党的组织可以跨越地域界限，深入到别的根据地，别的山头，甚至深入到敌战区或国统区的地下室里。一旦所有的枪被党指挥了，那么指挥了枪的党又可以反过来用他所指挥的枪去指挥某些不服从党的”山头”，指挥着整个军队有效地开展对敌作战。