华为公司成立初期，仅设有四个部门，分别是总部办公室、市场部、制造部和总工办。且创立初期采用的是直线式（也称纵向式）的管理模式，即一个项目经理带着多名工程师做项目。由于公司规模的不断扩大，直线式管理模式已不再适合华为。于是，从事数字交换机研发工作的郑宝用准备采用矩阵式的管理模式，将这一管理模式投入到研发系统，随后华为在各个业务部门中开始实行矩阵式管理。

1998年年初开始，华为选择性的进行事业部制试点，组建了多个事业部。2003年，华为再度调整组织架构，将集权化的公司组织向产品线、准事业部转变。向2005年华为通过人力资源管理委员会、财经管理委员会和产品战略综合评审委员会对事业部进行控制，后成立七大片区，拆分为20多个地区部。2011年，华为根据客户对象将公司分为三大业务集团（Business Group, BG），分别是运营商BG、企业BG和消费者BG。2017年5月，华为成立云服务业务部（Cloud BU），同年9月升格为一级部门，与产品与解决方案部、运营商BG、企业BG、消费者BG并行，形成现在的业务布局。

目前华为公司的组织架构由上至下分别是股东会－董事会、监事会－四大委员会－首席执行官、集团职能平台、五大一级部门（业务集团）及周边部门－区域组织。2007年华为重新布局组织架构，将地区部升级为片区总部，在全球设有7大片区，分别是：中国区、亚太片区、拉美片区、欧美片区、南部非洲片区、独联体片区和中东北非片区，各片区下还设有代表处驻扎在各国家，每个国家设立一个销售代表处。也有规模较大的国家设立一个地区部，分设几个代表处。在代表处工作的员工同时受所在代表处及所属体系部门双重领导。目前，华为在海外设立了22个地区部、100个分支机构，在全球亦设有多个运营中心和资源中心。

华为的管理模式采取的是中西融合的模式，在管理上参考了中国共产党的制度，如民主生活会、自律宣言、整风大会、思想政治教育、群众运动、干部公示制度、“作风八条”、廉政信箱、道德遵从委员会等。1997年任正非访问IBM后，他也将IBM的管理制度引入到华为的管理体系，逐渐打造出属于自己的一套管理体系。同时，华为还引入美国Hay公司的薪酬和绩效管理制度。另外，华为于1995年筹划《华为基本法》，作为华为的“管理大纲”，1998年3月审核通过。