同其他技术进步一样，农业自动化会带来负面的社会和环境后果，因此，前文列举的种种好处并非唾手可得，必须通过妥善管理才有可能实现。农业和整个经济存在着一些结构性的因素，可能会破坏农业自动化的包容性和持续采用，例如，在许多地区，土地过于分散就是一个严重的制约因素，使农业自动化不具有经济可行性。道路、网络连接和电力等基础设施薄弱，也可能影响自动化的采用，并将偏远地区的弱势农民排斥在外。在某些情况下，农业自动化可能会抢走农村劳动力的饭碗，并导致负面的环境后果，如土地退化和生物多样性丧失。这些挑战将在以下章节中进行列举，并在第2章和第4章中详细讨论。
能力的不平等
农业自动化有可能带来种种收益，但不见得会在农民和其他利益相关方之间公平分配，社会不平等会因此加剧，甚至有可能偏向粮食生产中的强势方，进而造成新的不平等。48, 49 例如，本来就很强大并可以支配市场的高科技公司不仅可以截留和拥有数据，还有可能违反数据保护政策任意使用数据，导致数据垄断。50一些生产者经营规模更大、经济更宽裕，受教育程度更高，因而更有实力（如资金、农村基础设施、技能）投资新技术或通过再培训学习新技能，不平等也会因此加剧。事实上，许多农民可能并不具备操作数字自动化技术的基本技能，更谈不上理解其工作原理。优秀的农民并不一定同时也是数字技术专家，农技推广和服务人员也是如此。能力建设和因地制宜对于自动化设备的采用和恰当使用至关重要，只有具备相应能力，农民才能充分利用自动化的潜力。15
在这方面，与男性相比，女性在接受教育的问题上往往被边缘化，18获得融资也更为困难。51男性往往包办农作物的买卖，新设备往往也归他们所有，由他们操作，而女性对产生的收入几乎毫无控制权，通常只能从事耗费体力的劳动，如除草和移栽。52同样，农村青年也面临重重障碍，很难获得优质的教育和培训，土地、信贷和市场也与他们无缘，农村青年女性更是如此。53
对劳动力市场的干扰
其他行业涌现的证据表明，自动化可能会增加对高薪工作的需求，而这些职位往往要求中等教育资质，如数据管理和分析，人类从事这些工作比机器更有优势；但对种植和收获等按部就班的劳动而言，需求会减少。54, 55 随着国民经济的发展，农业总就业人数会下降；尽管如此，世界上仍有大约3-5亿农业工人靠赚工资维持生计。56许多国家的农业劳动力的比例仍然很高，如布隆迪（86%）、索马里（80%）、马拉维（76%）、乍得（75%）、尼日尔（73%）和乌干达（72%），这些国家的文盲率、贫困率和性别不平等往往也居高不下。
在这些国家，降低单位产出的直接劳动力需求可能会造成不平等或加深现有的不平等。因此，农业自动化有时候可能对于政府并没有吸引力，也不具有可行性。最终，自动化对劳动力和工资的影响将由一系列因素决定，包括在农业部门之外创造新的和更有吸引力的工作机会，让剩余劳动力有体面就业的选择。农民通过自动化扩大生产规模并增加收入，产生规模效应，这是否足以抵消劳动力被挤出农业部门的替代效应，这也是一个重要的因素。57 总之，如果有恰当的政策，辅之以恰当的立法和监管环境，农业自动化完全可以创造经济机会，促进体面就业，提供合理的收入和工作条件，并吸引青年回流到农业部门。
环境问题
有人担心，如果管理不善，某些类型的农业自动化，特别是依赖重型大型机械的农业自动化，可能会导致毁林、种植结构单一化、生物多样性丧失、土地退化、土壤压实和侵蚀、土地盐碱化和排水系统失灵，从而危及环境的可持续性和韧性。58这些问题的确不容忽视，但通过适当的政策和立法，许多问题是可以避免或尽量减少的。此外，随着自动化机械和设备不断进步完善，特别是具备人工智能的小型设备的开发，旧的自动化机械造成的一些负面环境影响实际上是可以逆转的（见第3章)。
农业自动化的潜在机遇、挑战和后果取决于使用的具体技术及其设计方案，以及在多大程度上做到了因地制宜。此外，社会经济发展水平，体制上和政治上的制约因素，这都决定了哪些技术是经济适用的，有可能会被采用。因此，农业自动化的积极和消极影响因具体环境而异。在提出具体的自动化解决方案之前，必须评估每个国家或区域的环境、社会和政治条件是否适合。并非所有的自动化技术都放之四海皆准，往往需要对现行方案进行调整和改进。
