量化交易与机器学习第三十六篇
本帖最后由 A股天机 于 2018-12-17 08:53 编辑上周我们讨论了从博弈的minmax算法方面及Alpha-beta算法去考虑问题，本周我们讨论机器学习的算力。1，超算中心湖南大学的超算中心使用的是天河1号超级计算机。全系统峰值计算性能1372 万亿次/秒，2010年排行榜“天河一号”改进型排名世界第一 。TH-1HN 高速互连系统采用 THNI 定制高性能通信互连专网，通信链路双向带宽 160Gbps，高速以太网采用无阻塞线速千/万兆以太网交换结构，核心交换机提供 288 个千兆端口和 24 个万兆端口。TH-1 包括 2 台管理节点， 5 台登陆节点， 2048 个计算节点， 64 个可视化节点， 128个云服务阵列， 26 台存储服务器， 4 台自助网络设备机柜。
每个计算节点包含 2 个 CPU 和 1 个 GPU，共 4538 个计算核心。每个节点拥有 48GB 内存。
2，关于实践超算中心采用的Slurm任务调度系统，所以软件在哪个节点上计算时间是不固定的。这就需要并行计算的知识。并行计算的模型如下：
· 一个问题被分解成为一系列可以并发执行的离散部分；
· 每个部分可以进一步被分解成为一系列离散指令；· 来自每个部分的指令可以在不同的处理器上被同时执行；· 需要一个总体的控制/协作机制来负责对不同部分的执行情况进行调度。 在软件系统上一般使用openmpi，mpich等并行计算库实现，这些库只提供C、C++、Fortran编译器支持。对现有系统Golang没有专门的支持，但是Golang是对并行计算支持最好的语言,采用Golang重写mpi并行支持库。用C版本的并行和Golang版本的并行来做一次并行通讯测试，结果如下图，发现大量数据传输的时候两个性能相差很少。
3. 总结
超算和一般的计算机系统存在很大的差异，但是我们解决了并行计算中最关键的一步，以往神经网络模型计算需要很长的时间，采用并行计算的方式可以大大减少等待时间。最近两周讲了算法和超算方面的知识，身边的朋友聊天感觉这些很遥远，好多人可能很少有机会去使用天河一号超级计算机，这个很正常。生活中我们每个人可以用到的资源和每个人的生活环境有关，这里想表达的是，可以运用身边优秀的资源，而优秀的资源周围有优秀的用户，容易形成一种正循环。最后我们来讨论一个问题抄底。股市中只有做多才能赚钱，那么不同交易者之间的竞争很大程度上取决于成本，当股票成本为零了，市场中就无风险了，这是禅师的观点。实际操作过程中很难抄底成功,我们分析的时候可以把级别提高就容易抄底成功了。
思想是最主要的，计算机只是工具而已。 {:7_278:}{:7_278:}{:7_278:}{:7_278:}
页:
[1]