你好,游客 登录
背景:
阅读新闻

【教程】如何利用深度学习硬件的“闲置时间”来挖矿

[日期:2017-12-26] 来源:新智元  作者: [字体: ]

来源:Medium

编辑:西西莉亚 

【新智元导读】最近比特币价格一路飙升,您可以利用深度学习硬件的“闲散时间”来挖矿从而获取利润。本文作者自己写了一个GPU监视器gpu_mon,定期检查追踪GPU。如果GPU处于闲置状态,gpu_mon将运行您在config文件中指定的程序。

没有GPU,深度学习就无法进行。但当你没有优化任何东西时,如何让所有的teraflops都被充分利用?

最近比特币价格一路飙升,您可以考虑利用这些闲置的资源来获取利润。这并不难,你需要做的就是设置一个钱包,选择要挖掘的东西,建立一个矿工软件并运行它。在谷歌上搜索“如何开始在GPU上挖矿”,有很多详细说明如何挖矿的文章。

如何使挖矿更便捷?

如果我突然想把所有马力全部投入到新的深度学习问题,如何使挖矿变得便捷、自动化和无干扰?理想的解决方案是:一些background thing不断检查GPU的利用率,当没有人使用它,就启动矿工。但是,当TensorFlow或PyTorch或其他工具想要压缩一些数字时,这个监视器必须尽快停止挖掘,以便将计算内核释放到有用的任务上。

尽管问题很简单,但我还没有发现任何类似的东西,所以我自己写了一个GPU监视器(GPU monitor)。它很通用,不仅适用于挖矿,你还可以尝试用它做别的事情。

必要条件

我的项目叫gpu_mon,源代码可以在这里找到:https://github.com/Shmuma/gpu_mon。它是用python 3编写的,除了标准库之外不依赖任何东西,但是它应该在Linux系统上运行,所以如果你在深度学习box上使用windows,gpu_mon将不起作用。

整体逻辑与上面描述的完全一样:gpu_mon定期检查GPU,如果没有人使用它,它将运行您在config文件中指定的程序。如果某个进程打开GPU设备,运行中的挖矿将中断以释放资源。所以,在设置完所有东西并启动显示器后,你需要做的就是照常使用你的GPU box,矿工和深度学习之间的overlap只需几秒钟。

要获取访问GPU设备(假定为/ dev/ nvidia *)的进程列表,请使用fuser命令行工具。在基于Debian的distribution中,比如ubuntu或debian,是由psmisc软件包提供的。如果我没有弄错的话,它将被包含在基本系统安装中,所以不需要安装任何东西。如果您的系统没有提供fuser,请进行安装。

配置

整个项目被配置在一个单独的配置文件中,该配置文件具有ini-file格式,并且预计将位于〜/ .config / gpu_mon.conf文件的主目录中。示例配置文件如下所示,也可在项目源文件中找到。

配置文件可包含四部分:

1. 默认全局配置[defaults]。这里只有一个选项,它指定GPU设备检查使用的频率。默认情况下,每10秒执行一次检查,并收集有关系统中所有GPU的数据。

2. GPU配置可以由一个或多个名称中带有gpu-prefix的部分来指定。您可以通过指定其ID(在/ dev / nvidiaX设备文件中的整数)来描述安装的GPU卡组。对于每个GPU组,您都可以提供不会抢占GPU的矿工进程的程序列表。这对nvidia-smi等工具非常有用,它可以访问GPU设备,但应该不会导致挖矿停止。

3. 矿工进程配置部分可以用名字中带有process-前缀的一个或多个部分来描述。对于每个部分,您可以指定要运行的矿工的命令行,从中启动矿工的目录名称,希望矿工受到限制的GPU标识和日志文件的名称。

4. TTY监控部分,它允许您启用可选的伪终端监控,抢占矿工。该功能在默认情况下被禁用。

下面是我在带有2个GPU卡的box上使用的配置文件示例。

[defaults]

; how frequently perform GPU open and tty checks

interval_seconds=10 ; configuration of GPUs to monitor for external program access. It could be several such sections

[gpu-all]

; list of comma-separated gpu indices or ALL to handle all available gpus

gpus=ALL

; comma-separated list of programs which can access gpu and should be ignored

ignore_programs=nvidia-smi ; program which will be started on gpu during idle time

[process-0]

dir=/tmp

cmd=/var/bin/miner

; list of gpu indices or ALL to handle all available gpus. If not ALL, CUDA_VISIBLE_DEVICES will be set

gpus=0

log=/var/log/miner-0.log [process-1]

dir=/tmp

cmd=/var/bin/miner

; list of gpu indices or ALL to handle all available gpus. If not ALL, CUDA_VISIBLE_DEVICES will be set

gpus=1

log=/var/log/miner-1.log

; configuration of tty monitoring

[tty]

enabled=False

此配置允许通过为系统中的每个卡指定单独进程,来对GPU使用进行细粒度控制。因此,如果我运行只占用第一个GPU的深度学习进程(通过导出CUDA_VISIBLE_DEVICE = 0),在第二个GPU上启动的矿工进程将继续工作。但是,如果我的优化打开两个GPU卡,两个矿工将被取代,资源将被释放。

正如我所说的,一切都是透明的。所以,你不应该在开始和停止矿工的过程中花费太多精力,只需要想想,运行TF或者PyTorch时要为你的深度学习优化分配多少GPU。

下面是我可以提供的一些额外信息。

自动启动gpu_mon

为了使gpu_mon完全没有问题,我们需要确保在系统启动时它在后台启动。有很多方法可以启动一个进程,但我最喜欢的解决方案是用supervisord,用于检查正在运行的进程,并在发生崩溃时重新启动进程。为了启动gpu_mon,首先需要设置supervisord。如果还没有安装,可以将配置文件放入/etc/supervisor/conf.d/gpu_mon.conf中。以下是我使用的配置:

[program:gpu_mon]

command=/usr/bin/python3 <PATH_TO_CLONED_GPU_MON>/gpu_mon/gpu_mon.py

user=<YOUR USERNAME>

environment=HOME=<YOUR_HOME_PATH>,USER=<YOUR_USERNAME>

autostart=true

autorestart=true

安装完成后,你需要重新启动supervisord,并通过运行以下命令来检查gpu_mon是否已启动:supervisorctl status gpu_mon,它应该返回如下所示的内容:

[email protected]:/etc/supervisor/conf.d# supervisorctl status gpu_mon

gpu_mon RUNNING pid 1526, uptime 57 days, 18:14:27

多用户访问GPU

如果gpu_mon以一个用户身份运行,但是深度学习软件可以作为另一个用户或由多用户运行,则gpu_mon可能无法抢占矿工。发生这种情况是由于fuser命令的安全限制,它不会显示其他用户进程打开设备文件。如果你遇到这种情况,但是仍然想要使用gpu_mon,你有两种选择:

*以root身份运行gpu_mon。我不推荐这种方法,因为以root身份启动某些东西总是一个坏主意。

*将SUID位添加到fuser二进制文件。在Ubuntu distribution中,这可以通过运行chmod + s / bin / fuser命令来完成,并且它有效地允许fuser查看所有访问该文件的用户,就像SUID位一样,binary也是以文件所有者凭据启动的。但是你仍然需要root权限才能做到这一点。

怎么去挖矿?挖什么?

多亏了现在加密货币的繁荣发展,有很多可用的选项。我个人最喜欢的是基于equihash的货币,比如ZCash或者Komodo,它们都可以用一个矿工挖矿。我使用修改后的版本EWBF miner,比原始版本快10%。

正如我所说的,gpu_mon不会进行自我挖掘,它只是一个GPU访问跟踪器。所以,你可以运行任何你想要的CUDA优化的矿工。

能赚钱吗?

能赚钱。但加密货币的复杂性正在增长,不要指望用一张1080卡挖到百万美元。但总体上,挖矿所得减去挖矿电费,最后还是能够盈利的。所以去挖吧!有一个网站可以告诉你,在给定的复杂性、汇率和你的算力等前提下,挖矿收入大约是多少。网址是https://whattomine.com/。

收藏 推荐 打印 | 录入:Cstor | 阅读:
相关新闻      
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款