普及一个工作小技巧，三步实现Python自动化(文末有惊喜)

可乐的数据分析之路

哈喽大家好，我是可乐

今天给大家分享一篇可以边看边实践的文章。

文章源自于工作中的一个小技巧，主要是涉及到日常工作的自动化处理。

如果说你每天都需要做一些重复的工作，比如出一份报表、统计一个数据、发一封邮件等

那你完全可以把这个任务交给电脑让它每天自动替你完成，而你只需要从容的打开保温杯，静静地泡一杯枸杞

今天主要会用到Linux下的cron这个服务，ok，直接开始

1. 安装cron

基本上所有的Linux发行版在默认情况下都预安装了cron工具。

即使未预装cron，也很简单，执行几条简单的命令就可手动安装

# 检查是否已经预装了cron
service cron status

安装并启动服务

安装：apt-get install cron
启动/停止/重启：service cron start/stop/restart
查询当前任务：crontab -l

2. 安装检查

安装完成后检查一下是否安装成功，同样使用 status命令查看

出现如下提示表示安装成功：

另外，在ubuntu下可能会出现这样的提示：

这个也表示可以正常使用

3. cron相关用法

有几个关于cron的简单用法可以了解一下，后面也会通过一个案例详细介绍如何使用

首先，列出当前用户计划的cron作业：

crontab -l

查看其它用户的cron作业：

crontab –l –u username

移除已经计划的cron作业：

crontab –r

4. 制定crontab计划

首先，通过如下命令添加或更新crontab中的任务

第一次进入会要求你选择编辑器，这个根据自己的习惯选择。

选择好之后会进入到这样的一个界面：

用过vim的同学应该对这个界面不陌生，类似的操作：按A键开始编辑，按ESC输入wq保存并退出

重点是最下面的一段内容：

m h dom mon dow commmand

这个其实就是crontab调度作业的一个使用介绍，可以用来设置定时任务。

具体一点的语法是这样的：

m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0～7（其中星期天可以用0或7表示）
| | | ------- 表示月份1～12
| | --------- 表示日期1～31
| ----------- 表示小时1～23（0表示0点）
------------- 表示分钟1～59 每分钟用*或者 */1表示

【左右滑动查看更多】

举几个简单的应用案例：

每天 02:00 执行任务

0 2 * * * command

每天 5:00和17:00执行任务

0 5,17 * * * command

每 10min 执行一次任务

*/10 * * * * command

在特定的某几个月的周日 17:00 执行任务

0 17 * jan,may,aug sun command

差不多常用的就这些，更多的使用案例还可以参考这个链接：http://linux.51yip.com/search/crontab

上面案例中的command 表示你具体需要执行的任务

例如打印一段话：

echo "Hello xiaoyi" >> /tmp/test.txt

或者将这段话输出到txt中：

echo "Hello xiaoyi" >> /tmp/test.txt

或者是你需要执行一个Python脚本：

python demo.py filepath

后面的filepath表示输入的参数args，这个可能有的同学会用到，例如下面的案例中需要输入文件下载路径。

5. 定时任务实战

上面的都搞清楚了，就可以开始今天的重头戏了。

首先我们需要每天从ftp服务器中下载最新的任务数据，将数据下载到本地后通过Python进行数据汇总统计，最后将结果存入数据库中，如果期间某个环节出现问题则发送告警邮件。

① 编写Python脚本

首先需要编写Python脚本完成以下功能：

从数据库中获取最新数据日期
从ftp中下载最新数据到本地
对本地最新数据进行汇总统计
统计结果存入数据库汇总
邮件通知

上面这个流程大致的伪代码是这样的：

if __name__ == '__main__':
    """获取最新数据日期"""
    latest_date = get_max_date()
    # 以最新日期为名创建文件夹
    download_dir = os.path.join(sys.argv[1], latest_date)
    if not os.path.exists(download_dir):
        os.makedirs(download_dir)
        
    """从ftp中下载最新数据"""
    download_file(latest_date, download_dir)
    """处理最新数据并保存"""
    process_data(latest_date, download_dir)