DataContainer-Utils.psm1

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
$ErrorActionPreference = 'stop'
Import-Module "$PSScriptRoot/Utils.psm1"

function Get-ParentPath {
    param(
        # Path
        [Parameter(Mandatory = $true)]
        [string]
        $Path
    )
    return ($Path -split '/' | Select-Object -SkipLast 1) -join "/"
}
function Backup-DataContainer ($Config) {
    $ErrorActionPreference = 'stop'
    $backupImage = "$($Config.remoteName)-data"
    # $volumeArgs = ($Config.volumes | ForEach-Object { "'-v' '$_'" }) -join " "
    $cpCmds = ($Config.volumes | ForEach-Object {
            $parent = Get-ParentPath "/backup$_"
            "mkdir -p /backup$_ && cp -vRf $_ $parent" 
        }) -join " && "
    Write-Output "Backup local container $($Config.container)'s volumes to ops-backup-$backupImage"
    Write-Output "Invoking: 'docker' 'run' '--volumes-from' '$($Config.container):ro' '--name' 'ops-backup-$backupImage' 'alpine' 'sh' -c '$cpCmds'"
    # backup data container's volumes
    Invoke-Cmd "'docker' 'run' '--volumes-from' '$($Config.container):ro' '--name' 'ops-backup-$backupImage' 'alpine' 'sh' -c '$cpCmds'"

    # commit backup to registry
    $remote = "$($Config.registry)$backupImage"
    $date = Get-Date -Format "yyyy-MM-dd-HH-mm-ss"
    Invoke-Cmd "'docker' 'commit' 'ops-backup-$backupImage' '$($remote):$date'"
    Invoke-Cmd "docker tag '$($remote):$date' '$($remote):latest'"
    Write-Output "Pushing: '$($remote):$date'"
    Invoke-Cmd "'docker' 'push' '$($remote):$date'"
    Invoke-Cmd "'docker' 'push' '$($remote):latest'"
    Invoke-Cmd "docker rm -f 'ops-backup-$backupImage'"
}

function Restore-DataContainer ($Config) {
    $backupImage = "$($Config.remoteName)-data"
    $remote = "$($Config.registry)$backupImage"
    $volumeArgs = ($Config.volumes | ForEach-Object { "-v $_" }) -join " "
    $cpCmds = ($Config.volumes | ForEach-Object {
            $parent = Get-ParentPath "$_"
            "mkdir -p $_ && mv -v /backup$_ $parent"
        }) -join " && "
    Write-Output "Restore $remote to local container $backupImage"
    Write-Output "Invoking: 'docker' 'run' $volumeArgs'--name' '$backupImage' '$remote' 'sh' -c '$cpCmds'"
    Invoke-Cmd "'docker' 'run' $volumeArgs '--name' '$backupImage' '$remote' 'sh' -c '$cpCmds'"
}

function Backup-FromConfig {
    param(
        # ConfigFile
        [Parameter(Mandatory = $true)]
        [ValidateScript( {Test-Path $_} )]
        [string]
        $ConfigFile
    )
    $ErrorActionPreference = 'stop'
    $configs = Get-Content $ConfigFile -Raw | ConvertFrom-Json

    foreach ($cfg in $configs) {
        Backup-DataContainer($cfg)
    }
}

function Restore-FromConfig {
    param(
        # ConfigFile
        [Parameter(Mandatory = $true)]
        [ValidateScript( {Test-Path $_} )]
        [string]
        $ConfigFile
    )
    $ErrorActionPreference = 'stop'
    $configs = Get-Content $ConfigFile -Raw | ConvertFrom-Json

    foreach ($cfg in $configs) {
        Restore-DataContainer($cfg)
    }
}

function Get-DataContainerConfig {
    param(
        # ConfigFile
        [Parameter(Mandatory = $true)]
        [ValidateScript( {Test-Path $_} )]
        [string]
        $ConfigFile
    )
    $ErrorActionPreference = 'stop'
    $configs = Get-Content $ConfigFile -Raw | ConvertFrom-Json
    foreach ($cfg in $configs) {
        Write-Output "$($cfg.container) >> $($cfg.registry)$($cfg.remoteName)-data"
        foreach ($path in $cfg.volumes) {
            Write-Output " $path"
        }
        Write-Output ""
    }
}

function Convert-VolumesJson {
    param(
        # JsonOutput
        [Parameter(Mandatory = $true)]
        [string]
        $JsonOutput
    )
    [string[]]$result = $JsonOutput | ConvertFrom-Json | Get-Member `
        | Where-Object { $_.MemberType -eq "NoteProperty"} `
        | ForEach-Object { $_.Name}
    if ($result -isnot [array]) {
        $result = @($result)
    }
    return $result
}

function New-BackupConfig {
    param(
        # ConfigFile
        [Parameter(Mandatory = $true)]
        [string]
        $ConfigFile,
        # Registry
        [Parameter(Mandatory = $true)]
        [string]
        $Registry
    )
    if (-not $Registry.EndsWith('/')) {
        $Registry += '/'
    }

    [array]$config = Invoke-Cmd "'docker' 'ps' '-a' '--format={{json .Names}}'" `
        | ForEach-Object { $_.Trim("`"") } `
        | ForEach-Object {
        $volumesJson = Invoke-Cmd "'docker' 'inspect' '$_' '--format={{json .Config.Volumes}}'"
        if ($volumesJson -eq 'null') {
            return $null
        }
        [string[]]$volumes = Convert-VolumesJson $volumesJson

        $res = @{
            registry   = $Registry;
            container  = $_;
            volumes    = $volumes;
            remoteName = $_.ToLower();
        }
        return $res
    } `
        | Where-Object {$_ -ne $null}
    ConvertTo-Json -InputObject $config | Out-File -FilePath $ConfigFile -Encoding utf8 -Force
}