金鱼哥RHCA回忆录:DO447使用过滤器和插件转换器--实现高级循环

举报
金鱼哥 发表于 2022/06/15 17:49:24 2022/06/15
【摘要】 第四章 使用过滤器和插件转换器--实现高级循环

🎹 个人简介:大家好,我是 金鱼哥,CSDN运维领域新星创作者,华为云·云享专家,阿里云社区·专家博主
📚个人资质:CCNA、HCNP、CSNA(网络分析师),软考初级、中级网络工程师、RHCSA、RHCE、RHCA、RHCI、ITIL😜
💬格言:努力不一定成功,但要想成功就必须努力🔥


官网:https://docs.ansible.com/ansible/latest/user_guide/playbooks_loops.html


📜3.1 循环和查找插件

使用循环迭代任务可以帮助简化您的Ansible Playbooks。loop关键字在项目的平面列表上循环。当与查找插件一起使用时,可以在循环列表中构造更复杂的数据。

在Ansible 2.5中引入了loop关键字。在此之前,任务迭代是通过使用以with_开头、以查找插件的名称结束的关键字来实现的。在这种语法中,与loop等价的是with_list,它设计用于在一个简单的平面列表上迭代。对于简单的列表,loop是最好的使用语法。

例如,下面的三种语法具有相同的结果。其中的第一个是首选:

image-20220415090408893

通过使用查找插件和过滤器的适当组合来匹配功能,可以重构带有*样式的迭代任务来使用loop关键字。

使用loop关键字代替with_*样式循环有以下好处:

  • 不需要记忆或找到一个with * style关键字来适应您的迭代场景。相反,使用插件和过滤器来使循环关键字任务适应您的用例。

  • 重点学习Ansible中可用的插件和过滤器,它们的适用性比迭代更广泛。

  • 可以通过ansible-doc -t lookup命令对查找插件文档进行命令行访问。这将帮助发现查找插件并使用它们设计自定义迭代场景。


📜3.2 迭代的场景示例

下面的示例展示了使用jinj2表达式、过滤器、查找插件和with_*语法构造更复杂循环的一些方法。


📑迭代列表的列表

with_items关键字提供了一种遍历复杂列表的方法。举个例子来说吧,假设你玩的是以下任务:

image-20220415090452922

app_a_tmp_files变量包含一个临时文件列表,app_b_tmp_files和app_c_tmp_files也是如此。with_items关键字将这三个列表组合成一个包含所有三个列表项的列表。它自动执行一个级别的列表扁平化。

要重构with_items任务以使用loop关键字,请使用flatten过滤器。flatten过滤器递归地搜索嵌入列表,并根据发现的值创建一个列表。

flatten过滤器接受level参数,该参数指定要搜索内嵌列表的整数级数。level =1参数指定,对于初始列表中的每一项,这些值只能通过下降到一个附加列表中来获得。这与with_items隐式地实现的层次扁平化相同。

要重构with_items任务以使用loop关键字,你还必须使用flatten(levels=1)过滤器:

image-20220415090758908

重要: 因为loop不执行隐式的一级扁平化,所以它并不完全等同于with_items。但是,只要传递给循环的列表是一个简单的列表,两个方法的行为就完全相同。只有当您拥有列表的列表时,这种区别才有意义。


📑迭代嵌套列表

来自变量文件、Ansible事实和外部服务的数据通常由更简单的数据结构组成,如列表和字典。考虑以下定义的用户变量:

image-20220415090932202

users变量是一个列表。列表中的每个条目都是一个字典,它的键是: name, password,authorized, mysql,and groups.。密钥名称和密码定义了简单的字符串,而authorized键和groups键定义列表。mysql键引用另一个字典,其中包含每个用户的mysql相关元数据。

与flatten扁平化过滤器类似,subelements子元素过滤器从包含嵌套列表的列表中创建单个列表。过滤器处理字典列表,每个字典包含一个引用列表的键。要使用subelements子元素过滤器,必须提供与列表对应的每个字典上的键名。

为了说明这一点,请考虑前面的users变量定义。subelements子元素过滤器允许迭代所有用户及其在变量中定义的授权密钥文件:

image-20220415091059780

subelements子元素过滤器从用户变量数据创建一个新列表。列表中的每一项本身就是一个包含两个元素的列表。第一个元素包含对每个用户的引用。第二个元素包含对该用户authorized授权列表中的单个条目的引用。


看着课本说明就烦,还是自行举例说明 ^_^ :

[student@workstation ~]$ cat subelements.yml 
---
- hosts: localhost
  gather_facts: no
  vars:
    users:
    - name: bob
      gender: male
      hobby:
        - CSA
        - CE
    - name: alice
      gender: female
      hobby:
        - CA
  tasks:
  - debug:
      msg: "{{ item }}"
    with_subelements:
    - "{{users}}"
    - hobby

如上例所示,我们定义了一个复合结构的字典变量,users变量,users变量列表中有两个块序列,这两个块序列分别代表两个用户,bob和alice,alice是个妹子,bob是个汉子,bob的爱好是CSA和CE,alice的爱好是CA,上例中,我们使用"with_subelements"关键字处理了users变量,在处理users变量的同时,还指定了一个属性,“hobby属性”,我们可以发现,“hobby属性"正是"users"变量中每个用户的"子属性”,换句话说,“hobby属性"是users中每个块序列的子元素,而且,hobby属性是一个"键值对”,其"值"是一个列表,因为每个人可以有多个爱好,那么经过"with_subelements"处理后,每个item是什么样子的呢?我们来看一下执行效果,执行上例playbook后,debug模块输出如下:

TASK [debug] ***********************************************************************************
ok: [localhost] => (item=[{'name': 'bob', 'gender': 'male'}, 'CSA']) => {
    "msg": [
        {
            "gender": "male",
            "name": "bob"
        },
        "CSA"
    ]
}
ok: [localhost] => (item=[{'name': 'bob', 'gender': 'male'}, 'CE']) => {
    "msg": [
        {
            "gender": "male",
            "name": "bob"
        },
        "CE"
    ]
}
ok: [localhost] => (item=[{'name': 'alice', 'gender': 'female'}, 'CA']) => {
    "msg": [
        {
            "gender": "female",
            "name": "alice"
        },
        "CA"
    ]
}

若不写子属性,执行剧本的时候会直接报错:

TASK [debug] ********************************************************************
fatal: [localhost]: FAILED! => {"msg": "subelements lookup expects a list of two or three items, "}

可以看出一些规律,规律就是,"with_subelements"会将hobby子元素列表中的每一项作为一个整体,将其他子元素作为一个整体,然后组合在一起,可以将上例的playbook修改一下,将msg信息的可读性提高一点,示例如下:

  tasks:
  - debug:
      msg: "{{ item.0.name }} 's hobby is {{ item.1 }}"
    with_subelements:
    - "{{users}}"
    - hobby

由于item由两个整体组成,所以,我们通过item.0获取到第一个小整体,即gender和name属性,然后通过item.1获取到第二个小整体,即hobby列表中的每一项,上例执行后的输出如下:

TASK [debug] ************************************************************************
ok: [localhost] => (item=[{'name': 'bob', 'gender': 'male'}, 'CSA']) => {
    "msg": "bob 's hobby is CSA"
}
ok: [localhost] => (item=[{'name': 'bob', 'gender': 'male'}, 'CE']) => {
    "msg": "bob 's hobby is CE"
}
ok: [localhost] => (item=[{'name': 'alice', 'gender': 'female'}, 'CA']) => {
    "msg": "alice 's hobby is CA"
}

with_subelements"的用法了,"with_subelements"可以处理一个像上例中一样的复合结构的字典数据,在处理这个字典的同时,需要指定一个子元素,这个子元素的值必须是一个列表,之后,"with_subelements"会将子元素的列表中的每一项作为一个整体,将其他子元素作为一个整体,然后将两个整体组合成item。

写成loop的形式如下:

  tasks:
  - debug:
      msg: "{{ item.0.name }} 's hobby is {{ item.1 }}"
#    with_subelements:
#    - "{{users}}"
#    - hobby
    loop: "{{ users | subelements('hobby') }}"

📑迭代字典

您经常会遇到以键/值对的形式组织的数据,通常在Ansible社区中称为字典,而不是以列表的形式组织的数据。例如,考虑以下用户变量的定义:

image-20220415091405334

在Ansible 2.5之前,您必须使用with_dict关键字来遍历该字典的键/值对。每次迭代,item变量都有两个可用属性:键和值。key属性包含一个字典键的值,而value属性包含与字典键相关联的数据:

image-20220415091423984

或者,您可以使用dict2items过滤器将字典转换为列表,这可能更容易理解。这个列表中的元素的结构与with_dict关键字生成的元素相同:

image-20220415091438395


自行举例演示:

[student@workstation ~]$ cat dict.yml 
---
- name: 测试字典
  hosts: localhost
  gather_facts: no
  vars:
    users:
      alice: female
      bob: male
  tasks:
#    - debug:
#        msg: "{{ item }}"
#      loop: "{{ users }}"
# 如果写成loop会直接报错,需要使用过滤器才可以成功

    - debug:
        msg: "{{ item }}"
      with_dict: "{{ users }}"


[student@workstation ~]$ ansible-playbook dict.yml
TASK [debug] ************************************************************************
ok: [localhost] => (item={'key': 'alice', 'value': 'female'}) => {
    "msg": {
        "key": "alice",
        "value": "female"
    }
}
ok: [localhost] => (item={'key': 'bob', 'value': 'male'}) => {
    "msg": {
        "key": "bob",
        "value": "male"
    }
}

[student@workstation ~]$ cat dict.yml 
---
- name: 测试字典
  hosts: localhost
  gather_facts: no
  vars:
    users:
      alice: 
        name: alicexxx
        gender: female
        tel: 12356789
      bob:
        name: bobxxx
        gender: male
        tel: 987654321
  tasks:
    - debug:
        msg: "{{ item }}"
      with_dict: "{{ users }}"

image-20220415091541223

[student@workstation ~]$ cat dict.yml 
---
- name: 测试字典
  hosts: localhost
  gather_facts: no
  vars:
    users:
      alice: 
        name: alicexxx
        gender: female
        tel: 12356789
      bob:
        name: bobxxx
        gender: male
        tel: 987654321
  tasks:
    - debug:
        msg: "User {{ item.key }} name is {{ item.value.name }}, Gender: {{ item.value.name }}, Tel number: {{ item.value.tel }} . "
      with_dict: "{{ users }}"

image-20220415091640686

若改写成loop的形式,则使用:

  tasks:
    - debug:
        msg: "User {{ item.key }} name is {{ item.value.name }}, Gender: {{ item.value.name }}, Tel number: {{ item.value.tel }} . "
      loop: "{{ users | dict2items }}"

📑迭代文件Globbing模式

您可以构造一个循环,该循环遍历与提供的文件通配符模式相匹配的文件列表,并使用fileglob查找插件。

为了说明这一点,可以考虑以下玩法:

[student@workstation ~]$ cat filegolb.yml 
---
- name: Test
  hosts: localhost
  gather_facts: no
  tasks:
    - name: Test fileglob lookup plugin
      debug:
        msg: "{{ lookup('fileglob', '~/.bash*') }}"

fileglob查找插件的输出是一个逗号分隔的文件字符串,通过在msg变量的数据周围使用双引号(")来表示:

image-20220415102803339

要强制查找插件返回值列表,而不是逗号分隔的值字符串,请使用query关键字代替lookup关键字。考虑一下对之前的playbook示例的以下修改:

[student@workstation ~]$ cat filegolb.yml 
---
- name: Test
  hosts: localhost
  gather_facts: no
  tasks:
    - name: Test fileglob lookup plugin
      debug:
        msg: "{{ query('fileglob', '~/.bash*') }}"

这个修改后的剧本的输出表明msg关键字引用了一个文件列表,因为数据是用括号([…])封装的:

image-20220415114255200

要在循环中使用此查找插件中的数据,请确保已处理的数据作为列表返回。下面播放的两个任务遍历匹配~/.bash* globbing模式:

[student@workstation ~]$ cat filegolb.yml 
---
- name: Test
  hosts: localhost
  gather_facts: no
  tasks:
    - name: Test fileglob lookup plugin
      debug:
        msg: "{{ query('fileglob', '~/.bash*') }}"

    - name: Iteration Option Two
      debug:
        msg: "{{ item }}"
      with_fileglob:
        - "~/.bash*"

运行对比:

image-20220415114328392


📜3.3 课本练习

[student@workstation ~]$ lab data-loops start

[student@workstation ~]$ cd ~/DO447/labs/data-loops


🔎场景一

scenario_1.yml playbook包含一个剧本和一个任务,在身份管理服务器上创建用户。该任务使用with_dict关键字遍历users变量中的条目。用户变量定义在group_vars/all/users.yml文件。

将重构场景1中的任务。使用了loop关键字并删除with_dict关键字。使用适当的过滤器将users变量转换为可以与loop关键字一起使用的列表

[student@workstation data-loops]$ cat scenario_1.yml 
---
- name: Add Users To IDM
  hosts: localhost
  gather_facts: no
  tasks:
    - name: Create Users
      ipa_user:
        name: "{{ item.key }}"
        givenname: "{{ item.value.firstname }}"
        sn: "{{ item.value.surname }}"
        displayname: "{{ item.value.firstname + ' ' + item.value.surname }}"
        sshpubkey: "{{ lookup('file', item.value.pub_key_file) }}"
        state: present
        ipa_host: "{{ ipa_server }}"
        ipa_user: "{{ ipa_admin_user }}"
        ipa_pass: "{{ ipa_admin_pass }}"
        validate_certs: "{{ ipa_validate_certs }}"
      with_dict: "{{ users }}"
[student@workstation data-loops]$ cat group_vars/all/users.yml 
users:
  johnd:
    firstname: John
    surname: Doe
    pub_key_file: pubkeys/johnd/id_rsa.pub
  janed:
    firstname: Jane
    surname: Doe
    pub_key_file: pubkeys/janed/id_rsa.pub

📑修改关键字

可以在循环的dict2items过滤器中使用loop关键字,而不是使用with_dict关键字。将with_dict关键字更改为loop关键字,并将dict2items过滤器添加到jinj2表达式的末尾。保存文件。

---
- name: Add Users To IDM
  hosts: localhost
  gather_facts: no
  tasks:
    - name: Create Users
      ipa_user:
        name: "{{ item.key }}"
        givenname: "{{ item.value.firstname }}"
        sn: "{{ item.value.surname }}"
        displayname: "{{ item.value.firstname + ' ' + item.value.surname }}"
        sshpubkey: "{{ lookup('file', item.value.pub_key_file) }}"
        state: present
        ipa_host: "{{ ipa_server }}"
        ipa_user: "{{ ipa_admin_user }}"
        ipa_pass: "{{ ipa_admin_pass }}"
        validate_certs: "{{ ipa_validate_certs }}"
#      with_dict: "{{ users }}"
      loop: "{{ users | dict2items }}"

📑执行剧本

因为playbook使用了Ansible Vault变量,所以在Ansible -playbook命令中使用 --Vault -id @prompt选项。输入redhat321作为密码:

[student@workstation data-loops]$ ansible-playbook --vault-id @prompt scenario_1.yml
Vault password: redhat321

PLAY [Add Users To IDM] *************************************************************

TASK [Create Users] *****************************************************************
changed: [localhost] => (item={'key': 'johnd', 'value': {'firstname': 'John', 'surname': 'Doe', 'pub_key_file': 'pubkeys/johnd/id_rsa.pub'}})
changed: [localhost] => (item={'key': 'janed', 'value': {'firstname': 'Jane', 'surname': 'Doe', 'pub_key_file': 'pubkeys/janed/id_rsa.pub'}})

PLAY RECAP **************************************************************************
localhost: ok=1  changed=1  unreachable=0  failed=0  skipped=0  rescued=0  ignored=0

🔎场景二

scenario_2.yml playbook配置一个数据库服务器,并允许用户对服务器上的数据库进行适当的访问。playbook任务使用with_subelements关键字迭代db_user_access变量中每个用户的数据库列表。变量中定义了db_user_access变量group_vars/all/db_vars.yml文件。

重构场景2的任务。Yml使用了loop关键字并删除了with_subelements关键字。使用适当的过滤器将db_user_access变量转换为可以与loop关键字一起使用的列表。

[student@workstation data-loops]$ cat scenario_2.yml 
---
- name: Enable Database Access
  hosts: db_server
  gather_facts: no
  tasks:
    - import_tasks: database_setup.yml

    - name: Enable user access to database
      mysql_user:
        name: "{{ item.0.username }}"
        priv: "{{ item.1 }}.*:ALL"
        host: workstation.lab.example.com
        append_privs: yes
        password: "{{ user_passwords[item.0.username] }}"
        state: present
      with_subelements:
        - "{{ db_user_access }}"
        - db_list

    - name: Smoke Test - database connectivity
      shell: "{{ lookup('template', 'db_test_command.j2') }}"
      loop: []
      delegate_to: workstation
      changed_when: no

[student@workstation data-loops]$ cat group_vars/all/db_vars.yml 
database_list:
  - employees
  - inventory
  - invoices


db_user_access:
  - username: johnd
    dept: sales
    role: manager
    db_list:
      - employees
      - invoices

  - username: janed
    dept: sales
    role: associate
    db_list:
      - invoices
      - inventory

📑修改关键字

    - name: Enable user access to database
      mysql_user:
        name: "{{ item.0.username }}"
        priv: "{{ item.1 }}.*:ALL"
        host: workstation.lab.example.com
        append_privs: yes
        password: "{{ user_passwords[item.0.username] }}"
        state: present
      loop: "{{ db_user_access | subelements('db_list') }}"
#      with_subelements:
#        - "{{ db_user_access }}"
#        - db_list

    - name: Smoke Test - database connectivity
      shell: "{{ lookup('template', 'db_test_command.j2') }}"
      loop: "{{ db_user_access | subelements('db_list') }}"
      delegate_to: workstation
      changed_when: no

📑修改模板

[student@workstation data-loops]$ vim templates/db_test_command.j2 
echo "use {{ item.1 }}" | \
mysql -u {{ item.0.username }} \
      -p{{ user_passwords[item.0.username] }} \
      -h {{ inventory_hostname }}

📑执行剧本

[student@workstation data-loops]$ ansible-playbook --ask-vault-pass scenario_2.yml
TASK [Enable user access to database] **********************************************
changed: [servere] => (item=[{'username': 'johnd', 'dept': 'sales', 'role': 'manager', 'db_list': ['employees', 'invoices']}, 'employees'])
changed: [servere] => (item=[{'username': 'johnd', 'dept': 'sales', 'role': 'manager', 'db_list': ['employees', 'invoices']}, 'invoices'])
changed: [servere] => (item=[{'username': 'janed', 'dept': 'sales', 'role': 'associate', 'db_list': ['invoices', 'inventory']}, 'invoices'])
changed: [servere] => (item=[{'username': 'janed', 'dept': 'sales', 'role': 'associate', 'db_list': ['invoices', 'inventory']}, 'inventory'])

TASK [Smoke Test - database connectivity] *******************************************
ok: [servere] => (item=[{'username': 'johnd', 'dept': 'sales', 'role': 'manager', 'db_list': ['employees', 'invoices']}, 'employees'])
ok: [servere] => (item=[{'username': 'johnd', 'dept': 'sales', 'role': 'manager', 'db_list': ['employees', 'invoices']}, 'invoices'])
ok: [servere] => (item=[{'username': 'janed', 'dept': 'sales', 'role': 'associate', 'db_list': ['invoices', 'inventory']}, 'invoices'])
ok: [servere] => (item=[{'username': 'janed', 'dept': 'sales', 'role': 'associate', 'db_list': ['invoices', 'inventory']}, 'inventory'])

🔎场景三

Yml剧本在开发web服务器上创建一个开发人员用户帐户。该剧本还将任何开发人员的SSH公钥添加到开发服务器上开发人员用户的授权密钥文件中。

将重构第二个任务,以遍历group_vars/all/public_keys.yml中定义的public_keys_lists变量。使用map过滤器,然后是flatten过滤器,对所有的开发人员生成一个简单的SSH公钥文件列表。更新任务的关键字以包含每个迭代项的文件内容。

[student@workstation data-loops]$ cat scenario_3.yml 
---
- name: Allow Developer Access To Dev Servers
  hosts: dev_web_servers
  gather_facts: no
  tasks:
    - name: Create shared account
      user:
        name: developer
        state: present

    - name: Set up multiple authorized keys
      authorized_key:
        user: developer
        state: present
        key: "{{ item }}"
      with_file:
        - pubkeys/johnd/id_rsa.pub
        - pubkeys/johnd/laptop_rsa.pub
        - pubkeys/janed/id_rsa.pub

[student@workstation data-loops]$ cat group_vars/all/public_keys.yml 
---
public_key_lists:
  - username: johnd
    public_keys:
      - pubkeys/johnd/id_rsa.pub
      - pubkeys/johnd/laptop_rsa.pub
  - username: janed
    public_keys:
      - pubkeys/janed/id_rsa.pub

📑修改关键字

将with_file关键字更改为loop关键字,并启动引用public_key_lists变量的jinj2表达式。在表达式的末尾添加一个映射过滤器,以提取public_keys属性。这将创建一个列表的列表----列表中的每个条目都是特定用户的SSH公钥文件列表。

要创建单个文件列表,请在map过滤器之后添加一个flatten过滤器。使用文件查找插件将key关键字配置为每个迭代项的文件内容。

    - name: Set up multiple authorized keys
      authorized_key:
        user: developer
        state: present
        key: "{{ lookup('file', item) }}"
      loop: "{{ public_key_lists | map(attribute='public_keys') | flatten }}"

📑执行剧本

[student@workstation data-loops]$ ansible-playbook --ask-vault-pass scenario_3.yml
TASK [Create shared account] ********************************************************
ok: [servera]

TASK [Set up multiple authorized keys] **********************************************
changed: [servera] => (item=pubkeys/johnd/id_rsa.pub)
changed: [servera] => (item=pubkeys/johnd/laptop_rsa.pub)
changed: [servera] => (item=pubkeys/janed/id_rsa.pub)

📑清除实验

[student@workstation ~]$ lab data-loops finish


💡总结

RHCA认证需要经历5门的学习与考试,还是需要花不少时间去学习与备考的,好好加油,可以噶🤪。

以上就是【金鱼哥】对 第四章 使用过滤器和插件转换器–实现高级循环据 的简述和讲解。希望能对看到此文章的小伙伴有所帮助。

💾红帽认证专栏系列:
RHCSA专栏:戏说 RHCSA 认证
RHCE专栏:戏说 RHCE 认证
此文章收录在RHCA专栏:RHCA 回忆录

如果这篇【文章】有帮助到你,希望可以给【金鱼哥】点个赞👍,创作不易,相比官方的陈述,我更喜欢用【通俗易懂】的文笔去讲解每一个知识点。

如果有对【运维技术】感兴趣,也欢迎关注❤️❤️❤️ 【金鱼哥】❤️❤️❤️,我将会给你带来巨大的【收获与惊喜】💕💕!

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。