github-actions[bot]
1 line
650 KiB
JSON
1 line
650 KiB
JSON
{"config":{"lang":["ru"],"separator":"[\\s\\-]+","pipeline":["stopWordFilter"],"fields":{"title":{"boost":1000.0},"text":{"boost":1.0},"tags":{"boost":1000000.0}}},"docs":[{"location":"Welcome/","title":"Welcome","text":"<p>\u0421\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430</p>"},{"location":"promts/opensearch/","title":"Opensearch","text":"<p>\u0422\u044b devops \u0438\u043d\u0436\u0435\u043d\u0435\u0440. \u0422\u0432\u043e\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432. \u0422\u044b \u0437\u0430\u043d\u044f\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 opensearch.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/user-data/","title":"User data","text":"<pre><code>#cloud-config\npackage_update: true\npackages:\n - iptables-persistent\n - fail2ban\n - auditd\n - qemu-guest-agent\n - net-tools\ngroups:\n - admins\nusers:\n - name: ubadmin\n primary_group: admin\n groups:\n - sudo\n - admins\n sudo: ALL=(ALL) NOPASSWD:ALL\n shell: /bin/bash\n ssh_authorized_keys:\n - <ssh_public_key>\nwrite_files:\n - path: /etc/iptables/rules.v4\n permissions: 0640\n owner: root:root\n content: |\n *filter\n :INPUT DROP [0:0]\n :FORWARD DROP [0:0]\n :OUTPUT ACCEPT [0:0]\n -A INPUT -p tcp -m tcp --dport 22 -j ACCEPT\n -A INPUT -i lo -j ACCEPT\n -A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT\n -A INPUT -p icmp --icmp-type 0 -j ACCEPT\n -A INPUT -p icmp --icmp-type 3 -j ACCEPT\n -A INPUT -p icmp --icmp-type 11 -j ACCEPT\n COMMIT\n - path: /etc/fail2ban/jail.local\n permissions: 0640\n owner: root:root\n content: |\n [sshd]\n enabled = true\n findtime = 1m\n nmaxretry = 5\n bantime = 15m\n - path: /etc/audit/rules.d/audit.rules\n permissions: 0640\n owner: root:root\n content: |\n -D\n -e 1\n -f 1\n -a always,exclude -F msgtype=CWD\n -a always,exclude -F msgtype=PATH\n -a always,exclude -F msgtype=PROCTITLE\n -a always,exit -F dir=/var/log/audit/ -F perm=wa -F auid!=unset -F key=audit-trail-modification\n -a always,exit -F path=/var/log/syslog -F perm=wa -F auid!=unset -F key=audit-trail-modification\n -a always,exit -F path=/var/log/auth.log -F perm=wa -F auid!=unset -F key=audit-trail-modification\n -a always,exit -F arch=x86_64 -S setuid -F auid!=unset -F a0=0 -F exe=/usr/bin/su -F key=elevated-privileges-session\n -a always,exit -F arch=x86_64 -S setresuid -F auid!=unset -F a0=0 -F exe=/usr/bin/sudo -F key=elevated-privileges-session\n -a always,exit -F arch=x86_64 -S execve -F auid!=unset -C uid!=euid -F euid=0 -F key=elevated-privileges-session\n -a always,exit -F arch=x86_64 -S chmod -S fchmod -S chown -S fchown -S lchown -F auid!=unset -F key=access-rights-modification\nruncmd:\n - printf \"%s\\n\"\"readonly TMOUT=900\" \"export TMOUT\" >> /etc/profile\n - printf \"%s\\n\" \"net.ipv6.conf.all.disable_ipv6 = 1\" \"net.ipv6.conf.default.disable_ipv6 = 1\" \"net.ipv6.conf.lo.disable_ipv6 = 1\" >> /etc/sysctl.conf && sysctl -p\n - sed -i -e '/^PermitRootLogin/s/^.*$/PermitRootLogin no/' /etc/ssh/sshd_config\n - sed -i -e '/^PasswordAuthentication/s/^.*$/PasswordAuthentication no/' /etc/ssh/sshd_config\n - sed -i -e '/^#ClientAliveInterval/s/^.*$/ClientAliveInterval 5m/' /etc/ssh/sshd_config\n - sed -i -e '/^#ClientAliveCountMax/s/^.*$/ClientAliveCountMax 3/' /etc/ssh/sshd_config\n - sed -i -e '$aAllowGroups admins' /etc/ssh/sshd_config\n - systemctl enable fail2ban\n - reboot\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9F%D0%BE%D1%80%D1%82%20%D0%B4%D0%BB%D1%8F%20IMAP/","title":"note #imap #mail","text":"<p>\u041f\u043e\u0440\u0442 \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0443 IMAP \u0441 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c TLS 993 \u0411\u0435\u0437 </p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9F%D0%BE%D1%80%D1%82%20%D0%B4%D0%BB%D1%8F%20IMAP/#smtp","title":"SMTP","text":"<ul> <li>25/tcp SMTP (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u0442)</li> <li>465/tcp SMTPS (\u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0439)</li> <li>587/tcp submission (\u043f\u043e\u0440\u0442 \u0434\u043b\u044f \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432)</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9F%D0%BE%D1%80%D1%82%20%D0%B4%D0%BB%D1%8F%20IMAP/#pop3","title":"POP3","text":"<ul> <li>110/tcp POP3 (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u0442)</li> <li>995/tcp POP3S (\u043f\u043e\u0440\u0442 \u0441 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 SSL/TLS \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f)</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9F%D0%BE%D1%80%D1%82%20%D0%B4%D0%BB%D1%8F%20IMAP/#imap","title":"IMAP","text":"<ul> <li>143/tcp IMAP (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u0442)</li> <li>993/tcp IMAPS (\u043f\u043e\u0440\u0442 \u0441 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 SSL/TLS \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f)</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/Ansible/%D0%98%D0%BD%D0%B2%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D1%8C/","title":"\u0418\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c","text":"<p>\u0418\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u0434\u043b\u044f \u043f\u043b\u0435\u0439\u0431\u0443\u043a\u043e\u0432 \u0431\u044b\u0432\u0430\u0435\u0442 3-\u0445 \u0432\u0438\u0434\u043e\u0432 1. INI 2. YAML 3. \u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e ini \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u043a \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439. \u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u043c\u044b \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u041f\u0440\u0438\u043c\u0435\u0440\u043d\u044b\u0439 \u0432\u0438\u0434 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044f</p> <p>[localhost] localhost [web] web1 web2 [web:vars] ansible_user=root</p> <p>\u0412 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0435 \u0442\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0435\u0441\u044f \u043a \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0445\u043e\u0441\u0442\u0443, \u043f\u043e \u0442\u0438\u043f\u0443 \u044e\u0437\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c\u0441\u044f, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043a\u043b\u044e\u0447, \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0440\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438 \u0442.\u0434. \u0414\u043b\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u0439 \u043d\u0430\u0434\u043e \u0441\u043c\u043e\u0442\u0435\u0440\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e https://docs.ansible.com/ansible/latest/inventory_guide/intro_inventory.html</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/Ansible/%D0%9A%D0%BE%D0%BD%D1%84%D0%B8%D0%B3/","title":"\u041a\u043e\u043d\u0444\u0438\u0433","text":"<p>\u0424\u0430\u0439\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0441 \u0438\u043c\u0435\u043d\u0435\u043c ansible.cfg \u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0437\u0430\u0434\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043d\u0441\u0438\u0431\u043b\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0414\u043b\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0437\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e. <pre><code>[defaults]\ninventory = /home/ubadmin/ansible/inventory.ini\nansible_ssh_private_key_file = /home/ubadmin/.ssh/id_ed25519\nansible_user = ubadmin\nroles_path = /home/ubadmin/ansible/roles\nallow_world_readable_tmpfiles = false\nremote_tmp = /tmp/${USER}/ansible\nhost_key_checking = False\ntimeout = 60\ndeprecation_warnings = False\ndisplay_skipped_hosts = False\n[ssh_connection]\npipelining = True\nansible_connection=paramiko\n[persistent_connection]\nretries = 3\nconnect_timeout = 60\ncommand_timeout = 30\n</code></pre></p> <p>https://docs.ansible.com/ansible/latest/reference_appendices/config.html</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/docker/%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8%20%D0%BF%D0%BE%20docker/","title":"\u0417\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e \u0434\u043e\u043a\u0435\u0440\u0443","text":"<p>1) \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b compose \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u043b \u0444\u0430\u0439\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u043e\u043f, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u0442\u0430\u0440\u0442. \u0420\u0435\u0441\u0442\u0430\u0440 \u043d\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/docker/%D0%B0%D0%BB%D1%8C%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9%20registry/","title":"\u0410\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 registry","text":"<p>\u0415\u0441\u0442\u044c 2 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u0435\u043d \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0435\u0434\u0436\u0438\u0441\u0442\u0440\u0438 \u0434\u043e\u043a\u0435\u0440\u0430: 1) \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u0441\u0432\u043e\u0435\u0433\u043e \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438 2) \u0414\u043e\u043a\u0435\u0440\u0445\u0430\u0431 \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d\\\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u043a\u043e\u043b-\u0432\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0439\\\u0441\u0430\u043d\u043a\u0446\u0438\u0438 \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432 \u043a\u043e\u043d\u0444\u0438\u0433 \u0444\u0430\u0439\u043b\u0435 \u0434\u043e\u043a\u0435\u0440\u0430 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438. \u0414\u0430\u043d\u043d\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0434\u043e\u043a\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0434\u043e\u043a\u0435\u0440 \u0440\u0443\u0442\u043b\u0435\u0441\u0441, \u0442\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u043d\u044b\u043c\u0438 - \u041e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0438\u043b\u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u043c, \u0435\u0441\u043b\u0438 \u043d\u0435\u0442, \u0444\u0430\u0439\u043b \u043f\u043e \u043f\u0443\u0442\u0438 <pre><code>nano /etc/docker/daemon.json\n</code></pre> - \u0420\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u0438\u043b\u0438 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u0441\u0432\u0435\u0436\u0438\u0439 \u0444\u0430\u0439\u043b \u043a\u043e\u043d\u0444\u0438\u0433. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0437\u0435\u0440\u043a\u0430\u043b\u043e \u0442\u0430\u0439\u043c\u0432\u0435\u0431\u0430. \u041d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439\u0445 \u0437\u0435\u0440\u043a\u0430\u043b <pre><code>{ \n\"registry-mirrors\" : [ \"https://dockerhub.timeweb.cloud\" ]\n}\n</code></pre> - \u041f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u0435\u043c\u043e\u043d \u0434\u043e\u043a\u0435\u0440\u0430 <pre><code>systemctl reload docker\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/docker/%D0%B0%D0%BB%D1%8C%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B9%20registry/#_1","title":"\u0421\u043f\u0438\u0441\u043e\u043a \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u0435\u0440\u043a\u0430\u043b","text":"<p>\u0410\u0434\u0440\u0435\u0441 \u0440\u0435\u0435\u0441\u0442\u0440\u0430 \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f-\u0432\u043b\u0430\u0434\u0435\u043b\u0435\u0446 https://mirror.gcr.io Google https://public.ecr.aws Amazon https://dockerhub.timeweb.cloud Timeweb Cloud https://dh-mirror.gitverse.ru GitVerse (\u0421\u0431\u0435\u0440\u0411\u0430\u043d\u043a) https://dockerhub1.beget.com Beget https://quay.io Red Hat https://registry.access.redhat.com Red Hat https://registry.redhat.io Red Hat</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/install/","title":"\u041d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 Gitea","text":"<p>\u041f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u043d\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 gitea. \u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e https://docs.gitea.com/next/installation/install-from-binary \u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u0435\u0440\u0441\u0438\u0438 Ubuntu 22.04 postgresql 17.9 gitea main-nightly ( 1.27.0) git => 2.0</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/install/#_1","title":"\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0431\u0430\u0437\u044b","text":"<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043c \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 postgresql 1) \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0438 \u043a\u043b\u044e\u0447 <pre><code>sudo sh -c 'echo \"deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main\" > /etc/apt/sources.list.d/pgdg.list'\ncurl -fsSL https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/postgresql.gpg\nsudo apt update\n</code></pre> 2) \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c postgresql, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432 \u0430\u0432\u0442\u043e\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443 <pre><code>sudo apt install postgresql-17\nsudo systemctl start postgresql\nsudo systemctl enable postgresql\n</code></pre> 3) \u041d\u0430\u0441\u0442\u0440\u043e\u0438\u043c \u0444\u0430\u0439\u043b postgesql.conf \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f. \u0424\u0430\u0439\u043b \u043b\u0435\u0436\u0438\u0442 /etc/postgresql/17/main/postgresql.conf (17 \u044d\u0442\u043e \u0432\u0435\u0440\u0441\u0438\u044f postgesql) \u0415\u0441\u043b\u0438 \u0441\u0442\u043e\u0440\u043a\u0430 \u0437\u0430\u043a\u043e\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430, \u0442\u043e \u0440\u0430\u0441\u043a\u043e\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0430\u0434\u0440\u0435\u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u0430 gitea <pre><code>listen_addresses = 'localhost, 203.0.113.3' \n</code></pre> 4) \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u044e\u0437\u0435\u0440\u0430 \u0434\u043b\u044f \u0411\u0414. \u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430 \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0441\u044f \u043a \u0421\u0443\u0431\u0434 \u043f\u043e\u0434 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c \u044e\u0437\u0435\u0440\u043e\u043c postges. \u041f\u043e\u0441\u043b\u0435 ROLE \u0438\u0434\u0435\u0442 \u0438\u043c\u044f \u044e\u0437\u0435\u0440\u0430. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0435 \u043d\u0430 \u0441\u0432\u043e\u0438. <pre><code>su -c \"psql\" - postgres\nCREATE ROLE gitea WITH LOGIN PASSWORD 'gitea';\n</code></pre> 5) \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0411\u0414 \u0434\u043b\u044f gitea. \u0412\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u043c \u0431\u0430\u0437\u044b \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u0432\u0435\u0436\u0435\u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430. \u041a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430 \u0431\u0430\u0437\u044b UTF8. \u0421\u043c\u0435\u043d\u0438\u0442\u044c \u0438\u043c\u044f \u0431\u0430\u0437\u044b \u043d\u0430 \u0441\u0432\u043e\u044e <pre><code>CREATE DATABASE giteadb WITH OWNER gitea TEMPLATE template0 ENCODING UTF8 LC_COLLATE 'en_US.UTF-8' LC_CTYPE 'en_US.UTF-8';\n</code></pre> 1) \u0420\u0430\u0437\u0440\u0435\u0448\u0438\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a \u0431\u0430\u0437\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0430\u0443\u0442\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 pg_hba.conf. \u0424\u0430\u0439\u043b \u043b\u0435\u0436\u0438\u0442 /etc/postgresql/17/main/ <pre><code>local giteadb gitea scram-sha-256 #\u0414\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445\nhost giteadb gitea 192.0.2.10/32 scram-sha-256 #\u0414\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445\n</code></pre> 1) \u041d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 Gitea \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.</p> <p>\u0414\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445: <pre><code>psql -U gitea -d giteadb\n</code></pre> \u0414\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445: <pre><code>psql \"postgres://gitea@203.0.113.3/giteadb\"\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/install/#_2","title":"\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430","text":"<p>1) \u041e\u0431\u043d\u043e\u0432\u0438\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 <pre><code>sudo apt update && sudo apt upgrade -y\n</code></pre> 2) \u0421\u043a\u0430\u0447\u0430\u0435\u043c \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a \u0438 \u0432\u044b\u0434\u0430\u0434\u0438\u043c \u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u0430 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435. <pre><code>wget -O gitea https://dl.gitea.com/gitea/main-nightly/gitea-main-nightly-linux-amd64\n</code></pre> <pre><code>sudo chmod gitea\n</code></pre> 3) \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043f\u043e\u0434\u043f\u0438\u0441\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0430. \u0412 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0435\u0441\u0442\u044c GPG \u043a\u043b\u044e\u0447. <pre><code>gpg --keyserver hkps://keys.openpgp.org --recv 7C9E68152594688862D62AF62D9AE806EC1592E2\nwget https://dl.gitea.com/gitea/main-nightly/gitea-main-nightly-linux-386.asc\ngpg --verify gitea-main-nightly-linux-amd64.asc gitea-main-nightly-linux-amd64\n</code></pre> 4) \u041d\u0410 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d git \u0432\u0435\u0440\u0441\u0438\u0438 => 2.0. \u0423\u0431\u0435\u0434\u0438\u043c\u0441\u044f \u0447\u0442\u043e git \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 <pre><code>git --version\n</code></pre> 5) \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 gitea. <pre><code>adduser \\\n --system \\\n --shell /bin/false \\\n --gecos 'Git Version Control' \\\n --group \\\n --disabled-password \\\n --home /home/git \\\n gitea\n</code></pre> 1) \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0438 \u0432\u044b\u0434\u0430\u0434\u0438\u043c \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u044e\u0437\u0435\u0440\u0443 \u043f\u0440\u0430\u0432\u0430 \u043d\u0430 \u043d\u0438\u0445. \u041f\u0440\u0430\u0432\u0430 770 \u043d\u0430 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e /etc/gitea \u0432\u044b\u0434\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438. <pre><code>mkdir -p /mnt/data/gitea/{custom,data,log}\nchown -R gitea:gitea /mnt/data/gitea/\nchmod -R 750 /mnt/data/gitea/\nmkdir /etc/gitea\nchown root:gitea /etc/gitea\nchmod 770 /etc/gitea\n</code></pre> 1) \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u044e\u043d\u0438\u0442 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 gitea \u043a\u0430\u043a \u0441\u0435\u0440\u0432\u0438\u0441\u0430 systemd. \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0430\u0439\u043b \u044e\u043d\u0438\u0442\u0430 \u043f\u043e \u043f\u0443\u0442\u0438 /etc/systemd/system/gitea.service \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u044e\u043d\u0438\u0442\u0430 <pre><code>[Unit]\nDescription=Gitea (Git with a cup of tea)\nAfter=network.target\nWants=postgresql.service\nAfter=postgresql.service\n[Service]\n# Uncomment the next line if you have repos with lots of files and get a HTTP 500 error because of that\n# LimitNOFILE=524288:524288\nRestartSec=2s\nType=simple\nUser=git\nGroup=git\nWorkingDirectory=/var/lib/gitea/\nExecStart=/usr/local/bin/gitea web --config /etc/gitea/app.ini\nRestart=always\nEnvironment=USER=git HOME=/home/git GITEA_WORK_DIR=/var/lib/gitea\n[Install]\nWantedBy=multi-user.target\n</code></pre> \u041f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u044e\u043d\u0438\u0442\u043e\u0432 <pre><code>sudo systemctl daemon-reload\n</code></pre> \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c gitea <pre><code>sudo systemctl enable gitea --now\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/install/#_3","title":"\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430","text":"<p>1) \u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0439\u0442\u0438 \u043f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043f\u043e\u0440\u0442\u0435 3000 http://ip-addr-or-fqdn:3000/ \u041e\u0442\u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432\u0435\u0431 \u0441\u0442\u0440\u0430\u043d\u0446\u0438\u0430 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e: 1) \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u044e\u0437\u0435\u0440\u0430, \u043f\u0430\u0440\u043e\u043b\u044c \u0438 \u0411\u0414, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. 2) \u0423\u043a\u0430\u0437\u0430\u0442\u044c \u0434\u043e\u043c\u0435\u043d \u0438 URl \u0441\u0435\u0440\u0432\u0435\u0440\u0430 3) \u0417\u0430\u0440\u0435\u0433\u0435\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430. \u0415\u0441\u043b\u0438 \u0437\u0430\u0431\u0443\u0434\u0435\u043c \u043b\u043e\u0433\u0438\\\u043f\u0430\u0440\u043e\u043b\u044c \u0430\u0434\u043c\u0438\u043d\u0430, \u0442\u043e \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u044c \u0441\u0435\u0440\u0432\u0435\u0440\u0430 <pre><code>gitea admin user change-password --username user --password password --config /etc/gitea/app.ini:\n</code></pre> 4) \u0422\u0430\u043a \u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044e \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043c\u0435\u043d\u044f\u0435\u043c \u043f\u0440\u0430\u0432\u0430 \u043d\u0430 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e /etc/gitea \u043d\u0430 750 <pre><code>chmod 750 /etc/gitea\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/runners/install/","title":"Gitea Runner","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/runners/install/#actions","title":"\u0412\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 Actions","text":"<p>\u0414\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u043d\u043d\u0435\u0440\u0430 \u043d\u0443\u0436\u043d\u044b \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. \u0415\u0441\u043b\u0438 \u043e\u043d\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0438\u0445 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0441\u0430\u043c\u043e\u0439 gitea <pre><code>nano /etc/gitea/app.ini\n\n[actions] ENABLED=true\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/runners/install/#_1","title":"\u0413\u0434\u0435 \u0432\u0437\u044f\u0442\u044c \u0442\u043e\u043a\u0435\u043d","text":"<p>\u041d\u0443\u0436\u043d\u043e \u0437\u0430\u0439\u0442\u0438 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 -> \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 -> \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f -> \u0420\u0430\u043d\u043d\u0435\u0440\u044b -> \u0421\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0440\u0430\u043d\u043d\u0435\u0440</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/runners/install/#docker","title":"\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 docker","text":"<p>\u0420\u0430\u043d\u043d\u0435\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u043e\u0436\u0435 \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0434\u043e\u043a\u0435\u0440.</p> <p><pre><code>curl -fsSL\u00a0https://get.docker.com | sh -\n</code></pre> \u0412 \u043d\u0443\u0436\u043d\u043e \u043f\u0430\u043f\u043a\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0430\u043f\u043a\u0443 \u0434\u043b\u044f \u0440\u0430\u043d\u043d\u0435\u0440\u043e\u0432 \u0438 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u0432 \u043d\u0435\u0435. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u043d\u043d\u0435\u0440\u043e\u0432, \u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0430\u043f\u043a\u0443 \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043d\u043e\u043c\u0435\u0440\u043e\u043c. <pre><code>mkdir -p gitea_runners/runner1\nmkdir runner-1 && cd runner-1\n</code></pre> \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u0440\u0430\u043d\u0435\u0440\u0430. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u043a\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0430 \u0432 \u043e\u0444 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 https://gitea.com/gitea/runner/src/branch/main/internal/pkg/config/config.example.yaml <pre><code>nano config.yaml\n</code></pre> \u0412\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u0432 \u043e\u0431\u0449\u0443\u044e \u0434\u043b\u044f \u0440\u0430\u043d\u0435\u0440\u043e\u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0438 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u043c compose \u0444\u0430\u0439\u043b \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430. \u0412 \u044d\u0442\u043e\u043c \u0444\u0430\u0439\u043b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0432\u0441\u0435 \u0440\u0430\u043d\u043d\u0435\u0440\u044b <pre><code>cd ..\nnano docker-compose.yaml\n</code></pre> \u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0438 \u0436\u0434\u0435\u043c \u043b\u043e\u0433\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0440\u0430\u043d\u043d\u0435\u0440 \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d <pre><code>docker compose up -d\ndocker logs gitea_runners-runner-1-1 -f\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/gitea/runners/install/#_2","title":"\u0422\u0435\u0441\u0442","text":"<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0430 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0438 \u043a\u043e\u043d\u0444\u0438\u0433 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0440\u0430\u043d\u043d\u0435\u0440\u043e\u043c <pre><code>mkdir -p ./.gitea/workflow/test.yaml\n</code></pre> \u0414\u0430\u043b\u0435\u0435 \u0437\u0430\u043f\u0443\u0448\u0438\u043c \u043b\u044e\u0431\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u0432\u043e \u0432\u043a\u043b\u0430\u0434\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435. \u041f\u0435\u0440\u0432\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u043b\u0433\u0438\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0430\u043d\u043d\u0435\u0440 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043a\u043e\u0434\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/markdown/syntax/","title":"\u0417\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0443 Markdown","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/markdown/syntax/#_1","title":"\u0417\u0430\u0447\u0435\u0440\u043a\u043d\u0443\u0442\u044c","text":"<p>\u0427\u0442\u043e \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u0447\u0435\u0440\u043a\u043d\u0443\u0442\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u0435 \u0435\u0433\u043e \u0432 ~~\u0422\u0415\u041a\u0421\u0422~~</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/openshearch/install/","title":"\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 Opensearch","text":"<p>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0444\u0444 \u0434\u043e\u043a\u0443 https://docs.opensearch.org/latest/install-and-configure/install-opensearch/tar/ \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437 \u0430\u0440\u0445\u0438\u0432\u0430. \u0421\u0442\u0435\u043d\u0434\u044d\u043b\u043e\u043d \u041f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u043e\u0434\u0443 \u0434\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438. \u0412\u0441\u0435 \u044d\u0442\u043e \u0434\u0435\u043b\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0434\u0436\u0430\u0432\u0435. \u0418 \u0445\u043e\u0442\u044c \u0432 \u0430\u0440\u0445\u0438\u0432\u0435 \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447\u0430 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u0436\u0430\u0431\u0430 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u043f\u0440\u044f\u043c\u043e \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0443, \u0447\u0442\u043e \u0431\u044b \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c <pre><code>sudo apt update && sudo apt upgrade -y\nsudo apt install -y openjdk-25-jdk\n</code></pre> \u041e\u0442\u043a\u043b\u044e\u0447\u0438\u043c \u0441\u0432\u0430\u043f \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u0445\u043e\u0441\u0442\u0430 <pre><code>sudo vim /etc/sysctl.conf\n\nvm.max_map_count=262144\n\nsudo sysctl -p\ncat /proc/sys/vm/max_map_count\n</code></pre> \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0436\u0430\u0431\u044b, \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0441\u044f. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043a\u0430\u0447\u0430\u0435\u043c \u0430\u0440\u0445\u0438\u0432 \u0441 \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447\u0435\u043c \u0441 \u043e\u0444\u0444\u0441\u0430\u0439\u0442\u0430 <pre><code>wget https://artifacts.opensearch.org/releases/bundle/opensearch/3.6.0/opensearch-3.6.0-linux-x64.deb\nsudo env OPENSEARCH_INITIAL_ADMIN_PASSWORD=5ruXurur! dpkg -i opensearch-3.6.0-linux-x64.deb\nsudo systemctl enable opensearch\n</code></pre></p> <p>\u0412\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u0441\u043a\u0440\u0438\u043f\u0442 ssl.sh (\u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u043e\u043a\u0435 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440) \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u043e\u043f\u043e\u0434\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0432 \u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0432. \u0421\u041e\u0437\u0434\u0430\u0434\u0443\u0442\u0441\u044f \u043a\u043e\u0440\u043d\u0435\u0432\u043e\u0439 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442 \u0426\u0410. \u0422\u0430\u043a \u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u0441\u0442\u0441\u044f \u043d\u0430 \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u0434\u043c\u0438\u043d\u0441\u043a\u0438\u0439 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442 \u0438 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0434\u044b. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0447\u0442\u043e \u0431\u044b \u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u043d\u043e\u0434\u0430\u043c\u0438 \u0438 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u043e\u0439 \u0431\u044b\u043b\u0438 \u0437\u0430\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u044b. \u0422\u0430\u043a \u0436\u0435 \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u0442\u0441\u044f \u0430\u0434\u043c\u0438\u043d\u0441\u043a\u0438\u0439 \u0441\u0435\u0440\u0442 \u0434\u043b\u044f \u0437\u0430\u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0430. \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0444\u043d\u0438\u0433. \u041a\u043e\u043d\u0444\u0438\u0433 \u0438\u043c\u0435\u0435\u0442 \u0444\u043e\u0440\u043c\u0430\u0442 YAML \u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438\u043b\u0438 \u0441\u0442\u0435\u043d\u0434\u044d\u043b\u043e\u043d \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447\u0430</p> <p>mv /etc/opensearch/opensearch.yml /etc/opensearch/opensearch.yml.back</p> <p>rm /etc/opensearch/*.pem</p> <p>vim /etc/opensearch/opensearch.yml</p> <p>systemctl start opensearch</p> <p>wget https://artifacts.opensearch.org/releases/bundle/opensearch-dashboards/3.6.0/opensearch-dashboards-3.6.0-linux-x64.deb</p> <p>$2y$12$7.7YOQi6.CEN1VSNXg3BqefgQLEeqDbsqxNBNhY1tgZ085q1eZeCK</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/openshearch/%D1%85%D0%BE%D0%B4%20%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B/","title":"\u0425\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u044b","text":"<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438\u0437 \u0442\u0430\u0440\u0431\u043e\u043b\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430\u0441\u044c \u0442\u0435\u043c \u0447\u0442\u043e \u044f \u043d\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u043b \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 \u043b\u043e\u0433\u0438 \u0438 \u0442\u0434 \u043f\u043e \u043f\u0430\u043f\u043a\u0430\u043c. \u0422\u0430\u043a \u0436\u0435 \u0432\u0441\u0435 \u043d\u0430\u043f\u0443\u0442\u0430\u043b \u0441 \u043f\u0440\u0430\u0432\u0430\u043c\u0438, \u044e\u0437\u0435\u0440\u0430\u043c\u0438, \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u0438 \u0442.\u0434. \u0421\u0435\u043a\u0443\u0440\u0438\u0442\u0438 \u043f\u043b\u0430\u0433\u0438\u043d \u043d\u0435 \u0441\u043c\u043e\u0433 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0435\u0439\u0441\u0442\u043e\u0440, \u0432\u0438\u0434\u0438\u043c\u043e \u0447\u0442\u043e \u0442\u043e \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0435\u0433\u043e \u0447\u0435\u0440\u0435\u0437 \u0430\u043f\u0442 \u0437\u0430\u0432\u0442\u0440\u0430. \u0422\u0430\u043a \u0436\u0435 \u043e\u0442\u043a\u0430\u0442\u0438\u043c\u0441\u044f \u0432 \u0445\u043e\u0442\u0435\u043b\u043a\u0430\u0445 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u043c \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u044b, \u0431\u0435\u0437 \u043a\u0435\u0441\u0442\u043e\u0440\u0430 \u0438 \u0442\u0440\u0430\u0441\u0442\u0441\u0442\u043e\u0440\u0430</p> <p>20/04/2026 \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 \u0430\u043f\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u0430\u043c\u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f. \u0421\u043c\u0438\u0440\u044f\u0435\u043c\u0441\u044f \u0438 \u043e\u0442\u043a\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u0441\u044f. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044f \u0433\u0435\u043d\u0435\u0440\u044e \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u044b \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0418\u0437 \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u044b \u043d\u0430\u0434\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u044c \u043d\u0430 1 \u043d\u043e\u0434\u0435. \u0410 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0441\u043a\u0438\u0434\u0430\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u043e \u0434\u0435\u043b\u043e \u043f\u043e \u0443\u0437\u043b\u0430\u043c. \u0418\u0437 \u0432\u0430\u0436\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0435 \u043d\u043e\u0434\u044b \u0432 \u0444\u0430\u0439\u043b\u044b \u0445\u043e\u0441\u0442\u0441 \u0438\u043b\u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u0441\u0432\u043e\u0439 \u0434\u043d\u0441</p> <p>27.04.2026 \u0420\u0435\u0448\u0438\u043b \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u0432\u043e\u0439 \u0434\u043d\u0441. \u041f\u043e\u043c\u0443\u0447\u0438\u043b \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438. \u0418\u0437 \u043f\u0440\u0435\u0434\u043b\u0436\u0435\u043d\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0442\u043e\u043b\u044c\u043a\u043e powerdns \u0438\u043c\u0435\u0435\u0442 \u0430\u043f\u0438 \u0438 \u0442\u0435\u0440\u0430\u0444\u043e\u0440\u043c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430. \u041f\u043e\u0434\u043e\u043b\u0431\u0438\u0442\u0441\u044f \u043b\u0438 \u0441 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0438\u043d\u0444\u0440\u043e\u0439? \u0418\u043b\u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u0441\u044f \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u043a\u043e\u0441\u0442\u044b\u043b\u044f\u043c\u0438? 04.05.2026 \u0414\u043d\u0441 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0438 \u0440\u0435\u0448\u0438\u043b 1 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u041a\u0430\u043a \u043f\u0440\u0438\u044f\u0442\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0438\u043d\u0444\u0440\u0443. \u0412\u044b\u044f\u0441\u043d\u0438\u043b \u0447\u0442\u043e \u0441 \u0432\u0438\u043d\u0434\u044b \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u0447\u043a\u0430 \u043f\u043e\u0442\u043e\u043c\u0443 \u043a\u0430\u043a \u0431\u044b\u043b \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u0432\u043f\u043d, \u0430 \u044f \u0437\u0430\u0431\u044b\u043b \u0447\u0442\u043e \u043f\u0440\u043e\u043a\u0441 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0441 \u0432\u0438\u043d\u0434\u044b \u0438 \u0442\u0440\u0430\u0444\u0438\u043a \u0442\u0443\u043d\u0435\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0432\u043c\u0432\u0430\u0440\u0435 \u0431\u0440\u0438\u0434\u0436 \u043f\u0440\u044f\u043c\u043e \u0432 \u0442\u0443\u043d\u0435\u043b\u044c. \u0421\u043e\u0431\u0440\u0430\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0431\u0435\u0437 \u0441\u0435\u043a\u044e\u0440\u0438\u0442\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u0430. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0443. \u0421\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u0435\u043b\u043c\u043e\u0439 \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438. \u041f\u043e\u043a\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b \u0432\u0441\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0441\u0435\u0440\u0447\u0435 \u0438 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0435. \u0428\u0430\u0433 0 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u0432\u0441\u0435 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043d\u043e \u0441 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c \u0441\u0435\u043a\u044c\u044e\u0440\u0438\u0442\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u043c. \u0418 \u043f\u0440\u043e\u043a\u0438\u043d\u0443\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u0430\u043a\u043e\u0432 \u0432 \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447. \u0422\u0430\u043a \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a\u0438\u0435 \u043b\u043e\u0433\u0438 \u044f \u0431\u0443\u0434\u0443 \u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u043e\u043f\u0435\u043d\u0441\u0435\u0440\u0447. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043b\u043e\u0433\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0435\u0440\u0447\u0430 \u0414\u043b\u044f \u0441\u0431\u043e\u0440\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c fluenbit. \u0428\u0430\u0433 0 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u043e \u043a\u0430\u043a \u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c</p> <p>\u041d\u0430 \u0437\u0430\u043c\u0435\u0442\u043a\u0443 \u043f\u043e\u0438\u0441\u043a\u0430\u0442\u044c \u043c\u0431 \u043a\u0430\u043a\u0443\u044e \u0442\u043e \u041f\u043e\u0448\u0435\u0447\u043a\u0443 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u0443\u0441\u043a\u0430 \u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0432 \u0438 \u0438\u0445 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/","title":"K8S \u0447\u0435\u0440\u0435\u0437 \u0442\u043e\u0444\u0443 \u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0435","text":"<p>\u0421\u0434\u0435\u043b\u0430\u044e \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f\u043c\u0438</p> <p>\u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b:</p> <ul> <li>Proxmox -\u00a0\u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430</li> <li>Ubuntu -\u00a0\u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430</li> <li>OpenTofu -\u00a0\u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430</li> <li>\u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a terraform \u0434\u043b\u044f bpg/proxmox \u2014\u00a0\u0440\u0435\u0435\u0441\u0442\u0440\u00a0\u0438\u00a0github</li> <li>Ansible -\u00a0\u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430</li> <li>Kubespray -\u00a0\u0434\u043e\u043c\u0430\u0448\u043d\u044f\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u00a0\u0438\u00a0github</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#opentofu","title":"\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c OpenTofu","text":"<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0447\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 OpenTofu, \u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b \u0435\u0433\u043e \u043d\u0430 \u0441\u0432\u043e\u0439 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440 \u0441 Linux \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Snap, \u043d\u043e \u0435\u0441\u0442\u044c \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432.\u00a0\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0441\u043c. \u043d\u0430 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438\u00a0OpenTofu.</p> <pre><code>sudo snap install --classic opentofu\n</code></pre> <p>\u0422\u0435\u043f\u0435\u0440\u044c OpenTofu \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d, \u0438 \u044f \u043c\u043e\u0433\u0443 \u043d\u0430\u0447\u0430\u0442\u044c \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.\u00a0\u042f \u0442\u0430\u043a\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b \u0430\u0432\u0442\u043e\u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 bash \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:</p> <pre><code>tofu -install-autocomplete # restart shell session...\n</code></pre> <p>\u042f \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043f\u0430\u043f\u043a\u0443 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u00ab\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432\u00bb, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u0430\u043f\u043a\u0443 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0439 \u043f\u0430\u043f\u043a\u0435 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c *tofu/proxmox, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0438 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447 \u0438\u043b\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c OpenTofu.</p> <pre><code>tofu/proxmox/\n\u251c\u2500\u2500 k8s-cluster-02\n\u251c\u2500\u2500 proxmox-images\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#terraform","title":"\u0421\u0435\u0442\u0435\u0432\u043e\u0435 \u0437\u0435\u0440\u043a\u0430\u043b\u043e \u0440\u0435\u0435\u0441\u0442\u0440\u0430 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 terraform","text":"<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0440\u0435\u0435\u0441\u0442\u0440\u044b \u0438 \u0442\u0435\u0440\u0430\u0444\u043e\u0440\u043c \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u043b\u044f \u0420\u0424 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0443\u0442\u0438 \u043e\u0431\u0445\u043e\u0434\u0430. \u0414\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0435\u0440\u043a\u0430\u043b\u0430 \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u0432\u00a0\u0444\u0430\u0439\u043b \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a terraform\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u0434:</p> <pre><code>provider_installation {\n network_mirror {\n url = \"https://nm.tf.org.ru/\"\n include = [\"registry.terraform.io/*/*\"]\n }\n direct {\n exclude = [\"registry.terraform.io/*/*\"]\n }\n}\n</code></pre> <ul> <li>\u0412 Windows \u0444\u0430\u0439\u043b \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f\u00a0<code>terraform.rc</code>\u00a0\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435\u00a0<code>%APPDATA%</code>\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0420\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 Windows. \u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u043e\u0442 \u043a\u0430\u0442\u0430\u043b\u043e\u0433 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u00a0<code>$env:APPDATA</code>\u00a0\u0432 PowerShell.</li> <li>\u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0444\u0430\u0439\u043b \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f\u00a0<code>.terraformrc</code>\u00a0\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. (/home/ubadmin)</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#_1","title":"\u0414\u0440\u0443\u0433\u0438\u0435 \u0441\u0430\u0439\u0442\u044b","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#_2","title":"\u0417\u0435\u0440\u043a\u0430\u043b\u0430 \u0440\u0435\u0435\u0441\u0442\u0440\u043e\u0432","text":"<ul> <li>registry.comcloud.xyz</li> <li>terraform-mirror.yandexcloud.net</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#_3","title":"\u0417\u0435\u0440\u043a\u0430\u043b\u0430 \u0440\u0435\u043b\u0438\u0437\u043e\u0432","text":"<ul> <li>hashicorp-releases.website.yandexcloud.net</li> <li>hc-mirror.express42.net</li> <li>releases.comcloud.xyz</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#_4","title":"\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f","text":"<ul> <li>docs.comcloud.xyz</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#opentofu-proxmox","title":"\u041f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 OpenTofu Proxmox","text":"<p>\u0427\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c OpenTofu \u0441 Proxmox, \u043c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c API Proxmox.\u00a0\u042f \u0431\u044b\u0441\u0442\u0440\u043e \u0438\u0437\u0443\u0447\u0438\u043b \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0441\u044f \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0435:\u00a0bpg/proxmox.\u00a0\u041e\u043d \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u043b\u0441\u044f (\u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044e git\u00a0\u0437\u0434\u0435\u0441\u044c)</p> <p>\u041f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a OpenTofu/Terraform \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0439 \u043d\u0438\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u0430 bpg/proxmox, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0434\u043b\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441 Proxmox. terraform {</p> <pre><code>\u00a0 required_providers {\n\u00a0 \u00a0 proxmox = {\n\u00a0 \u00a0 \u00a0 source = \"registry.terraform.io/bpg/proxmox\"\n\u00a0 \u00a0 }\n\u00a0 \u00a0 local = {\n\u00a0 \u00a0 \u00a0 source = \"registry.terraform.io/hashicorp/local\"\n\u00a0 \u00a0 }\n\u00a0 \u00a0 null = {\n\u00a0 \u00a0 \u00a0 source = \"registry.terraform.io/hashicorp/null\"\n\u00a0 \u00a0 }\n\u00a0 \u00a0 time = {\n\u00a0 \u00a0 \u00a0 source = \"registry.terraform.io/hashicorp/time\"\n\u00a0 \u00a0 }\n\u00a0 }\n}\n\nprovider \"proxmox\" {\n\u00a0 endpoint \u00a0= var.pve_api_url\n\u00a0 api_token = \"${var.pve_token_id}=${var.pve_token_secret}\"\n\u00a0 insecure \u00a0= true\n\u00a0 ssh {\n\u00a0 \u00a0 agent \u00a0 \u00a0= true\n\u00a0 \u00a0 username = \"root\"\n\u00a0 }\n}\n</code></pre> <p>\u042f \u0441\u043e\u0445\u0440\u0430\u043d\u044e \u044d\u0442\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0432 \u0444\u0430\u0439\u043b\u0435 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c\u00a0providers.tf \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u0432 \u0432\u044b\u0448\u0435.\u00a0\u0420\u0430\u0437\u0434\u0435\u043b\u044b\u00a0terraform\u00a0\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 OpenTofu/Terraform, \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c.\u00a0\u041f\u043e\u043b\u0435\u00a0version\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u043d\u0435\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0443 \u0432\u0435\u0440\u0441\u0438\u044e.\u00a0\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u044f \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0432\u0430\u0448\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0443\u0442 \u043a\u0430\u043a\u0438\u0435-\u043b\u0438\u0431\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 API. \u0420\u0430\u0437\u0434\u0435\u043b\u00a0provider\u00a0\u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043f\u0440\u043e\u043a\u0441\u0438-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0441 Proxmox.\u00a0\u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0438\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u043f\u0430\u0440\u043e\u043b\u044f \u044f \u0440\u0435\u0448\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d API.\u00a0\u0417\u0434\u0435\u0441\u044c \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0432 \u043a\u043b\u044e\u0447\u0430\u0445 endpoint \u0438 api-token, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0444\u0430\u0439\u043b\u0435 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c variables.tf \u0438 credentials.auto.tfvars.\u00a0\u0412 \u043c\u043e\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0441 Proxmox \u043f\u043e SSH, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0442\u0430\u043a\u0436\u0435 \u0432\u043a\u043b\u044e\u0447\u0438\u043b \u0435\u0433\u043e, \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0432 \u043f\u043e\u043b\u0435\u00a0ssh.</p> <p>\u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0435 bpg/proxmox \u043f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435\u00a0\u0441\u044e\u0434\u0430</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/K8S%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D1%82%D0%BE%D1%84%D1%83%20%D0%BD%D0%B0%20%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5/#proxmox-api-opentofu-bpgproxmox","title":"\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u044c\u0442\u0435 Proxmox \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u043e\u043a\u0435\u043d\u0430 API \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u0430 OpenTofu bpg/proxmox","text":"<p>\u0427\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0448\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0441 Proxmox, \u043c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c Proxmox \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0430 API.\u00a0\u042f \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 bpg/proxmox\u00a0\u0437\u0434\u0435\u0441\u044c</p> <pre><code># Create the user\nsudo pveum user add terraform@pve\n\n# Create a role for the user above\nsudo pveum role add Terraform -privs \"Datastore.Allocate Datastore.AllocateSpace Datastore.AllocateTemplate Datastore.Audit Pool.Allocate Sys.Audit Sys.Console Sys.Modify SDN.Use VM.Allocate VM.Audit VM.Clone VM.Config.CDROM VM.Config.Cloudinit VM.Config.CPU VM.Config.Disk VM.Config.HWType VM.Config.Memory VM.Config.Network VM.Config.Options VM.Migrate VM.Monitor VM.PowerMgmt User.Modify\"\n\n# Assign the terraform user to the above role\nsudo pveum aclmod / -user terraform@pve -role Terraform\n\n# Create the token\nsudo pveum user token add terraform@pve provider --privsep=0\n\n\u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u252c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510\n\u2502 key \u2502 value \u2502\n\u255e\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u256a\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2550\u2561\n\u2502 full-tokenid \u2502 terraform@pve!provider \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 info \u2502 {\"privsep\":\"0\"} \u2502\n\u251c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u253c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2524\n\u2502 value \u2502 <token> \u2502\n\u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2534\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518\n# make a backup of the token\n</code></pre> <p>\u0422\u0435\u043f\u0435\u0440\u044c \u044f \u043c\u043e\u0433\u0443 \u0432\u043e\u0439\u0442\u0438 \u0432 \u0441\u0432\u043e\u0439 \u0443\u0437\u0435\u043b Proxmox \u043f\u043e SSH \u0431\u0435\u0437 \u043f\u0430\u0440\u043e\u043b\u044f \u0441 \u043c\u043e\u0435\u0433\u043e Linux-\u0448\u043b\u044e\u0437\u0430.\u00a0\u041d\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0432 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0438 \u0441 opentofu \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.\u00a0\u041c\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043a\u043b\u044e\u0447 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043a\u043b\u044e\u0447\u0435\u0439.\u00a0\u0415\u0441\u043b\u0438 \u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u044e, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0430\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043f\u043e SSH, \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0441 \u044d\u0442\u0438\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c: <pre><code>Error: failed to open SSH client: unable to authenticate user \"root\" over SSH to \"172.18.5.102:22\". Please verify that ssh-agent is correctly loaded with an authorized key via 'ssh-add -L' (NOTE: configurations in ~/.ssh/config are not considered by golang's ssh implementation). The exact error from ssh.Dial: ssh: handshake failed: ssh: unable to authenticate, attempted methods [none password], no supported methods remain\n</code></pre> \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435: <pre><code>eval `ssh-agent -s`\nssh-add /home/ubadmin/.ssh/id_ed25519\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/tofu%20sss/","title":"Tofu sss","text":"<p>eval <code>ssh-agent -s</code> ssh-add /home/ubadmin/.ssh/id_ed25519</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B0%20%D0%BF%D0%BE%20MTU/","title":"\u0417\u0430\u043c\u0435\u0442\u043a\u0430 \u043f\u043e MTU","text":"<p>\u041f\u0440\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0432 \u043f\u0440\u043e\u043a\u0441 \u043d\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u044c MTU 9000 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442. \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043a\u0440\u0438\u0432\u044b\u0435 \u043f\u0438\u0434\u0430\u0440\u0430\u0441\u044b \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u044d\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c. \u0414\u043e \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b\\\u043f\u0435\u0440\u0435\u0437\u0433\u0430\u0440\u0443\u0437\u043a\u0438\\\u043c\u0438\u0433\u0430\u043d\u0438\u044f \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430 (\u043d\u0443\u0436\u043d\u043e\u0435 \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u043d\u0443\u0442\u044c) \u043e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0447\u0430\u0441\u044b, \u043d\u043e \u043f\u043e\u0442\u043e\u043c \u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0448\u044c. \u041a\u043b\u0430\u0441\u0442\u0435\u0440 \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043f\u0438\u0437\u0434\u0435\u0446. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044f \u043d\u0430\u043a\u043e\u0441\u044f\u0447\u0438\u043b \u0441 MTU. Jumbo Frames \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u043d\u0430 \u0432\u0441\u0435\u043c \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0435 \u041e\u043f\u044b\u0442\u043d\u044b\u043c \u043f\u0443\u0442\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u0438 \u043a\u0440\u0438\u043d\u0436\u0430 \u0432\u044b\u044f\u0441\u043d\u0435\u043d \u041c\u0422\u0423 \u0434\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0430 \u0434\u043e \u0421\u0425\u0414 MTU 7940 \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u0430 \u0445\u0443\u0439 \u0435\u0433\u043e \u0437\u043d\u0430\u0435\u0442. \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a VLAN 4 \u0431\u0430\u0439\u0442\u0430. \u041c\u0422\u0423 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430\u0445 \u0441\u0432\u0438\u0442\u0447\u0430 9126 \u041c\u0422\u0423 \u043d\u0430 \u0421\u0425\u0414 9000 \u043a\u0443\u0434\u0430 \u0434\u0435\u043b\u0438\u0441\u044c 1000 \u0431\u0430\u0439\u0442 \u0430 \u0445\u0435\u0440 \u0435\u0433\u043e \u0437\u043d\u0430\u0435\u0442. \u042f \u0432\u044b\u044f\u0441\u043d\u0438\u043b \u0441\u0432\u043e\u0439 \u043a\u043e\u0441\u044f\u043a. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u0433\u043e\u0432\u043d\u0430 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c Infortrend \u0441\u0434\u0435\u043b\u0430\u043b \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0421\u0425\u0414 jumbo frames 8000 \u0432\u043c\u0435\u0441\u0442\u043e 9000 \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043a\u0443\u0434\u0430 \u0434\u0435\u043b\u0441\u044f \u043a\u043e\u0441\u0430\u0440\u044c \u0431\u0430\u0439\u0442\u0438\u043a\u043e\u0432. \u0412\u043e\u043d\u044e\u0447\u0438\u0435 \u0442\u0430\u0439\u0432\u0430\u043d\u044c\u0446\u044b \u0441\u043e\u0436\u0440\u0430\u043b\u0438</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/proxmox/%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B0%20%D1%87%D0%B5%D1%80%D0%B5%D0%B7%20%D0%BC%D0%BE%D0%B9%20%D1%88%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD%20%D1%82%D0%BE%D1%84%D1%83/","title":"\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0442\u043e\u0444\u0443","text":"<p>\u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0432 \u0440\u0430\u0431\u043e\u0447\u0443\u044e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0438 \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u043c. \u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0441\u0432\u0435\u0436\u0443\u044e \u043a\u043e\u043f\u0438\u044e \u0438 \u0433\u043e\u0442\u043e\u0432\u0438\u043c\u0441\u044f \u043a \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044e \u0427\u0422\u043e \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: - \u0421\u043e\u0437\u0434\u0430\u0442\u044c 3 \u043c\u0430\u0441\u0442\u0435\u0440 \u043d\u043e\u0434\u044b - \u0421\u043e\u0437\u0434\u0430\u0442\u044c 3 \u0432\u043e\u0440\u043a\u0435\u0440 \u043d\u043e\u0434\u044b - \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u0434\u043b\u044f \u0430\u043d\u0441\u0438\u0431\u043b - \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043a\u0443\u0431\u0441\u043f\u0440\u0435\u0439 - \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 - \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u043b\u0435\u0439\u0431\u0443\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043a\u0443\u0431\u0435\u0440\u0430 \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u0422\u0410\u043a \u043a\u0430\u043a \u043d\u0430\u0434\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c 2 \u0432\u0438\u0434\u0430 \u0432\u043c \u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c 2 \u0444\u0430\u0439\u043b\u0430 \u0433\u0434\u0435 \u043e\u043f\u0438\u0448\u0435\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0438 \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0438\u0445 k8s-cp-node-01 \u0438 k8s-worker-node-01 \u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u0432 \u044d\u0442\u0438 \u0444\u0430\u0439\u043b\u044b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0442\u0435\u043c\u043f\u043b\u0435\u0439\u0442\u0430 \u0438 \u043c\u0435\u043d\u044f\u0435\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u0430. \u0421 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u043e. \u041c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438, \u043d\u043e \u0442\u043e\u0433\u0434\u0430 \u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c 2 \u043d\u0430\u0431\u043e\u0440\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0438\u043f \u043c\u0430\u0448\u0438\u043d. \u041c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u043d\u0435 \u0432\u0432\u043e\u0434\u044f \u043d\u043e\u0432\u044b\u0435, \u043d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0435\u0441\u0443\u0440\u0441\u0430 2 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u044b \u0441\u0442\u043e\u043b\u043a\u043d\u0435\u043c\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445 \u0438 \u043c\u0435\u0448\u0430\u044e\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 Id \u0432\u043c \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u0431\u0435\u0437 \u043a\u043e\u043b\u0445\u043e\u0437\u0438\u043d\u0433\u0430 \u043e\u043d\u043e \u0442\u0430\u043a\u0438\u043c \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438 \u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u043e\u0448\u0438\u0431\u043a\u0443 )</p> <p>\u042f \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0435\u043b \u043a\u043e\u043b\u0445\u043e\u0437\u0438\u043d\u0433 \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0430\u0431\u043e\u0440\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u0435\u0433\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e. \u0410 \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u043d\u0430\u0434\u043e \u0433\u043e\u0440\u043e\u0434\u0438\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. (\u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043d\u0430\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b)</p> <p>\u041c\u0435\u043d\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0432 \u0444\u0430\u0439\u043b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u0421\u041b\u0415\u0414\u0418\u041c \u0417\u0410 ID!!!!! \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u0431\u0438\u0442\u044c \u0438\u043d\u0444\u0440\u0443. \u041f\u043e \u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u043d\u0430\u0434\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u0442\u0435\u0441\u0442 \u0441 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0440\u0443\u0447\u043a\u043e\u0439 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0441\u0443\u0448\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u0412\u041c \u0441 \u0442\u0430\u043a\u0438\u043c \u0430\u0439\u0434\u0438.</p> <p>\u0422\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0441\u044f \u0441\u0447\u0435\u0442\u0447\u0438\u043a, \u0442\u043e \u0434\u043b\u044f \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 \u0438\u043c\u044f, ip \u0438 \u0442\u0434, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u044d\u043a\u0440\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u0430 \u0442\u0430\u043a \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0431\u044b \u043d\u0435 \u0433\u043e\u0440\u043e\u0434\u0438\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0431\u043e\u0440. \u042d\u0442\u043e\u0442 \u0442\u0435\u043a\u0441\u0442 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0438\u0434\u044b \u0440\u0435\u0441\u0443\u0440\u0441\u0430. \u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f: vm_id vm_hostname ip_address \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043d\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 : <pre><code>\"${var.vm_hostname}-cp-${count.index + 1}\"\n</code></pre> <pre><code>\"${var.vm_id}1${count.index + 1}\"\n</code></pre> <pre><code>\"${var.ip_address}${count.index + 1}/24\"\n</code></pre> \u041c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u0430\u0432\u044b\u0447\u043a\u0438 \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0435\u043a\u0441\u0442. \u0422\u0435\u043a\u0441\u0442 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u0430 \u0441\u0432\u043e\u0439. \u0422\u0430\u043a \u043a\u0430\u043a \u0438\u043c\u044f \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u043e\u0435 \u0438\u0437 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0441\u0447\u0435\u0442\u0447\u0438\u043a\u0430 \u0442\u043e \u043c\u044b \u0438\u0445 \u044d\u043a\u0440\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439 ${}</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/terraform/modules/","title":"Modules","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/terraform/modules/#terraform","title":"\u0417\u0430\u043f\u0438\u0441\u0438\u043a \u0434\u043b\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0432 terraform","text":"<p>09.05.2026 \u0423\u0437\u043d\u0430\u043b \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043c\u043e\u0434\u0443\u043b\u0438</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/terraform/variables/","title":"\u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432 terraform","text":"<p>\u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 - \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0438 \u043c\u043e\u0433\u0443\u0442 \u043c\u0435\u043d\u044f\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0432\u0430 \u0432\u0438\u0434\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445. 1) \u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 - \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. 2) \u0418\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0435 - \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u044b</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/terraform/variables/#_1","title":"\u0412\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435","text":"<p>\u0414\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u043e \u043e\u0431\u044a\u044f\u0432\u0438\u0442\u044c. \u0414\u043b\u044f \u0441\u043e\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u0442\u043e\u0442\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 variable.tf \u041e\u0431\u044a\u044f\u0432\u0438\u0432 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0435\u0435 \u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u044f \u0435\u0435 \u0438\u043c\u044f. \u0422\u0430\u043a \u0436\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0444\u0430\u0439\u043b \u0441 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 *.tfvars. \u0422\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043a\u043b\u044e\u0447 -var-file \u0438 \u0438\u043c\u044f \u0444\u0430\u0439\u043b\u0430 <pre><code>tofu plan -var-file example.tfvars -out example\n</code></pre> \u0421\u043e\u0437\u0434\u0430\u0432\u0430\u044f \u0444\u0430\u0439\u043b\u044b \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 1 \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u0434 \u0440\u0435\u0441\u0443\u0440\u0441\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/terraform/%D0%B3%D0%BE%D0%BB%D0%BE%D1%81%D0%B0%D1%80%D0%B8%D0%B9/","title":"\u0413\u043e\u043b\u043e\u0441\u0430\u0440\u0438\u0439","text":"<p>\u041c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 - \u044d\u0442\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0438\u0437 HCL \u043a\u043e\u0434\u0430, \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0438 \u043b\u043e\u0433\u0438\u043a\u0438. \u0414\u043b\u044f \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0444\u0430\u0439\u043b\u044b. \u0411\u043b\u043e\u043a - \u0431\u043b\u043e\u043a \u043a\u043e\u0434\u0430 \u0432 \u0442\u0435\u0440\u0440\u0430\u0444\u043e\u0440\u043c\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044e \u0441 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0442\u043e \u044d\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f. \u041f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f - \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0438\u043b\u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439. \u0420\u0435\u0441\u0443\u0440\u0441 - \u0431\u043b\u043e\u043a \u043a\u043e\u0434\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0447\u0435\u0433\u043e \u043b\u0438\u0431\u043e. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u043c. \u041c\u043e\u0434\u0443\u043b\u044c - \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/vault/vault/","title":"\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 Vault","text":"<p>\u0421\u0438\u0441\u0442\u0435\u043c\u0430 ubuntu 22.04 Vault 2.0.0</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/vault/vault/#_1","title":"\u0421\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435","text":"<p>\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Hashicorp \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u043b\u0430 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b \u0438\u0437 \u0420\u043e\u0441\u0441\u0438\u0438. \u041f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0412\u041f\u041d \u0438\u043b\u0438 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0441 \u0437\u0435\u0440\u043a\u0430\u043b\u0430 \u044f\u043d\u0434\u0435\u043a\u0441\u0430 <pre><code>VAULT_VERSION=\"2.0.0\"\nwget https://hashicorp-releases.yandexcloud.net/vault/${VAULT_VERSION}/vault_${VAULT_VERSION}_linux_amd64.zip\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/vault/vault/#_2","title":"\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430","text":"<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0430\u0440\u0445\u0438\u0432\u0430\u0442\u043e\u0440, \u0447\u0442\u043e \u0431\u044b \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a <pre><code>sudo apt-get install -y unzip\n</code></pre> \u0420\u0430\u0441\u043f\u0430\u043a\u0443\u0435\u043c \u0438 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043c \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a \u0432 \u043f\u0430\u043f\u043a\u0443 \u0441 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0430\u043c\u0438 <pre><code>unzip vault_${VAULT_VERSION}_linux_amd64.zip\nsudo mv vault /usr/local/bin/\n</code></pre> \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0447\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 <pre><code>vault --version\n</code></pre> \u0414\u0430\u043b\u0435\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430 \u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u043e\u0432 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445 <pre><code>adduser \\\n --system \\\n --shell /bin/false \\\n --gecos 'Vault user' \\\n --group \\\n --disabled-password \\\n --no-create-home \\\n vault\n</code></pre> <pre><code>sudo nano /etc/vault/vault.hcl\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/vault/%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5/","title":"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435","text":"<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c vault</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%93%D0%BE%D1%80%D1%8F%D1%87%D0%B8%D0%B5%20%D0%BA%D0%BB%D0%B0%D0%B2%D0%B8%D1%88%D0%B8/vscode/","title":"\u0417\u0430\u043c\u0435\u0442\u043a\u0430 \u0434\u043b\u044f \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u0433\u043e\u0440\u044f\u0447\u0438\u0445 \u043a\u043b\u0430\u0432\u0438\u0448 \u0432 Vscode","text":"<p>1) \u0414\u043b\u044f \u0440\u0435\u043d\u0434\u0435\u0440\u0430 Markdown ctrl + shift + V. \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u0432 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0436\u0430\u0442\u044c \u0435\u0449\u0435 \u0440\u0430\u0437</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/FIo/","title":"comand #notes","text":"<p>![[Pasted image 20250312073216.png]]</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%9F%D0%BE%D1%81%D0%BC%D0%BE%D1%82%D1%80%D0%B5%D1%82%D1%8C%20%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5%20%D0%BF%D0%B0%D0%BA%D0%B5%D1%82%D1%8B%20apt/","title":"comand #notes #linux","text":"<p><pre><code>apt list --instaled (name)\n</code></pre> \u0418\u043c\u044f \u043f\u0430\u043a\u0435\u0442\u0430, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0443 \u0435\u0441\u043b\u0438 \u043d\u0435 \u043f\u043e\u043c\u043d\u0438\u0448\u044c \u0442\u043e\u0447\u043d\u043e\u0435 \u0438\u043c\u044f</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%A0%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%20%D0%B4%D0%B8%D1%80%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20Linux/","title":"comand #linux #notes","text":"<p>du\u00a0\u2014 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0432 Linux, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438.\u00a01\u00a0\u0420\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a disk usage (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u0430).\u00a02</p> <p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0446\u0438\u0438 \u0434\u043b\u044f du:</p> <ul> <li>du -h\u00a0\u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0447\u0438\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435. \u041c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0443\u0442\u044c \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e, \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435.\u00a01</li> <li>du -sh\u00a0\u2014 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f. \u041c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0443\u0442\u044c \u043a \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438.\u00a01</li> <li>du -m\u00a0\u2014 \u0432\u044b\u0432\u043e\u0434 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u0445.\u00a01</li> <li>du -h --time\u00a0\u2014 \u0432\u044b\u0432\u0435\u0434\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u043c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0438\u043b\u0438 \u0444\u0430\u0439\u043b\u043e\u0432.\u00a0</li> </ul> <p>\u0415\u0441\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c du \u0431\u0435\u0437 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u043e \u043e\u043d\u0430 \u0432\u044b\u0432\u0435\u0434\u0435\u0442 \u0432\u0441\u0435 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0438 \u043f\u043e\u0434\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438. (https://winitpro.ru/index.php/2021/02/20/svobodnoe-mesta-na-diske-v-linux/)</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%A1%D0%B1%D1%80%D0%BE%D1%81%20ip%20%D0%B0%D0%B4%D1%80%D0%B5%D1%81%D0%B0%20%D0%BD%D0%B0%20%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D1%84%D0%B5%D0%B9%D1%81%D0%B5/","title":"comand #notes #linux","text":"<pre><code>ip addr flush dev eth0 (\u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u043c\u044f \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0441\u0430)\nifconfig <interface> 0.0.0.0\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%A1%D0%BA%D1%80%D0%B8%D0%BF%D1%82%20%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B8%20Docker/","title":"notes #comand #linux #docker","text":"<pre><code>curl https://get.docker.com | sh -\n</code></pre> <pre><code>#!/bin/sh\nset -e\n# Docker Engine for Linux installation script.\n#\n# This script is intended as a convenient way to configure docker's package\n# repositories and to install Docker Engine, This script is not recommended\n# for production environments. Before running this script, make yourself familiar\n# with potential risks and limitations, and refer to the installation manual\n# at https://docs.docker.com/engine/install/ for alternative installation methods.\n#\n# The script:\n#\n# - Requires `root` or `sudo` privileges to run.\n# - Attempts to detect your Linux distribution and version and configure your\n# package management system for you.\n# - Doesn't allow you to customize most installation parameters.\n# - Installs dependencies and recommendations without asking for confirmation.\n# - Installs the latest stable release (by default) of Docker CLI, Docker Engine,\n# Docker Buildx, Docker Compose, containerd, and runc. When using this script\n# to provision a machine, this may result in unexpected major version upgrades\n# of these packages. Always test upgrades in a test environment before\n# deploying to your production systems.\n# - Isn't designed to upgrade an existing Docker installation. When using the\n# script to update an existing installation, dependencies may not be updated\n# to the expected version, resulting in outdated versions.\n#\n# Source code is available at https://github.com/docker/docker-install/\n#\n# Usage\n# ==============================================================================\n#\n# To install the latest stable versions of Docker CLI, Docker Engine, and their\n# dependencies:\n#\n# 1. download the script\n#\n# $ curl -fsSL https://get.docker.com -o install-docker.sh\n#\n# 2. verify the script's content\n#\n# $ cat install-docker.sh\n#\n# 3. run the script with --dry-run to verify the steps it executes\n#\n# $ sh install-docker.sh --dry-run\n#\n# 4. run the script either as root, or using sudo to perform the installation.\n#\n# $ sudo sh install-docker.sh\n#\n# Command-line options\n# ==============================================================================\n#\n# --version <VERSION>\n# Use the --version option to install a specific version, for example:\n#\n# $ sudo sh install-docker.sh --version 23.0\n#\n# --channel <stable|test>\n#\n# Use the --channel option to install from an alternative installation channel.\n# The following example installs the latest versions from the \"test\" channel,\n# which includes pre-releases (alpha, beta, rc):\n#\n# $ sudo sh install-docker.sh --channel test\n#\n# Alternatively, use the script at https://test.docker.com, which uses the test\n# channel as default.\n#\n# --mirror <Aliyun|AzureChinaCloud>\n#\n# Use the --mirror option to install from a mirror supported by this script.\n# Available mirrors are \"Aliyun\" (https://mirrors.aliyun.com/docker-ce), and\n# \"AzureChinaCloud\" (https://mirror.azure.cn/docker-ce), for example:\n#\n# $ sudo sh install-docker.sh --mirror AzureChinaCloud\n#\n# ==============================================================================\n\n\n# Git commit from https://github.com/docker/docker-install when\n# the script was uploaded (Should only be modified by upload job):\nSCRIPT_COMMIT_SHA=\"4c94a56999e10efcf48c5b8e3f6afea464f9108e\"\n\n# strip \"v\" prefix if present\nVERSION=\"${VERSION#v}\"\n\n# The channel to install from:\n# * stable\n# * test\nDEFAULT_CHANNEL_VALUE=\"stable\"\nif [ -z \"$CHANNEL\" ]; then\n CHANNEL=$DEFAULT_CHANNEL_VALUE\nfi\n\nDEFAULT_DOWNLOAD_URL=\"https://download.docker.com\"\nif [ -z \"$DOWNLOAD_URL\" ]; then\n DOWNLOAD_URL=$DEFAULT_DOWNLOAD_URL\nfi\n\nDEFAULT_REPO_FILE=\"docker-ce.repo\"\nif [ -z \"$REPO_FILE\" ]; then\n REPO_FILE=\"$DEFAULT_REPO_FILE\"\nfi\n\nmirror=''\nDRY_RUN=${DRY_RUN:-}\nwhile [ $# -gt 0 ]; do\n case \"$1\" in\n --channel)\n CHANNEL=\"$2\"\n shift\n ;;\n --dry-run)\n DRY_RUN=1\n ;;\n --mirror)\n mirror=\"$2\"\n shift\n ;;\n --version)\n VERSION=\"${2#v}\"\n shift\n ;;\n --*)\n echo \"Illegal option $1\"\n ;;\n esac\n shift $(( $# > 0 ? 1 : 0 ))\ndone\n\ncase \"$mirror\" in\n Aliyun)\n DOWNLOAD_URL=\"https://mirrors.aliyun.com/docker-ce\"\n ;;\n AzureChinaCloud)\n DOWNLOAD_URL=\"https://mirror.azure.cn/docker-ce\"\n ;;\n \"\")\n ;;\n *)\n >&2 echo \"unknown mirror '$mirror': use either 'Aliyun', or 'AzureChinaCloud'.\"\n exit 1\n ;;\nesac\n\ncase \"$CHANNEL\" in\n stable|test)\n ;;\n *)\n >&2 echo \"unknown CHANNEL '$CHANNEL': use either stable or test.\"\n exit 1\n ;;\nesac\n\ncommand_exists() {\n command -v \"$@\" > /dev/null 2>&1\n}\n\n# version_gte checks if the version specified in $VERSION is at least the given\n# SemVer (Maj.Minor[.Patch]), or CalVer (YY.MM) version.It returns 0 (success)\n# if $VERSION is either unset (=latest) or newer or equal than the specified\n# version, or returns 1 (fail) otherwise.\n#\n# examples:\n#\n# VERSION=23.0\n# version_gte 23.0 // 0 (success)\n# version_gte 20.10 // 0 (success)\n# version_gte 19.03 // 0 (success)\n# version_gte 26.1 // 1 (fail)\nversion_gte() {\n if [ -z \"$VERSION\" ]; then\n return 0\n fi\n version_compare \"$VERSION\" \"$1\"\n}\n\n# version_compare compares two version strings (either SemVer (Major.Minor.Path),\n# or CalVer (YY.MM) version strings. It returns 0 (success) if version A is newer\n# or equal than version B, or 1 (fail) otherwise. Patch releases and pre-release\n# (-alpha/-beta) are not taken into account\n#\n# examples:\n#\n# version_compare 23.0.0 20.10 // 0 (success)\n# version_compare 23.0 20.10 // 0 (success)\n# version_compare 20.10 19.03 // 0 (success)\n# version_compare 20.10 20.10 // 0 (success)\n# version_compare 19.03 20.10 // 1 (fail)\nversion_compare() (\n set +x\n\n yy_a=\"$(echo \"$1\" | cut -d'.' -f1)\"\n yy_b=\"$(echo \"$2\" | cut -d'.' -f1)\"\n if [ \"$yy_a\" -lt \"$yy_b\" ]; then\n return 1\n fi\n if [ \"$yy_a\" -gt \"$yy_b\" ]; then\n return 0\n fi\n mm_a=\"$(echo \"$1\" | cut -d'.' -f2)\"\n mm_b=\"$(echo \"$2\" | cut -d'.' -f2)\"\n\n # trim leading zeros to accommodate CalVer\n mm_a=\"${mm_a#0}\"\n mm_b=\"${mm_b#0}\"\n\n if [ \"${mm_a:-0}\" -lt \"${mm_b:-0}\" ]; then\n return 1\n fi\n\n return 0\n)\n\nis_dry_run() {\n if [ -z \"$DRY_RUN\" ]; then\n return 1\n else\n return 0\n fi\n}\n\nis_wsl() {\n case \"$(uname -r)\" in\n *microsoft* ) true ;; # WSL 2\n *Microsoft* ) true ;; # WSL 1\n * ) false;;\n esac\n}\n\nis_darwin() {\n case \"$(uname -s)\" in\n *darwin* ) true ;;\n *Darwin* ) true ;;\n * ) false;;\n esac\n}\n\ndeprecation_notice() {\n distro=$1\n distro_version=$2\n echo\n printf \"\\033[91;1mDEPRECATION WARNING\\033[0m\\n\"\n printf \" This Linux distribution (\\033[1m%s %s\\033[0m) reached end-of-life and is no longer supported by this script.\\n\" \"$distro\" \"$distro_version\"\n echo \" No updates or security fixes will be released for this distribution, and users are recommended\"\n echo \" to upgrade to a currently maintained version of $distro.\"\n echo\n printf \"Press \\033[1mCtrl+C\\033[0m now to abort this script, or wait for the installation to continue.\"\n echo\n sleep 10\n}\n\nget_distribution() {\n lsb_dist=\"\"\n # Every system that we officially support has /etc/os-release\n if [ -r /etc/os-release ]; then\n lsb_dist=\"$(. /etc/os-release && echo \"$ID\")\"\n fi\n # Returning an empty string here should be alright since the\n # case statements don't act unless you provide an actual value\n echo \"$lsb_dist\"\n}\n\necho_docker_as_nonroot() {\n if is_dry_run; then\n return\n fi\n if command_exists docker && [ -e /var/run/docker.sock ]; then\n (\n set -x\n $sh_c 'docker version'\n ) || true\n fi\n\n # intentionally mixed spaces and tabs here -- tabs are stripped by \"<<-EOF\", spaces are kept in the output\n echo\n echo \"================================================================================\"\n echo\n if version_gte \"20.10\"; then\n echo \"To run Docker as a non-privileged user, consider setting up the\"\n echo \"Docker daemon in rootless mode for your user:\"\n echo\n echo \" dockerd-rootless-setuptool.sh install\"\n echo\n echo \"Visit https://docs.docker.com/go/rootless/ to learn about rootless mode.\"\n echo\n fi\n echo\n echo \"To run the Docker daemon as a fully privileged service, but granting non-root\"\n echo \"users access, refer to https://docs.docker.com/go/daemon-access/\"\n echo\n echo \"WARNING: Access to the remote API on a privileged Docker daemon is equivalent\"\n echo \" to root access on the host. Refer to the 'Docker daemon attack surface'\"\n echo \" documentation for details: https://docs.docker.com/go/attack-surface/\"\n echo\n echo \"================================================================================\"\n echo\n}\n\n# Check if this is a forked Linux distro\ncheck_forked() {\n\n # Check for lsb_release command existence, it usually exists in forked distros\n if command_exists lsb_release; then\n # Check if the `-u` option is supported\n set +e\n lsb_release -a -u > /dev/null 2>&1\n lsb_release_exit_code=$?\n set -e\n\n # Check if the command has exited successfully, it means we're in a forked distro\n if [ \"$lsb_release_exit_code\" = \"0\" ]; then\n # Print info about current distro\n cat <<-EOF\n You're using '$lsb_dist' version '$dist_version'.\n EOF\n\n # Get the upstream release info\n lsb_dist=$(lsb_release -a -u 2>&1 | tr '[:upper:]' '[:lower:]' | grep -E 'id' | cut -d ':' -f 2 | tr -d '[:space:]')\n dist_version=$(lsb_release -a -u 2>&1 | tr '[:upper:]' '[:lower:]' | grep -E 'codename' | cut -d ':' -f 2 | tr -d '[:space:]')\n\n # Print info about upstream distro\n cat <<-EOF\n Upstream release is '$lsb_dist' version '$dist_version'.\n EOF\n else\n if [ -r /etc/debian_version ] && [ \"$lsb_dist\" != \"ubuntu\" ] && [ \"$lsb_dist\" != \"raspbian\" ]; then\n if [ \"$lsb_dist\" = \"osmc\" ]; then\n # OSMC runs Raspbian\n lsb_dist=raspbian\n else\n # We're Debian and don't even know it!\n lsb_dist=debian\n fi\n dist_version=\"$(sed 's/\\/.*//' /etc/debian_version | sed 's/\\..*//')\"\n case \"$dist_version\" in\n 12)\n dist_version=\"bookworm\"\n ;;\n 11)\n dist_version=\"bullseye\"\n ;;\n 10)\n dist_version=\"buster\"\n ;;\n 9)\n dist_version=\"stretch\"\n ;;\n 8)\n dist_version=\"jessie\"\n ;;\n esac\n fi\n fi\n fi\n}\n\ndo_install() {\n echo \"# Executing docker install script, commit: $SCRIPT_COMMIT_SHA\"\n\n if command_exists docker; then\n cat >&2 <<-'EOF'\n Warning: the \"docker\" command appears to already exist on this system.\n\n If you already have Docker installed, this script can cause trouble, which is\n why we're displaying this warning and provide the opportunity to cancel the\n installation.\n\n If you installed the current Docker package using this script and are using it\n again to update Docker, you can ignore this message, but be aware that the\n script resets any custom changes in the deb and rpm repo configuration\n files to match the parameters passed to the script.\n\n You may press Ctrl+C now to abort this script.\n EOF\n ( set -x; sleep 20 )\n fi\n\n user=\"$(id -un 2>/dev/null || true)\"\n\n sh_c='sh -c'\n if [ \"$user\" != 'root' ]; then\n if command_exists sudo; then\n sh_c='sudo -E sh -c'\n elif command_exists su; then\n sh_c='su -c'\n else\n cat >&2 <<-'EOF'\n Error: this installer needs the ability to run commands as root.\n We are unable to find either \"sudo\" or \"su\" available to make this happen.\n EOF\n exit 1\n fi\n fi\n\n if is_dry_run; then\n sh_c=\"echo\"\n fi\n\n # perform some very rudimentary platform detection\n lsb_dist=$( get_distribution )\n lsb_dist=\"$(echo \"$lsb_dist\" | tr '[:upper:]' '[:lower:]')\"\n\n if is_wsl; then\n echo\n echo \"WSL DETECTED: We recommend using Docker Desktop for Windows.\"\n echo \"Please get Docker Desktop from https://www.docker.com/products/docker-desktop/\"\n echo\n cat >&2 <<-'EOF'\n\n You may press Ctrl+C now to abort this script.\n EOF\n ( set -x; sleep 20 )\n fi\n\n case \"$lsb_dist\" in\n\n ubuntu)\n if command_exists lsb_release; then\n dist_version=\"$(lsb_release --codename | cut -f2)\"\n fi\n if [ -z \"$dist_version\" ] && [ -r /etc/lsb-release ]; then\n dist_version=\"$(. /etc/lsb-release && echo \"$DISTRIB_CODENAME\")\"\n fi\n ;;\n\n debian|raspbian)\n dist_version=\"$(sed 's/\\/.*//' /etc/debian_version | sed 's/\\..*//')\"\n case \"$dist_version\" in\n 12)\n dist_version=\"bookworm\"\n ;;\n 11)\n dist_version=\"bullseye\"\n ;;\n 10)\n dist_version=\"buster\"\n ;;\n 9)\n dist_version=\"stretch\"\n ;;\n 8)\n dist_version=\"jessie\"\n ;;\n esac\n ;;\n\n centos|rhel)\n if [ -z \"$dist_version\" ] && [ -r /etc/os-release ]; then\n dist_version=\"$(. /etc/os-release && echo \"$VERSION_ID\")\"\n fi\n ;;\n\n *)\n if command_exists lsb_release; then\n dist_version=\"$(lsb_release --release | cut -f2)\"\n fi\n if [ -z \"$dist_version\" ] && [ -r /etc/os-release ]; then\n dist_version=\"$(. /etc/os-release && echo \"$VERSION_ID\")\"\n fi\n ;;\n\n esac\n\n # Check if this is a forked Linux distro\n check_forked\n\n # Print deprecation warnings for distro versions that recently reached EOL,\n # but may still be commonly used (especially LTS versions).\n case \"$lsb_dist.$dist_version\" in\n centos.8|centos.7|rhel.7)\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n ;;\n debian.buster|debian.stretch|debian.jessie)\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n ;;\n raspbian.buster|raspbian.stretch|raspbian.jessie)\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n ;;\n ubuntu.bionic|ubuntu.xenial|ubuntu.trusty)\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n ;;\n ubuntu.mantic|ubuntu.lunar|ubuntu.kinetic|ubuntu.impish|ubuntu.hirsute|ubuntu.groovy|ubuntu.eoan|ubuntu.disco|ubuntu.cosmic)\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n ;;\n fedora.*)\n if [ \"$dist_version\" -lt 40 ]; then\n deprecation_notice \"$lsb_dist\" \"$dist_version\"\n fi\n ;;\n esac\n\n # Run setup for each distro accordingly\n case \"$lsb_dist\" in\n ubuntu|debian|raspbian)\n pre_reqs=\"ca-certificates curl\"\n apt_repo=\"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] $DOWNLOAD_URL/linux/$lsb_dist $dist_version $CHANNEL\"\n (\n if ! is_dry_run; then\n set -x\n fi\n $sh_c 'apt-get -qq update >/dev/null'\n $sh_c \"DEBIAN_FRONTEND=noninteractive apt-get -y -qq install $pre_reqs >/dev/null\"\n $sh_c 'install -m 0755 -d /etc/apt/keyrings'\n $sh_c \"curl -fsSL \\\"$DOWNLOAD_URL/linux/$lsb_dist/gpg\\\" -o /etc/apt/keyrings/docker.asc\"\n $sh_c \"chmod a+r /etc/apt/keyrings/docker.asc\"\n $sh_c \"echo \\\"$apt_repo\\\" > /etc/apt/sources.list.d/docker.list\"\n $sh_c 'apt-get -qq update >/dev/null'\n )\n pkg_version=\"\"\n if [ -n \"$VERSION\" ]; then\n if is_dry_run; then\n echo \"# WARNING: VERSION pinning is not supported in DRY_RUN\"\n else\n # Will work for incomplete versions IE (17.12), but may not actually grab the \"latest\" if in the test channel\n pkg_pattern=\"$(echo \"$VERSION\" | sed 's/-ce-/~ce~.*/g' | sed 's/-/.*/g')\"\n search_command=\"apt-cache madison docker-ce | grep '$pkg_pattern' | head -1 | awk '{\\$1=\\$1};1' | cut -d' ' -f 3\"\n pkg_version=\"$($sh_c \"$search_command\")\"\n echo \"INFO: Searching repository for VERSION '$VERSION'\"\n echo \"INFO: $search_command\"\n if [ -z \"$pkg_version\" ]; then\n echo\n echo \"ERROR: '$VERSION' not found amongst apt-cache madison results\"\n echo\n exit 1\n fi\n if version_gte \"18.09\"; then\n search_command=\"apt-cache madison docker-ce-cli | grep '$pkg_pattern' | head -1 | awk '{\\$1=\\$1};1' | cut -d' ' -f 3\"\n echo \"INFO: $search_command\"\n cli_pkg_version=\"=$($sh_c \"$search_command\")\"\n fi\n pkg_version=\"=$pkg_version\"\n fi\n fi\n (\n pkgs=\"docker-ce${pkg_version%=}\"\n if version_gte \"18.09\"; then\n # older versions didn't ship the cli and containerd as separate packages\n pkgs=\"$pkgs docker-ce-cli${cli_pkg_version%=} containerd.io\"\n fi\n if version_gte \"20.10\"; then\n pkgs=\"$pkgs docker-compose-plugin docker-ce-rootless-extras$pkg_version\"\n fi\n if version_gte \"23.0\"; then\n pkgs=\"$pkgs docker-buildx-plugin\"\n fi\n if ! is_dry_run; then\n set -x\n fi\n $sh_c \"DEBIAN_FRONTEND=noninteractive apt-get -y -qq install $pkgs >/dev/null\"\n )\n echo_docker_as_nonroot\n exit 0\n ;;\n centos|fedora|rhel)\n repo_file_url=\"$DOWNLOAD_URL/linux/$lsb_dist/$REPO_FILE\"\n (\n if ! is_dry_run; then\n set -x\n fi\n if command_exists dnf5; then\n $sh_c \"dnf -y -q --setopt=install_weak_deps=False install dnf-plugins-core\"\n $sh_c \"dnf5 config-manager addrepo --overwrite --save-filename=docker-ce.repo --from-repofile='$repo_file_url'\"\n\n if [ \"$CHANNEL\" != \"stable\" ]; then\n $sh_c \"dnf5 config-manager setopt \\\"docker-ce-*.enabled=0\\\"\"\n $sh_c \"dnf5 config-manager setopt \\\"docker-ce-$CHANNEL.enabled=1\\\"\"\n fi\n $sh_c \"dnf makecache\"\n elif command_exists dnf; then\n $sh_c \"dnf -y -q --setopt=install_weak_deps=False install dnf-plugins-core\"\n $sh_c \"rm -f /etc/yum.repos.d/docker-ce.repo /etc/yum.repos.d/docker-ce-staging.repo\"\n $sh_c \"dnf config-manager --add-repo $repo_file_url\"\n\n if [ \"$CHANNEL\" != \"stable\" ]; then\n $sh_c \"dnf config-manager --set-disabled \\\"docker-ce-*\\\"\"\n $sh_c \"dnf config-manager --set-enabled \\\"docker-ce-$CHANNEL\\\"\"\n fi\n $sh_c \"dnf makecache\"\n else\n $sh_c \"yum -y -q install yum-utils\"\n $sh_c \"rm -f /etc/yum.repos.d/docker-ce.repo /etc/yum.repos.d/docker-ce-staging.repo\"\n $sh_c \"yum-config-manager --add-repo $repo_file_url\"\n\n if [ \"$CHANNEL\" != \"stable\" ]; then\n $sh_c \"yum-config-manager --disable \\\"docker-ce-*\\\"\"\n $sh_c \"yum-config-manager --enable \\\"docker-ce-$CHANNEL\\\"\"\n fi\n $sh_c \"yum makecache\"\n fi\n )\n pkg_version=\"\"\n if command_exists dnf; then\n pkg_manager=\"dnf\"\n pkg_manager_flags=\"-y -q --best\"\n else\n pkg_manager=\"yum\"\n pkg_manager_flags=\"-y -q\"\n fi\n if [ -n \"$VERSION\" ]; then\n if is_dry_run; then\n echo \"# WARNING: VERSION pinning is not supported in DRY_RUN\"\n else\n if [ \"$lsb_dist\" = \"fedora\" ]; then\n pkg_suffix=\"fc$dist_version\"\n else\n pkg_suffix=\"el\"\n fi\n pkg_pattern=\"$(echo \"$VERSION\" | sed 's/-ce-/\\\\\\\\.ce.*/g' | sed 's/-/.*/g').*$pkg_suffix\"\n search_command=\"$pkg_manager list --showduplicates docker-ce | grep '$pkg_pattern' | tail -1 | awk '{print \\$2}'\"\n pkg_version=\"$($sh_c \"$search_command\")\"\n echo \"INFO: Searching repository for VERSION '$VERSION'\"\n echo \"INFO: $search_command\"\n if [ -z \"$pkg_version\" ]; then\n echo\n echo \"ERROR: '$VERSION' not found amongst $pkg_manager list results\"\n echo\n exit 1\n fi\n if version_gte \"18.09\"; then\n # older versions don't support a cli package\n search_command=\"$pkg_manager list --showduplicates docker-ce-cli | grep '$pkg_pattern' | tail -1 | awk '{print \\$2}'\"\n cli_pkg_version=\"$($sh_c \"$search_command\" | cut -d':' -f 2)\"\n fi\n # Cut out the epoch and prefix with a '-'\n pkg_version=\"-$(echo \"$pkg_version\" | cut -d':' -f 2)\"\n fi\n fi\n (\n pkgs=\"docker-ce$pkg_version\"\n if version_gte \"18.09\"; then\n # older versions didn't ship the cli and containerd as separate packages\n if [ -n \"$cli_pkg_version\" ]; then\n pkgs=\"$pkgs docker-ce-cli-$cli_pkg_version containerd.io\"\n else\n pkgs=\"$pkgs docker-ce-cli containerd.io\"\n fi\n fi\n if version_gte \"20.10\"; then\n pkgs=\"$pkgs docker-compose-plugin docker-ce-rootless-extras$pkg_version\"\n fi\n if version_gte \"23.0\"; then\n pkgs=\"$pkgs docker-buildx-plugin\"\n fi\n if ! is_dry_run; then\n set -x\n fi\n $sh_c \"$pkg_manager $pkg_manager_flags install $pkgs\"\n )\n echo_docker_as_nonroot\n exit 0\n ;;\n sles)\n if [ \"$(uname -m)\" != \"s390x\" ]; then\n echo \"Packages for SLES are currently only available for s390x\"\n exit 1\n fi\n repo_file_url=\"$DOWNLOAD_URL/linux/$lsb_dist/$REPO_FILE\"\n pre_reqs=\"ca-certificates curl libseccomp2 awk\"\n (\n if ! is_dry_run; then\n set -x\n fi\n $sh_c \"zypper install -y $pre_reqs\"\n $sh_c \"rm -f /etc/zypp/repos.d/docker-ce-*.repo\"\n $sh_c \"zypper addrepo $repo_file_url\"\n\n opensuse_factory_url=\"https://download.opensuse.org/repositories/security:/SELinux/openSUSE_Factory/\"\n if ! zypper lr -d | grep -q \"${opensuse_factory_url}\"; then\n opensuse_repo=\"${opensuse_factory_url}security:SELinux.repo\"\n if ! is_dry_run; then\n cat >&2 <<- EOF\n WARNING!!\n openSUSE repository ($opensuse_repo) will be enabled now.\n Do you wish to continue?\n You may press Ctrl+C now to abort this script.\n EOF\n ( set -x; sleep 20 )\n fi\n $sh_c \"zypper addrepo $opensuse_repo\"\n fi\n $sh_c \"zypper --gpg-auto-import-keys refresh\"\n $sh_c \"zypper lr -d\"\n )\n pkg_version=\"\"\n if [ -n \"$VERSION\" ]; then\n if is_dry_run; then\n echo \"# WARNING: VERSION pinning is not supported in DRY_RUN\"\n else\n pkg_pattern=\"$(echo \"$VERSION\" | sed 's/-ce-/\\\\\\\\.ce.*/g' | sed 's/-/.*/g')\"\n search_command=\"zypper search -s --match-exact 'docker-ce' | grep '$pkg_pattern' | tail -1 | awk '{print \\$6}'\"\n pkg_version=\"$($sh_c \"$search_command\")\"\n echo \"INFO: Searching repository for VERSION '$VERSION'\"\n echo \"INFO: $search_command\"\n if [ -z \"$pkg_version\" ]; then\n echo\n echo \"ERROR: '$VERSION' not found amongst zypper list results\"\n echo\n exit 1\n fi\n search_command=\"zypper search -s --match-exact 'docker-ce-cli' | grep '$pkg_pattern' | tail -1 | awk '{print \\$6}'\"\n # It's okay for cli_pkg_version to be blank, since older versions don't support a cli package\n cli_pkg_version=\"$($sh_c \"$search_command\")\"\n pkg_version=\"-$pkg_version\"\n fi\n fi\n (\n pkgs=\"docker-ce$pkg_version\"\n if version_gte \"18.09\"; then\n if [ -n \"$cli_pkg_version\" ]; then\n # older versions didn't ship the cli and containerd as separate packages\n pkgs=\"$pkgs docker-ce-cli-$cli_pkg_version containerd.io\"\n else\n pkgs=\"$pkgs docker-ce-cli containerd.io\"\n fi\n fi\n if version_gte \"20.10\"; then\n pkgs=\"$pkgs docker-compose-plugin docker-ce-rootless-extras$pkg_version\"\n fi\n if version_gte \"23.0\"; then\n pkgs=\"$pkgs docker-buildx-plugin\"\n fi\n if ! is_dry_run; then\n set -x\n fi\n $sh_c \"zypper -q install -y $pkgs\"\n )\n echo_docker_as_nonroot\n exit 0\n ;;\n *)\n if [ -z \"$lsb_dist\" ]; then\n if is_darwin; then\n echo\n echo \"ERROR: Unsupported operating system 'macOS'\"\n echo \"Please get Docker Desktop from https://www.docker.com/products/docker-desktop\"\n echo\n exit 1\n fi\n fi\n echo\n echo \"ERROR: Unsupported distribution '$lsb_dist'\"\n echo\n exit 1\n ;;\n esac\n exit 1\n}\n\n# wrapped up in a function so that we have some protection against only getting\n# half the file during \"curl | sh\"\ndo_install\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%A1%D0%BC%D0%B5%D0%BD%D0%B0%20%D1%85%D0%BE%D1%81%D1%82%D0%BD%D0%B5%D0%B9%D0%BC%D0%B0%20Ubuntu/","title":"comand #notes #linux","text":"<pre><code>sudo hostnamectl set-hostname linuxconfig\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%85%D0%B5%D1%88%20%D0%BF%D0%B0%D1%80%D0%BE%D0%BB%D1%8F%20%D0%B4%D0%BB%D1%8F%20%D0%BA%D0%BB%D0%B0%D1%83%D0%B4%20%D0%B8%D0%BD%D0%B8%D1%82/","title":"comand #cloud-init #note","text":"<pre><code>echo (\u043f\u0430\u0440\u043e\u043b\u044c) | mkpasswd -m sha-512 -s\n</code></pre> <p>echo lGoI9ltSpDJDL91zYaEy | mkpasswd -m sha-512 -s</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/Database/%D0%94%D0%B0%D0%BC%D0%BF%20%D0%B1%D0%B0%D0%B7%D1%8B%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85%20%D0%B7%D0%B0%D0%B1%D0%B1%D0%B8%D0%BA%D1%81%D0%B0%20%D0%B1%D0%B5%D0%B7%20%D0%B1%D0%BB%D0%BE%D0%BA%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B8%20%D1%82%D0%B0%D0%B1%D0%BB%D0%B8%D1%86/","title":"comand #notes #database #mysql","text":"<p>mysqldump -u root -v --single-transaction --skip-lock-tables --flush-privileges --quick zabbix > /tmp/zabbix.sql</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%BE%D0%BC%D0%B0%D0%BD%D0%B4%D1%8B/Iptables/nat%20proxmox%20%28iptables%29/","title":"comand #linux #iptables","text":"<p><pre><code>iptables -A FORWARD -i eth1(\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u0438\u0439) -o eth0(\u0432\u043d\u0435\u0448\u043d\u0438\u0439) -j ACCEPT \n</code></pre> <pre><code>iptables -A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT \n</code></pre> <pre><code>iptables -t nat -A POSTROUTING -s 10.2.0.0/24 -o eth1 -j SNAT --to-source 84.201.168.122\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B2%20%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%83%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%BE%D0%B2/","title":"reglament","text":"<p>\u0414\u043b\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: 1) \u0417\u0430\u044f\u0432\u043a\u0430 2) \u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 3) \u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 4) \u041c\u043e\u043d\u0442\u0430\u0436 5) \u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f 6) \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 7) \u041e\u0442\u0447\u0435\u0442 \u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/","title":"reglament","text":"<p>\u0414\u043b\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: 1) \u0417\u0430\u044f\u0432\u043a\u0430 2) \u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 3) \u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 4) \u041c\u043e\u043d\u0442\u0430\u0436 5) \u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f 6) \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 7) \u041e\u0442\u0447\u0435\u0442 \u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_1","title":"\u0417\u0430\u044f\u0432\u043a\u0430","text":"<p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0437\u0430\u044f\u0432\u043a\u0443 \u043d\u0430 \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043d\u0435\u0442 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c. \u0412 \u0437\u0430\u044f\u0432\u043a\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0443\u043a\u0430\u0437\u0430\u043d\u043e: - \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c - \u0421\u0435\u0440\u0438\u0439\u043d\u044b\u0439 \u043d\u043e\u043c\u0435\u0440 - \u0425\u043e\u0441\u0442\u043d\u0435\u0439\u043c \u0438 ip \u0430\u0434\u0440\u0435\u0441 - \u041a\u0443\u0434\u0430 \u043c\u043e\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0421\u0442\u043e\u0439\u043a\u0430 \u042e\u043d\u0438\u0442 - \u041a\u0443\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u0421\u0442\u043e\u0439\u043a\u0430 \u042e\u043d\u0438\u0442 \u041f\u043e\u0440\u0442 (\u043b\u0438\u043d\u043a\u0438 \u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, uplink) - \u041d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f - \u041e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0437\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442 (\u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u043d\u0438 \u0432\u0441\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044f\u0445)</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_2","title":"\u041e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435","text":"<p>\u0414\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u0430 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043a\u0430\u043a \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b: - \u0421\u044e\u0434\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0443\u0437\u043b\u044b? - \u041a\u0430\u043a\u043e\u0439 \u0442\u0440\u0430\u0444\u0438\u043a \u0431\u0443\u0434\u0435\u0442 \u0438\u0434\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435? - \u041d\u0430 \u043a\u0430\u043a\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435? - \u0415\u0441\u0442\u044c \u043b\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043b\u0438\u043d\u043a \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f? \u0415\u0441\u043b\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u0430\u0433\u0438\u0441\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a \u0438\u0434\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0430\u043f\u043b\u0438\u043d\u043a\u0443, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0432 \u043a\u0430\u043d\u0430\u043b\u0435 \u043d\u0430 \u0432\u043b\u0430\u043d\u044b \u0438\u043b\u0438 \u043e\u0432\u0435\u0440\u043b\u0435\u0439\u043d\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a. \u042d\u0442\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0438 \u043a\u0430\u043a L2 \u0444\u0430\u0431\u0440\u0438\u043a\u0435, \u0442\u0430\u043a \u0438 \u043a L3. \u0415\u0441\u043b\u0438 \u043b\u0438\u043d\u043a \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d \u0442\u043e \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0447\u0435\u0440\u0435\u0437 uplink. \u042d\u0442\u043e \u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_3","title":"\u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438","text":"<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f. \u0411\u0435\u0437 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043c\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u044c, \u0447\u0442\u043e \u043c\u0435\u0448\u0430\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438. \u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u043a: - \u0425\u043e\u0441\u0442\u043d\u0435\u0439\u043c (\u0438\u0437 \u0437\u0430\u044f\u0432\u043a\u0438) - \u0412\u0440\u0435\u043c\u044f - \u042e\u0437\u0435\u0440, \u043f\u0430\u0440\u043e\u043b\u044c \u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u0435\u0433\u0438\u0438 - \u0420\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043f\u043e SSH (\u0435\u0441\u043b\u0438 \u043d\u0430\u0434\u043e ACL) - \u0421\u043e\u0437\u0434\u0430\u0442\u044c \u0432\u043b\u0430\u043d \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f - \u041d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e\u0440\u0442\u044b \u0432\u043e \u0432\u043b\u0430\u043d \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438\u0445 - \u0415\u0441\u043b\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0430\u043f\u043b\u0438\u043d\u043a, \u0442\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c uplink. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e \u0438\u043b\u0438 STP, \u0442\u0440\u0430\u043d\u043a\u043e\u0432\u044b\u0439 \u043a\u0430\u043d\u0430\u043b (\u043a\u0430\u043d\u0430\u043b \u0434\u043e\u0441\u0442\u0443\u043f\u0430), \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u0432\u043b\u0430\u043d \u043d\u0430 uplink \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f, \u0442\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u044b. \u0412\u0441\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_4","title":"\u041c\u043e\u043d\u0442\u0430\u0436","text":"<p>\u041c\u043e\u043d\u0442\u0430\u0436 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0438 uplink. \u0420\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u0437\u0430\u044f\u0432\u043a\u0438. \u0412 \u043c\u043e\u043d\u0442\u0430\u0436 \u0432\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u043e\u043a\u043b\u0430\u0434\u043a\u0430 \u043a\u0430\u0431\u0435\u043b\u044f \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u041e\u0442\u043a\u0443\u0434\u0430 \u0438 \u043a\u0443\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u0442\u043e\u0436\u0435 \u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u0437\u0430\u044f\u0432\u043a\u0438. \u041a\u0430\u0431\u0435\u043b\u044c \u0442\u044f\u043d\u0435\u043c \u043b\u0438\u0431\u043e \u0441\u0430\u043c\u0438, \u043b\u0438\u0431\u043e \u0437\u0430\u0432\u043e\u0434\u0438\u043c \u043d\u0430 \u0421\u041a\u0421, \u0435\u0441\u043b\u0438 \u0441\u0432\u043e\u0438\u0445 \u0441\u0438\u043b \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041d\u0430 \u0421\u041a\u0421 \u0437\u0430\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043c\u0435\u0436\u0437\u0430\u043b\u044c\u043d\u0430\u044f, \u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f \u043f\u0440\u043e\u043a\u043b\u0430\u0434\u043a\u0430 \u043b\u0438\u043d\u043a\u043e\u0432. \u0412 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 ( \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0442\u043e\u0439\u043a\u0438 \u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u043e\u0435\u043a) \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0442\u044f\u043d\u0443\u0442\u044c \u043a\u0430\u0431\u0435\u043b\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438. \u0422\u0438\u043f \u0438 \u0434\u043b\u0438\u043d\u043d\u0430 \u043a\u0430\u0431\u0435\u043b\u044f \u0437\u0430\u0432\u0438\u0441\u044f \u043e\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438. \u042d\u0442\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u0438\u0437 \u0437\u0430\u044f\u0432\u043a\u0438. \u041f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u043a\u043b\u0430\u0434\u043a\u043e\u0439 \u043a\u0430\u0431\u0435\u043b\u044f \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u043c\u0430\u0440\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u043e\u043c \u043c\u0430\u0440\u043a\u0438\u0440\u043e\u0432\u043a\u0438 [[\u0420\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442 \u043c\u0430\u0440\u043a\u0438\u0440\u043e\u0432\u043a\u0438]]</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_5","title":"\u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f","text":"<p>\u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u043a\u043b\u0430\u0434\u043a\u0438 \u0432\u0441\u0435\u0445 \u043b\u0438\u043d\u043a\u043e\u0432 \u0438 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a. \u0415\u0441\u043b\u0438 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043e, \u0442\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0437\u0430\u0449\u0438\u0442\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0438 \u043f\u043e\u0440\u0442\u044b \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u0441\u044f. \u041a\u0430\u0431\u0435\u043b\u044f \u0437\u0430\u0432\u043e\u0434\u0438\u043c \u0447\u0435\u0440\u0435\u0437 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0440\u0441\u0442\u0438\u044f \u0432 \u0441\u0442\u043e\u0439\u043a\u0430\u0445 \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0432 \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u043e\u0440\u0442\u044b. (\u041a\u0430\u043a\u0438\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0437\u044f\u0432\u043a\u0435) \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0431\u0435\u043b\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u0443\u0437\u043b\u0430\u043c\u0438 \u0441\u0435\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438. \u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u043c \u043f\u0440\u043e STP \u0438 \u0435\u0441\u043b\u0438 \u043c\u0435\u0436\u0434\u0443 \u0443\u0437\u043b\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u0435\u0442\u043b\u0438 \u0438\u0445 \u043d\u0430\u0434\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_6","title":"\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443","text":"<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043e\u0440\u0442\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u0418\u0437 \u0437\u0430\u044f\u0432\u043a\u0438 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0435\u0433\u043e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0443\u043d\u043a\u0442\u0435 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0434\u0435\u0441\u043a\u0440\u0438\u043f\u0448\u0435\u043d\u044b \u0438 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438. \u0422\u0430\u043a \u0436\u0435 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0435\u0441\u0442\u0438 \u043b\u043e\u0433 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u041f\u043e\u0441\u043b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D0%BE%D0%B3%D0%BE%20%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D1%8D%D0%BA%D1%81%D0%BF%D0%BB%D1%83%D0%B0%D1%82%D0%B0%D1%86%D0%B8%D1%8E/#_7","title":"\u041e\u0442\u0447\u0435\u0442 \u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0440\u0430\u0431\u043e\u0442","text":"<p>\u0412 \u043e\u0442\u0447\u0435\u0442\u0435 \u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0431\u044b\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u044b, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043e \u0438 \u043a\u0442\u043e \u0447\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b \u0414\u0430\u043d\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438 \u043f\u0438\u043d\u0430\u0435\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u043b\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u043d\u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u044b \u0432 \u0437\u0430\u044f\u0432\u043a\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430","text":"<p>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435</p> <p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432. 1</p> <p>\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0440\u0438\u0435\u043c\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430. 1</p> <p>\u042d\u0442\u0430\u043f 1: \u041f\u0440\u0438\u0435\u043c\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. 1</p> <p>\u042d\u0442\u0430\u043f 2. \u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f \u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. 1</p> <p>\u0427\u0430\u0441\u0442\u044c 2. BIOS, \u043f\u043e\u0440\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 2</p> <p>\u042d\u0442\u0430\u043f 1. BIOS. 2</p> <p>\u042d\u0442\u0430\u043f 2. \u041f\u043e\u0440\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f. 3</p> <p>\u042d\u0442\u0430\u043f 3. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 4</p> <p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u041e\u0421 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u043a \u0442\u0435\u0441\u0442\u0430\u043c.. 4</p> <p>\u041d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. 4</p> <p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. 5</p> <p>\u041e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0437\u0430 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f. 5</p> <p>\u0418\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0437\u0430 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439. 6</p> <p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. 8</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_1","title":"\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432","text":"<p>\u0414\u043b\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0432 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0445 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u042d\u0442\u0438 \u0448\u0430\u0433\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.</p> <p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0447\u0435\u043a-\u043b\u0438\u0441\u0442 \u043f\u043e \u043f\u0443\u043d\u043a\u0442\u0430\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438.\u00a0 \u0421\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u043c\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u0440\u0447\u0435\u043d\u043d\u044b\u0439, \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0438\u0437 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#1","title":"\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0440\u0438\u0435\u043c\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430","text":"<p>\u041f\u0440\u0438\u0435\u043c\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c. \u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438:</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#1_1","title":"\u042d\u0442\u0430\u043f 1: \u041f\u0440\u0438\u0435\u043c\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430","text":"<p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u043e\u0441\u043c\u043e\u0442\u0440\u0430:</p> <p>1.1.\u00a0\u00a0 \u041e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043a\u043e\u0440\u043f\u0443\u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0439 (\u0432\u043c\u044f\u0442\u0438\u043d, \u0446\u0430\u0440\u0430\u043f\u0438\u043d, \u0441\u043a\u043e\u043b\u043e\u0432).</p> <p>1.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043a\u0430\u0431\u0435\u043b\u0438, \u0431\u043b\u043e\u043a\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043a\u043d\u043e\u043f\u043a\u0438 \u0438 \u0440\u0430\u0437\u044a\u0435\u043c\u044b \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0439.</p> <p>1.3.\u00a0\u00a0 \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 \u043d\u0435\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0443\u0434\u0430\u0440\u043e\u0432, \u0442\u0440\u0435\u0449\u0438\u043d \u0438\u043b\u0438 \u043a\u043e\u0440\u0440\u043e\u0437\u0438\u0438.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432:</p> <p>2.1.\u00a0\u00a0 \u041e\u0442\u043a\u0440\u043e\u0439\u0442\u0435 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438 \u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043f\u043b\u0430\u0442\u0443, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u044b, \u043c\u043e\u0434\u0443\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438 \u0438 \u043a\u0430\u0431\u0435\u043b\u0438.</p> <p>2.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430: \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b.</p> <p>2.3.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u044b \u2013 \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u043f\u043b\u043e\u0442\u043d\u043e \u0438 \u0432\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u0437\u0430\u0435\u0434\u0430\u043d\u0438\u0439.</p> <p>2.4.\u00a0\u00a0 \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0440\u0438\u0431\u044b\u043b \u0432 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442\u0441\u044f \u0414\u041e \u0438 \u041f\u041e\u0421\u041b\u0415 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0423\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u043f\u043e\u043b\u0430\u0434\u043e\u043a (\u0435\u0441\u043b\u0438 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u044b):</p> <p>3.1.\u00a0\u00a0 \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0439, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u0438\u0445 \u0438 \u0441\u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438.</p> <p>3.2.\u00a0\u00a0 \u041e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u0438\u043b\u0438 \u0441\u043b\u0443\u0436\u0431\u0443 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0435 \u0438\u043b\u0438 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b.</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u0431\u043e\u0440\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p> <p>4.1.\u00a0\u00a0 \u0421\u0431\u043e\u0440\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043b \u0432 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435.</p> <p>4.2.\u00a0\u00a0 \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.</p> <p>4.3.\u00a0\u00a0 \u0421\u0431\u043e\u0440\u043a\u0430 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e, \u0431\u0435\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0438\u043b\u044b.</p> <p>\u042d\u0442\u0430\u043f 2. \u041a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u044f \u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u0417\u0410\u041f\u0420\u0415\u0429\u0410\u0415\u0422\u0421\u042f \u0423\u0421\u0422\u0410\u041d\u0410\u0412\u041b\u0418\u0412\u0410\u0422\u042c \u0421\u0415\u0420\u0412\u0415\u0420 \u0412 \u0421\u0422\u041e\u0419\u041a\u0423 \u0421 \u041f\u0420\u041e\u0414\u0410\u041a\u0428\u041d \u0421\u0415\u0420\u0412\u0415\u0420\u0410\u041c\u0418.</p> <p>\u041f\u043e\u0441\u043b\u0435 \u043e\u0441\u043c\u043e\u0442\u0440\u0430 \u0438 \u0441\u0431\u043e\u0440\u043a\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0435\u0433\u043e \u0432 \u0441\u0442\u043e\u0439\u043a\u0443 \u0438 \u0441\u043a\u043e\u043c\u043c\u0443\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 \u0441\u0442\u043e\u0439\u043a\u0443:</p> <p>1.1.\u00a0\u00a0 \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u0441\u0435\u0440\u0432\u0435\u0440 \u0432 \u0441\u0442\u043e\u0439\u043a\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043c\u043e\u043d\u0442\u0430\u0436\u043d\u044b\u0435 \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0448\u0430\u0441\u0441\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438 \u043f\u0435\u0440\u0438\u0444\u0435\u0440\u0438\u0439\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432:</p> <p>2.1.\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u043a\u0430\u0431\u0435\u043b\u0438 Ethernet \u043a \u0441\u0435\u0442\u0435\u0432\u044b\u043c \u043f\u043e\u0440\u0442\u0430\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0434\u0432\u0430 \u043f\u043e\u0440\u0442\u0430: \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0438 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439.</p> <p>2.2.\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u043a\u0430\u0431\u0435\u043b\u044c \u043a \u043f\u043e\u0440\u0442\u0443 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (ILO/DRAC/IPMI) \u0434\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438.</p> <p>2.3.\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435 PSU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043a\u0430\u0431\u0435\u043b\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0432 \u0438\u0445 \u043a PDU (\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e, \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 PSU \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 PDU \u2013 \u043e\u0434\u0438\u043d \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043b\u0443\u0447, \u0434\u0440\u0443\u0433\u043e\u0439 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439).</p> <p>2.4.\u00a0\u00a0 \u041f\u043e\u0434\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u0435 \u043c\u043e\u043d\u0438\u0442\u043e\u0440, \u043a\u043b\u0430\u0432\u0438\u0430\u0442\u0443\u0440\u0443 \u0438 \u043c\u044b\u0448\u044c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</p> <p>3.1.\u00a0\u00a0 \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430\u0436\u0430\u0442\u0438\u0435\u043c \u043d\u0430 \u043a\u043d\u043e\u043f\u043a\u0443 \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u043d\u0435\u0439 \u043f\u0430\u043d\u0435\u043b\u0438</p> <p>3.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0432\u0441\u0435 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u043d\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 (\u0434\u0438\u0441\u043a\u0438, \u043f\u0438\u0442\u0430\u043d\u0438\u0435, \u0441\u0435\u0442\u044c) \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.</p> <p>3.3.\u00a0\u00a0 \u041e\u0436\u0438\u0434\u0430\u0439\u0442\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f POST (Power-On Self Test). \u0415\u0441\u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 POST, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0443.</p> <p>3.4.\u00a0\u00a0 \u0412\u044b\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0441\u0435\u0440\u0432\u0435\u0440</p> <p>\u0427\u0430\u0441\u0442\u044c 2. BIOS, \u043f\u043e\u0440\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#1-bios","title":"\u042d\u0442\u0430\u043f 1. BIOS","text":"<p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412\u0445\u043e\u0434 \u0432 BIOS:</p> <p>1.1.\u00a0\u00a0 \u041d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043a\u043b\u0430\u0432\u0438\u0448\u0443 (\u043e\u0431\u044b\u0447\u043d\u043e F2, F10, Delete) \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u0447\u0442\u043e\u0431\u044b \u0432\u043e\u0439\u0442\u0438 \u0432 BIOS.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438:</p> <p>2.1.\u00a0\u00a0 \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e BIOS \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u044b, \u043c\u043e\u0434\u0443\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0434\u0438\u0441\u043a\u0438.</p> <p>2.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u0434\u0430 \u0432\u0435\u0440\u0441\u0438\u0438 BIOS \u0438 BMC.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0448\u0438\u0432\u043e\u043a:</p> <p>3.1.\u00a0\u00a0 \u0415\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e, \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u0435 BIOS \u0438 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 BMC. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u0441\u0438\u0438, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c.</p> <p>3.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f RAID-\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u0438 PCIe-\u043a\u0430\u0440\u0442. \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u043e\u0441\u044c \u0431\u0435\u0437 \u043e\u0448\u0438\u0431\u043e\u043a.</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:</p> <p>4.1.\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0434\u0430\u0442\u0443 \u0434\u043b\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430. \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f NTP \u0441\u0435\u0440\u0432\u0435\u0440, \u0442\u043e \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e.</p> <p>4.2.\u00a0\u00a0 \u0412\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u043e\u043f\u0446\u0438\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 Hyper-Threading (\u0435\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441\u0435\u0440\u0432\u0435\u0440\u0430).</p> <p>4.3.\u00a0\u00a0 \u0412\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043b\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u0435.</p> <p>4.4.\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0443\u043a\u0430\u0437\u0430\u0432 \u043d\u0430 USB \u0432 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u0435 \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0449\u0438\u043a\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u041e\u0421.</p> <p>4.5.\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (ip, \u043c\u0430\u0441\u043a\u0430, \u0448\u043b\u044e\u0437) \u0434\u043b\u044f \u043f\u043e\u0440\u0442\u0430 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (ILO/DRAC/IPMI) \u0438, \u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0443\u0447\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 (\u043b\u043e\u0433\u0438\u043d \u0438 \u043f\u0430\u0440\u043e\u043b\u044c)</p> <p>5.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 UEFI:</p> <p>5.1.\u00a0\u00a0 \u0412\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u0440\u0435\u0436\u0438\u043c \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 UEFI, \u0435\u0441\u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 UEFI-\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u041e\u0421.</p> <p>5.2.\u00a0\u00a0 \u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u0441 Legacy \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u0440\u0435\u0436\u0438\u043c Dual Boot \u0438\u043b\u0438 Legacy.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#2","title":"\u042d\u0442\u0430\u043f 2. \u041f\u043e\u0440\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f.","text":"<p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u043f\u043e\u0440\u0442\u0443 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (ILO, DRAC, IPMI):</p> <p>1.1.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0441\u0435\u0442\u0435\u0432\u0443\u044e \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u0441 \u043f\u043e\u0440\u0442\u043e\u043c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f.</p> <p>1.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0447\u0442\u043e \u043f\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c\u0443 \u0430\u0434\u0440\u0435\u0441\u0443 \u043f\u043e\u0440\u0442\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u0447\u0435\u0440\u0435\u0437 \u0431\u0440\u0430\u0443\u0437\u0435\u0440 \u0438 ssh.</p> <p>1.3.\u00a0\u00a0 \u0412\u043e\u0439\u0434\u0438\u0442\u0435 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (ILO, DRAC, IPMI) \u0447\u0435\u0440\u0435\u0437 \u0431\u0440\u0430\u0443\u0437\u0435\u0440 \u0438 ssh \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u043d\u0435\u0435 \u043b\u043e\u0433\u0438\u043d\u043e\u043c \u0438 \u043f\u0430\u0440\u043e\u043b\u0435\u043c. \u0412 \u0438\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u043b\u043e\u0433\u0438\u043d \u0438 \u043f\u0430\u0440\u043e\u043b\u044c \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432:</p> <p>2.1.\u00a0\u00a0 \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u043d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0435: \u0441\u0435\u0440\u0438\u0439\u043d\u044b\u0439 \u043d\u043e\u043c\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u0434\u0430 BIOS \u0438 BMC.</p> <p>2.2.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0441\u0442\u0430\u0442\u0443\u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 (\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440, \u041e\u0417\u0423, \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438, \u043c\u043e\u0434\u0443\u043b\u0438 PCIe).</p> <p>2.3.\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0434\u0430\u0442\u0447\u0438\u043a\u043e\u0432 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b, \u043d\u0430\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f, \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u043e\u0432. \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0447\u0438\u043a\u043e\u0432.</p> <p>2.4.\u00a0\u00a0 \u041f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0441\u043e\u0431\u044b\u0442\u0438\u0439 BMC, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (ILO, DRAC, IPMI):</p> <p>3.1.\u00a0\u00a0 \u041f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c, \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</p> <p>3.2.\u00a0\u00a0 \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0433\u0440\u0443\u043f\u043f \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0430\u0432\u0430\u043c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 (\u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440, \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440, \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u0435\u043d\u0438\u0435).</p> <p>3.3.\u00a0\u00a0 \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 HTML KVM-\u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u0438\u043b\u0438 Java-\u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u0434\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u041e\u0421.</p> <p>3.4.\u00a0\u00a0 \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u0438\u043a\u0440\u043e\u043a\u043e\u0434\u0430 BMC \u0431\u0435\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u041e\u0421.</p> <p>3.5.\u00a0\u00a0 \u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e SSL-\u0441\u0435\u0440\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u0430.</p> <p>3.6.\u00a0\u00a0 \u042d\u043a\u0441\u043f\u043e\u0440\u0442 \u0438 \u0438\u043c\u043f\u043e\u0440\u0442 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f.</p> <p>3.7.\u00a0\u00a0 \u0421\u0431\u0440\u043e\u0441\u043e\u043c \u043f\u043e\u0440\u0442\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e \u0437\u0430\u0432\u043e\u0434\u0441\u043a\u0438\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a;</p> <p>3.8.\u00a0\u00a0 \u041e\u0442\u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u0445 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c SMTP, syslog \u0438 SNMP Trap.</p> <p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443 \u043e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#3","title":"\u042d\u0442\u0430\u043f 3. \u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433","text":"<p>\u041f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u041e\u0442 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0418\u043c\u043f\u043e\u0440\u0442 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 MIB-\u0444\u0430\u0439\u043b\u043e\u0432:</p> <p>1.1.\u00a0\u00a0 \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0435 \u0438 \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0439\u0442\u0435 MIB-\u0444\u0430\u0439\u043b\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Zabbix, Nagios).</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u043e\u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430:</p> <p>2.1.\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u044b \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440, \u044d\u043d\u0435\u0440\u0433\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 (\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440, \u041e\u0417\u0423, \u0434\u0438\u0441\u043a\u0438).</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u0439:</p> <p>3.1.\u00a0\u00a0 \u0417\u0430\u0434\u0430\u0439\u0442\u0435 \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0439 \u0438 \u043e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u0439.</p> <p>3.2.\u00a0\u00a0 \u0423\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0437\u043a\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430, \u043f\u0435\u0440\u0435\u0433\u0440\u0435\u0432\u0435 \u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u0435 \u0434\u0438\u0441\u043a\u043e\u0432.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#3_1","title":"\u0427\u0430\u0441\u0442\u044c 3. \u041d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#1_2","title":"\u042d\u0442\u0430\u043f 1. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u041e\u0421 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u043a \u0442\u0435\u0441\u0442\u0430\u043c","text":"<p>\u0417\u0430\u043a\u043e\u043d\u0447\u0438\u0432 \u0441 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u041e\u0421 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043e\u0447\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043a \u0441\u0435\u0440\u0432\u0435\u0440\u0443</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u043e\u0437\u0434\u0430\u0439\u0442\u0435 RAID \u043c\u0430\u0441\u0441\u0438\u0432 (\u0435\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 RAID \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440)</p> <p>2.1.\u00a0 \u0423\u0440\u043e\u0432\u0435\u043d\u044c RAID \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u0447 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</p> <p>2.2.\u00a0 \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0443\u0440\u043e\u0432\u043d\u0438 RAID 1 \u0438\u043b\u0438 10, \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0443\u0440\u043e\u0432\u0435\u043d\u044c RAID5</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u041e\u0421</p> <p>3.1.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0414\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u041e\u0421 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432 Linux, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0443\u0442\u0438\u043b\u0438\u0442\u044b \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0434\u0430\u043b\u0435\u0435.</p> <p>3.2.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432\u044b Ubuntu \u0438 Debian</p> <p>3.3.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0438\u0442\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u041e\u0421. \u041f\u0440\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 LVM \u0438 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u0435 \u043f\u043e\u0434 \u043a\u043e\u0440\u043d\u0435\u0432\u043e\u0439 \u0440\u0430\u0437\u0434\u0435\u043b \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e. \u0421\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443.</p> <p>3.4.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0441\u0435\u0442\u044c</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438</p> <p>4.1.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041e\u0431\u043d\u043e\u0432\u0438\u0442\u0435 \u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u0438 \u0441\u043a\u0430\u0447\u0430\u0439\u0442\u0435, \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b.</p> <p>4.2.\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u044b:</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 badblocks \u2013 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0434\u0438\u0441\u043a\u043e\u0432 \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u043d\u044b\u0445 \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u0432.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 stress-ng \u2013 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 \u0438 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 fio \u2013 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 dd \u2013 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0434\u0438\u0441\u043a.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 htop \u2013 \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430, \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 smartmontools (\u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 smartctl) \u2013 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0436\u0435\u0441\u0442\u043a\u0438\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438 SSD, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 S.M.A.R.T.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 iperf3 \u2013 \u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0441\u0435\u0442\u0438</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_2","title":"\u041d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432","text":"<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u043a \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e.</p> <p>1)\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440, \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430.</p> <p>\u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430, \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u0442\u0440\u0435\u0441\u0441 \u0442\u0435\u0441\u0442 \u0447\u0435\u0440\u0435\u0437 \u0443\u0442\u0438\u043b\u0438\u0442\u0443 stress-ng. \u0414\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0438 98% \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430\u0434\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0418\u043d\u0430\u0447\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0430 \u0441\u043b\u0435\u0434\u0438\u043c \u0437\u0430 \u041e\u0421 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u0443\u0442\u0438\u043b\u0438\u0442\u0443 htop. \u0421\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0442\u043e \u0431\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0430\u043b\u0430 \u0438 \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0435\u0440\u0432\u0435\u0440 \u0432\u0441\u0435 2 \u0447\u0430\u0441\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043e\u043a. \u0422\u0430\u043a \u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u043d\u0434\u0436\u043c\u0435\u043d\u0442 \u043f\u043e\u0440\u0442. \u0421\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u043e\u0442\u0447\u0435\u0442\u044b \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u0445 (\u043d\u0430\u0433\u0440\u0435\u0432, \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u0442\u0434). \u0417\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c bogo ops/s (real time) \u0438 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b.</p> <p>stress-ng --cpu 0 --cache 0 -m 0 --vm-bytes (\u043e\u0431\u044a\u0435\u043c RAM \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0432 %) --io 0 --hdd 0 -t (\u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0430) s --metrics-brief --tz</p> <p>2)\u00a0\u00a0\u00a0\u00a0\u00a0 \u0414\u0438\u0441\u043a\u043e\u0432\u0430\u044f \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u0430.</p> <p>\u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u0435 \u0434\u0438\u0441\u043a\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 smartmontools</p> <p>\u0422\u0430\u043a \u043a\u0430\u043a \u0434\u0438\u0441\u043a\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 RAID, \u0442\u043e \u043d\u0430\u0448\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0438\u0434\u0438\u0442 \u0435\u0433\u043e \u043a\u0430\u043a \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0438\u0441\u043a. \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 \u043f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0443.</p> <p>smartctl --scan</p> <p>\u0414\u0430\u043d\u043d\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043e\u0442\u0440\u0430\u0437\u0438\u0442 \u0440\u0435\u0439\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u0438 \u043d\u043e\u043c\u0435\u0440 \u043a\u0430\u043d\u0430\u043b\u0430. \u042d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435</p> <p>smartctl -H -d megaraid,5 (\u0440\u0435\u0439\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u0438 \u043d\u043e\u043c\u0435\u0440 \u043a\u0430\u043d\u0430\u043b\u0430 \u0438\u0437 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f) /dev/sda</p> <p>\u0412\u044b\u0432\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u043e\u043a \u0438\u043b\u0438 \u043d\u0435 \u043e\u043a.</p> <p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u044b badblock, fio, dd badblock \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0431\u043b\u043e\u043a\u0438 \u0436\u0435\u0441\u0442\u043a\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430. badblocks -vs /dev/sda (\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u0438\u0441\u043a \u0438\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c)</p> <p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0431\u043b\u043e\u043a\u043e\u0432 \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u0431\u043b\u043e\u043a\u0438 \u0446\u0435\u043b\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u0438\u0448\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u0431\u043b\u043e\u043a\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0432 1m \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c 40960 \u0441\u043a\u0438\u0434\u044b\u0432\u0430\u044f \u043a\u044d\u0448. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0430\u043a \u043a\u0430\u043a \u0444\u0430\u0439\u043b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0432 \u043a\u044d\u0448 \u043f\u043e\u0442\u043e\u043c \u043d\u0430 \u0434\u0438\u0441\u043a</p> <p>dd status=progress if=/dev/zero of=/tmp/tempfile bs=1M count=40960 oflag=sync</p> <p>sync; dd if=/dev/zero of=/tmp/tempfile bs=1M count=1024; sync</p> <p>\u041f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 10 \u0440\u0430\u0437. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 90 MB/s.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_3","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432","text":"<p>\u041f\u043e\u0441\u043b\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043e\u0442\u043a\u0430\u0437\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0441 \u0433\u043e\u0440\u044f\u0447\u0435\u0439 \u0437\u0430\u043c\u0435\u043d\u043e\u0439. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e \u0431\u043b\u043e\u043a\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0438 \u0434\u0438\u0441\u043a\u0438 \u0432 RAID. \u0414\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u044b \u043f\u043e\u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0430 \u043f\u043e\u0442\u043e\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u043e\u0442\u0447\u0435\u0442\u044b \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0435 \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u043f\u043e\u0440\u0442\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_4","title":"\u041e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0437\u0430 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f","text":"<p>\u042d\u0442\u0430\u043f\u044b:</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 Stress-ng \u043d\u0430 2 \u0447\u0430\u0441\u0430 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u041d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u00bb. \u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 Stress-ng \u043d\u0430 2 \u0447\u0430\u0441\u0430 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u0423\u0442\u0438\u043b\u0438\u0442\u0430 Stress-ng\u00bb.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041e\u0442 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU1 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a\u0430\u0431\u0435\u043b\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c IPMI \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439 \u043e\u0431 \u043e\u0448\u0438\u0431\u043a\u0430\u0445 \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435.</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0411\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU1 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043f\u0443\u043d\u043a\u0442\u0435 3.</p> <p>5.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e \u0438\u0441\u0442\u0435\u0447\u0435\u043d\u0438\u0438 2 \u0447\u0430\u0441\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU2 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0443\u0442\u0438\u043b\u0438\u0442\u044b Stress-ng, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u043f\u0443\u043d\u043a\u0442\u0430 1.</p> <p>6.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0431\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU1. \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043f\u0443\u043d\u043a\u0442\u0435 3.</p> <p>7.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a \u0431\u043b\u043e\u043a\u0443 \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU1 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a\u0430\u0431\u0435\u043b\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043f\u0443\u043d\u043a\u0442\u0435 3.</p> <p>8.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043f\u0443\u043d\u043a\u0442\u044b \u0441\u043e 2 \u043f\u043e 7 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f PSU2.</p> <p>\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u0430</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e ssh.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043e\u0442 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0432 BMC \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435, \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043b\u0430\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0438, \u0434\u0430\u0442\u0447\u0438\u043a\u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u043b\u043e\u043a\u0435 \u043f\u0438\u0442\u0430\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 BMC \u0441\u043e\u0437\u0434\u0430\u043b\u043e\u0441\u044c \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0431\u043b\u043e\u043a \u043f\u0438\u0442\u0430\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0435 \u0431\u043b\u043e\u043a\u0430 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0432 \u0441\u0435\u0440\u0432\u0435\u0440 \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043a\u0430\u0431\u0435\u043b\u044f \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0432 BMC \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u0431\u043b\u043e\u043a\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u0432\u0441\u0435 \u0434\u0430\u0442\u0447\u0438\u043a\u0438 \u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043b\u0430\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043d\u0430\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u043b\u043e\u043a\u0435 \u043f\u0438\u0442\u0430\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0443\u0442\u0438\u043b\u0438\u0442\u044b Stress-ng \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0431\u043b\u043e\u043a\u0435 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043d\u0430 10% \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0431\u043b\u043e\u043a\u0430\u0445 \u043f\u0438\u0442\u0430\u043d\u0438\u044f.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_5","title":"\u0418\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439: \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u044f \u043e\u0442\u043a\u0430\u0437\u0430 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439","text":"<p>\u042d\u0442\u0430\u043f\u044b</p> <p>\u041d\u0430 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044f\u0445 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RAID1, RAID6 \u0438\u043b\u0438 RAID10 \u0447\u0435\u0440\u0435\u0437 BMC, BIOS \u0438\u043b\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0442\u0438\u043b\u0438\u0442\u044b StorCLI. \u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430.</p> <p>\u041f\u0440\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u043a\u0430\u043a \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439 (Global Hot Spare). \u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438 \u0443\u0440\u043e\u0432\u043d\u044f RAID</p> <p>\u0414\u043b\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0431\u0435\u0437 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 FIO \u0441 \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u043c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438: 40% \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0438 60% \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0447\u0442\u0435\u043d\u0438\u044f \u0431\u043b\u043e\u043a\u043e\u043c 8 \u041a\u0411, 16 \u043f\u043e\u0442\u043e\u043a\u043e\u0432. \u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 IOPS \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c.</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0418\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439. \u0414\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0441\u043d\u043e\u0432\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 IOPS \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c. \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f (rebuild) \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 (Global Hot Spare). \u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 IOPS \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430.</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RAID6 \u0438\u043b\u0438 RAID10 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u0424\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 IOPS \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c.</p> <p>5.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0432\u0441\u0435 \u0440\u0430\u043d\u0435\u0435 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e. \u041e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0432\u0441\u0435\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043f\u0443\u043d\u043a\u0442\u0435 2.</p> <p>6.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 BMC \u0438\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0442\u0438\u043b\u0438\u0442\u044b StorCLI \u0432 \u041e\u0421 \u0443\u0434\u0430\u043b\u044f\u0435\u043c \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043d\u0430 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044f\u0445 \u0438 \u043c\u0435\u043d\u044f\u0435\u043c \u0438\u0445 \u0441\u0442\u0430\u0442\u0443\u0441\u044b.</p> <p>7.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u0442\u0443\u0441 \u0441\u0430\u043c\u0438\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439.</p> <p>\u0414\u043b\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0441 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439:</p> <p>1.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041d\u0430 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0434\u0438\u043d \u0440\u0430\u0437\u0434\u0435\u043b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0438 \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 ext4, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043a \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 test1..</p> <p>2.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 (\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0413\u0411) \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e test1.</p> <p>3.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0418\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439. \u041e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0435.</p> <p>4.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 (Global Hot Spare), \u0438 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u0430.</p> <p>5.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RAID6 \u0438\u043b\u0438 RAID10, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044c \u0438\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p> <p>6.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u0430 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e. \u041e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0432\u0441\u0435\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c \u0437\u0430 BMC \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u043f\u0443\u043d\u043a\u0442\u0435 3.</p> <p>7.\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0441\u0443\u043c\u043c\u044b \u0444\u0430\u0439\u043b\u0430-\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0438 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430.</p> <p>8.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 BMC \u0438\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0442\u0438\u043b\u0438\u0442\u044b StorCLI \u0432 \u041e\u0421 \u0443\u0434\u0430\u043b\u044f\u0435\u043c \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043d\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044f\u0445 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441\u043e\u0432 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439.</p> <p>9.\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u043e\u0441\u043b\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u0442\u0443\u0441 \u0441\u0430\u043c\u0438\u0445 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439.</p> <p>\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u0430</p> <p>\u0414\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0431\u0435\u0437 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0420\u0430\u0431\u043e\u0442\u0430 \u0443\u0442\u0438\u043b\u0438\u0442\u044b FIO \u043d\u0435 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439 (Global Hot Spare).</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0414\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u043e \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0412\u043e\u0437\u0432\u0440\u0430\u0442 \u043a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 (\u0441\u043e\u0441\u0442\u0430\u0432 \u0438 \u0441\u0442\u0430\u0442\u0443\u0441 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439) \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p> <p>\u0414\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0441 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0424\u0430\u0439\u043b\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0430 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0431\u044b\u043b\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u043e\u0441\u044c \u0431\u0435\u0437 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0439 (Global Hot Spare).</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0414\u0438\u0441\u043a\u043e\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u043e \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0441\u0443\u043c\u043c\u044b \u0444\u0430\u0439\u043b\u0430-\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0438 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438.</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 (\u0441\u043e\u0441\u0442\u0430\u0432 \u0438 \u0441\u0442\u0430\u0442\u0443\u0441 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439) \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u0432 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/#_6","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438","text":"<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432 \u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a \u0442\u0440\u0430\u0444\u0438\u043a\u0430. \u041f\u0440\u0438\u0435\u043c\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 iperf3. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 10 \u0413\u0431\u0438\u0442\\\u0441 \u0443 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441.</p> <p>\u041f\u0440\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0437\u0430\u0433\u043e\u0440\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0434\u0438\u043a\u0430\u0446\u0438\u044f \u043d\u0430 \u043d\u0435\u043c.\u00a0 \u041d\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430\u0445 \u0438 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c ip \u0430\u0434\u0440\u0435\u0441\u0430. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0438 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c\u044e. \u041f\u0440\u043e\u043f\u0438\u043d\u0433\u0443\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0441 \u043f\u0440\u0438\u0451\u043c\u043d\u0438\u043a\u0430. \u041e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0430\u043a\u0435\u0442\u044b \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c. </p> <p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0441\u0435\u0442\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 iperf3.</p> <p>\u041d\u0430 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 iperf3 \u2013s</p> <p>-s \u0417\u0430\u043f\u0443\u0441\u043a \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043c\u0430\u0448\u0438\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0442\u0440\u0430\u0444\u0438\u043a \u043f\u043e \u043f\u043e\u0440\u0442\u0443 5201</p> <p>\u041d\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0442\u0430\u043a \u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 iperf3</p> <p>iperf3 -c (ip \u0430\u0434\u0440\u0435\u0441 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a\u0430) -t 1800 -f g -P 20</p> <p>-\u0441 \u0417\u0430\u043f\u0443\u0441\u043a \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u0441 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c ip \u0430\u0434\u0440\u0435\u0441\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</p> <p>-t \u0412\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0443\u0442\u0438\u043b\u0438\u0442\u044b</p> <p>-f \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0432\u043e\u0434\u0430 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 k, m, g \u043a\u0438\u043b\u043e\u0431\u0438\u0442\u044b, \u043c\u0435\u0433\u0430\u0431\u0438\u0442\u044b, \u0433\u0438\u0433\u0430\u0431\u0438\u0442\u044b. K, M, G \u043a\u0438\u043b\u043e\u0431\u0430\u0439\u0442\u044b, \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u044b, \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u044b</p> <p>-P \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0440\u0430\u0444\u0438\u043a\u0430.</p> <p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0430 \u2013P \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0435 \u0447\u0442\u043e \u0431\u044b \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0441\u0430 \u0431\u044b\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f.</p> <p>\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u0430:</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u0421\u0435\u0442\u0435\u0432\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u0441\u044f \u0438 \u0438\u043c\u0435\u044e\u0442 \u0438\u043d\u0434\u0438\u043a\u0430\u0446\u0438\u044e</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0435\u043c\u043d\u0438\u043a\u043e\u043c \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u0447\u0438\u043a\u043e\u043c \u0445\u043e\u0434\u044f\u0442 \u043f\u0430\u043a\u0435\u0442\u044b</p> <p>\u00b7\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 90 % \u043e\u0442 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/HP%20ILO/%D0%9E%D1%88%D0%B8%D0%B1%D0%BA%D0%B0%20SD%20%D0%BA%D0%B0%D1%80%D1%82%D1%8B/","title":"note #error #ILO","text":"<p>\u0422\u0435\u043a\u0441\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 iLO Self-Test reports a problem with: Embedded Flash/SD-CARD \u0422\u0430\u043a\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 ILO4 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 HP DL360 G9. \u042d\u0442\u043e \u0432\u043f\u0430\u044f\u043d\u043d\u0430\u044f SD \u043a\u0430\u0440\u0442\u0430. \u0418\u0437 \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043a\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0447\u0442\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043a\u0430\u0440\u0442\u0430 \u043a\u043e\u0440\u0430\u043f\u0442\u0438\u0442\u0441\u044f. \u0414\u043b\u044f \u0441\u0431\u0440\u043e\u0441\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0435\u0440. \u0414\u043b\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u044b \u0437\u0430\u0445\u043e\u0434\u0438\u043c \u0432 ILO \u0441 \u043f\u0440\u0430\u0432\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430. \u0412\u0438\u0434\u0438\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u0432 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 Status ILO Health Degraded \u041a\u043b\u0438\u043a\u0430\u0435\u043c \u043d\u0430 ILO Health, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u043a\u043d\u043e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438. ![[Pasted image 20250502153656.png]] \u041f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c ILO ![[Pasted image 20250502153811.png]] \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u043e, \u0442\u043e \u043a\u043b\u0438\u043a\u0430\u0435\u043c \u043d\u0430 ILO Health \u043d\u0430 \u043e\u043a\u043d\u0435 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438 \u0438 \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u043c \u043a\u043d\u043e\u043f\u043a\u0443 \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0424\u043b\u0435\u0448 \u043a\u0430\u0440\u0442\u044b ![[Pasted image 20250502154443.png]] \u0415\u0441\u043b\u0438 \u043a\u043d\u043e\u043f\u043a\u0430 \u043d\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u0430 \u0442\u043e \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u0443\u0433\u043b\u0438\u0442\u044c</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/RAID%20P440ar/%D0%9E%D0%B1%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BF%D1%80%D0%BE%D1%88%D0%B8%D0%B2%D0%BA%D0%B8%20%D0%BD%D0%B0%20Debian/","title":"note #RAID #firmware","text":"<p>\u0414\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0439\u0434\u043e\u043c \u0438\u0437 \u041e\u0421 \u0438\u043b\u0438 ILO. [[\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0443\u0442\u0438\u043b\u0438\u0442\u044b \u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0439\u0434\u043e\u043c]] \u041e\u043d\u0438 \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u0438 \u043d\u0430\u0434\u043e \u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u041d\u0430\u0439\u0442\u0438 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0443 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 HP. https://support.hpe.com/connect/s/softwaredetails?language=en_US&softwareId=MTX_26880c85fb3e4f5897e03283cc&tab=releaseNotes \u0414\u043b\u044f Debiana \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u0430 \u043d\u0435\u0442 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0442\u044c RPM \u043f\u0430\u043a\u0435\u0442 \u0434\u043b\u044f Red Hat Enterprise Linux 7.1 \u0412\u044b\u0431\u0435\u0440\u0435\u043c \u0432 \u043c\u0435\u043d\u044e \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0435. ![[Pasted image 20250502234053.png]] \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043f\u0430\u043a\u0435\u0442 rpm2cpio \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0438 rpm-\u043f\u0430\u043a\u0435\u0442\u0430 <pre><code>apt install rpm2cpio\n</code></pre> \u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u043a\u0430\u0447\u0430\u0435\u043c \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0443 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u0441 \u0441\u0430\u0439\u0442\u0430 HP \u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c <pre><code>rpm2cpio firmware-smartarray-ea3138d8e8-7.20-1.1.x86_64.rpm | cpio -id\n</code></pre></p> <p>\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0441 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u043e\u0439 <pre><code>cd /usr/lib/x86_64-linux-gnu/firmware-smartarray-ea3138d8e8-7.20-1.1\n</code></pre></p> <p>\u0418 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u043a\u0440\u0438\u043f\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 <pre><code>./setup\n</code></pre></p> <p>\u0421\u043a\u0440\u0438\u043f\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442 \u0432\u0432\u0435\u0441\u0442\u0438 \u0446\u0438\u0444\u0440\u0443 \u0441 \u043d\u0443\u0436\u043d\u044b\u043c \u043d\u0430\u043c \u0420\u0435\u0439\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u043c \u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/RAID%20P440ar/%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0%20%D1%83%D1%82%D0%B8%D0%BB%D0%B8%D1%82%D1%8B%20%D0%B4%D0%BB%D1%8F%20%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%80%D0%B5%D0%B9%D0%B4%D0%BE%D0%BC/","title":"note #raid #utils","text":"<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u041e\u0421 Proxmox 8.4 (Debian). \u0420\u0435\u0439\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 P440ar \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 HP Dl 360 G9 \u0414\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0443\u0442\u0438\u043b\u0438\u0442\u044b \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0435\u0435 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u043b\u0438 \u0437\u0430\u043a\u0438\u043d\u0443\u0442\u044c \u0438\u0437 \u0444\u0430\u0439\u043b\u043e\u043f\u043e\u043c\u043e\u0439\u043a\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u0421\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0443\u0442\u0438\u043b\u0438\u0442\u0443 <pre><code>wget https://downloads.linux.hpe.com/sdr/repo/mcp/pool/non-free/hpssacli-2.40-13.0_amd64.deb\n</code></pre></p> <p>\u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043f\u0430\u043a\u0435\u0442 <pre><code>dpkg -i hpssacli-2.40-13.0_amd64.deb\n</code></pre> \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b:</p> <p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0442\u0430\u0442\u0443\u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 <pre><code>hpssacli ctrl all show status\n</code></pre> \u0421\u0442\u0430\u0442\u0443\u0441 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u0438 \u0435\u0433\u043e \u0441\u043b\u043e\u0442 \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043b\u043e\u0442\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 <pre><code>hpssacli ctrl slot=0 pd all show status\n</code></pre> \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0432 \u0434\u0438\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0432\u0438\u0434\u0430 <pre><code>physicaldrive 1I:1:1 (port 1I:box 1:bay 1, 300 GB): OK\n</code></pre> \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0442\u043e \u044d\u0442\u043e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0438\u0441\u043a \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0439\u0441\u044f \u0432 \u043f\u043e\u0440\u0442\u0435 1i \u0432 \u0431\u043e\u043a\u0441\u0435 1 \u0441\u043b\u043e\u0442\u0435 1 \u042d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u043c \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438</p> <p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 <pre><code>hpssacli ctrl slot=0 ld all show status\n</code></pre></p> <p>\u041f\u043e\u043b\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0443 <pre><code>hpssacli ctrl all show detail\n</code></pre> \u0421\u043e\u0431\u0440\u0430\u0442\u044c \u0440\u0435\u0439\u0434 <pre><code>hpssacli ctrl slot=0 create type=ld drives=1I:1:3 raid=0 stripsize=16\n</code></pre> \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u0432 \u043d\u0443\u0436\u043d\u043e\u043c \u0441\u043b\u043e\u0442\u0435. \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0442\u0438\u043f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0438\u0441\u043a \u043a\u0435\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u0437\u0430\u043f\u044f\u0442\u0443\u044e \u0434\u0438\u0441\u043a\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u043f\u043e\u0440\u0442:\u0431\u043e\u043a\u0441:\u0441\u043b\u043e\u0442. \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0440\u0435\u0439\u0434\u0430 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0442\u0440\u0430\u0439\u043f\u0430. \u0421\u0442\u0440\u0430\u0439\u043f \u044d\u0442\u043e \u0431\u043b\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u043e\u0434\u043d\u0443 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e IO. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043b\u0443\u0447\u0448\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u043b\u043e\u043a, \u0434\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439. \u0420\u0430\u0437\u043c\u0435\u0440\u044b \u0441\u0442\u0440\u0430\u0439\u043f\u043e\u0432 \u0431\u044b\u0432\u0430\u044e\u0442: 8 16 32 64 128 256 512 1024 \u041b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u0441\u043f\u0435\u043a\u0430\u0445 \u0440\u0435\u0439\u0434 \u043a\u043e\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430. \u0414\u043b\u044f \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0439\u0434\u0430 <pre><code>hpssacli ctrl slot=0 logicaldrive 2 delete\n</code></pre> \u0422\u0430\u043a \u0436\u0435 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440, \u043a\u0430\u043a\u043e\u0439 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u0438\u0441\u043a \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0443\u0434\u0430\u043b\u0438\u0442\u044c. \u0415\u0441\u043b\u0438 \u0434\u0438\u0441\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0438\u0437 \u041e\u0421, \u0442\u043e \u043e\u043d \u043d\u0435 \u0434\u0430\u0441\u0442 \u0435\u0433\u043e \u0443\u0434\u0430\u043b\u0438\u0442\u044c. </p> <p>\u0412\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u0435\u0448\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 SSD. \u041e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e SSDSmartPath. \u042d\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0438\u0441\u043a\u043e\u0432 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0438\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043a\u0435\u0448 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443. \u041f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u0438\u0441\u043a\u043e\u0432 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u0435\u0448 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u0434\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0434\u043e \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438 \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432 \u0425\u0411\u0410 \u0440\u0435\u0436\u0438\u043c \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u044c SDS <pre><code>hpssacli ctrl slot=2 array A modify ssdsmartpath=disable\n</code></pre> \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u043e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u0438 \u043a\u0430\u043a\u043e\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c</p> <pre><code>hpssacli ctrl slot=2 logicaldrive 1 modify arrayaccelerator=enable\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5%20%D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/BPDUGuard%2C%20STP%2C%20PortFast/","title":"network #stp","text":""},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5%20%D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/BPDUGuard%2C%20STP%2C%20PortFast/#stp","title":"STP","text":"<p>\u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b STP \u0438 \u0438\u043d\u044b\u0435 \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043b\u0443\u0436\u0438\u0442 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0442\u0435\u043b\u044c \u0432 \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438 \u0438 \u0448\u0438\u0440\u043e\u043a\u043e\u0432\u0435\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0442\u043e\u0440\u043c\u0430. \u0422\u0430\u043a\u043e\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0438\u0437 \u0437\u0430 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b\u0445 \u043b\u0438\u043d\u043a\u043e\u0432 \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u0443\u0434\u0443\u0442 \u0445\u043e\u0434\u0438\u0442 \u0438 \u0440\u0430\u0437\u043c\u043d\u043e\u0436\u0430\u0442\u044c\u0441\u044f \u0448\u0438\u0440\u043e\u043a\u043e\u0432\u0435\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0414\u043b\u044f \u0440\u0430\u0437\u0440\u044b\u0432\u0430 \u043a\u043e\u043b\u0435\u0446 \u0417\u0430\u043c\u043a\u043d\u0443\u0442\u0430\u044f \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0431\u044b \u0432\u0438\u0434 \u0434\u0435\u0440\u0435\u0432\u0430 \u043f\u0443\u0442\u0435\u043c \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b\u0445 \u043b\u0438\u043d\u043a\u043e\u0432. \u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b: - \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u041a\u043e\u0440\u043d\u0435\u0432\u043e\u0439 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 \u043a\u043e\u0440\u043d\u0435\u0432\u043e\u0433\u043e \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440\u044b \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0443\u0447\u043d\u044b\u043c \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c. \u0412 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440 \u0441 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u043c MAC \u0430\u0434\u0440\u0435\u0441\u043e\u043c. \u042d\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u043c\u0430\u043a \u0443 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f! - </p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5%20%D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/Cisco%202960/","title":"Cisco 2960","text":"<p>\u0421\u0431\u0440\u043e\u0441 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440\u0430 cisco 2960</p> <ol> <li>\u0412\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u0435 </li> <li>\u0417\u0430\u0436\u0430\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0443 mode</li> <li>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u0430\u0431\u0435\u043b\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u044f</li> <li>\u0414\u0435\u0440\u0436\u0430\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0443 mode \u043f\u043e\u043a\u0430 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 sys \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0435\u0442 \u043c\u0438\u0433\u0430\u0442\u044c</li> <li>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u0442</li> <li>\u041f\u0440\u043e\u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>flash_init</code></li> <li>\u0423\u0434\u0430\u043b\u0438\u0442\u044c \u0444\u0430\u0439\u043b \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 <code>del flash:config.text</code></li> <li>\u0423\u0434\u0430\u043b\u0438\u0442\u044c \u0444\u0430\u0439\u043b \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0432\u043b\u0430\u043d\u043e\u0432 <code>del flash:vlan.dat</code></li> <li>\u0417\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0438\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>boot</code></li> </ol>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5%20%D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%94%D0%BE%D0%B1%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%B0%D0%B3%D1%80%D0%B5%D0%B3%D0%B0%D1%86%D0%B8%D0%B8%20%D0%BD%D0%B0%20%D1%8F%D0%B4%D1%80%D0%BE%20%D1%81%D0%B5%D1%82%D0%B8/","title":"\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u043d\u0430 \u044f\u0434\u0440\u043e \u0441\u0435\u0442\u0438","text":"<p>\u041d\u0430 \u044f\u0434\u0440\u043e \u0441\u0435\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0434\u043e 5000 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0439 \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0432 1 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u041f\u0435\u0440\u0435\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0443\u0437\u043d\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u043a\u0430\u043d\u0430\u043b\u044b \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442. <pre><code>Show etherchannel summary\n</code></pre> \u0414\u043b\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043f\u043e\u0440\u0442\u044b <pre><code>Int range (ports number)\n</code></pre> \u0412\u044b\u043a\u043b\u044e\u0447\u0438\u043c \u0438\u0445 <pre><code>sh\n</code></pre> \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0438\u043d\u0442\u0440\u0435\u0444\u0435\u0439\u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 <pre><code>Int port-channel (\u043d\u043e\u043c\u0435\u0440 \u043e\u0442 1 \u0434\u043e 5000)\n</code></pre> \u0412 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u043f\u043e\u0440\u0442\u0430 \u0437\u0430\u0434\u0430\u0435\u043c \u0434\u0435\u0441\u043a\u0440\u0438\u043f\u0448\u043e\u043d <pre><code>Description (\u043d\u0430\u0434\u043f\u0438\u0441\u044c)\n</code></pre> \u0418 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u043a\u0430\u043a L2 \u043f\u043e\u0440\u0442 <pre><code>Switchport\n</code></pre> \u0422\u0430\u043a \u0436\u0435 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u043f\u043e\u0440\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u0433\u0440\u0443\u043f\u043f \u0447\u0442\u043e \u043e\u043d\u0438 L2 <pre><code>Int range (ports number)\nSwitchport\n</code></pre> \u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u0433\u0440\u0443\u043f\u043f\u0443 <pre><code>Channel-group (\u043d\u043e\u043c\u0435\u0440 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438) mode active \n</code></pre> \u0415\u0441\u043b\u0438 \u043d\u0430\u0434\u043e LACP, \u043d\u0430 \u0442\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0442\u043e\u0436\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 LACP \u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0441\u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438. <pre><code>Int port-channel (\u043d\u043e\u043c\u0435\u0440)\n</code></pre> \u041c\u043e\u0436\u0435\u043c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u043a \u0438\u043b\u0438 \u0430\u043a\u0441\u0435\u0441 \u0438 \u043a\u0430\u043a\u0438\u0435 \u0432\u043b\u0430\u043d\u044b \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c. \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0443</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5%20%D0%B7%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%9A%D0%B0%D0%BA%20%D0%BE%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8F%D1%82%D1%8C%20%D0%BA%D0%B0%D0%BA%D0%BE%D0%B9%20%D0%BF%D0%BE%D1%80%D1%82/","title":"\u041a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0440\u0442","text":"<p>\u041f\u043e\u0440\u0442\u044b \u043c\u0430\u0440\u043a\u0438\u0440\u0443\u0435\u043c \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u041e\u0422\u041a\u0423\u0414\u0410 \u0421\u0442\u043e\u0439\u043a\u0430 \u042e\u043d\u0438\u0442 \u041f\u043e\u0440\u0442 - \u041a\u0423\u0414\u0410 \u0421\u0442\u043e\u0439\u043a\u0430 \u042e\u043d\u0438\u0442 \u041f\u043e\u0440\u0442 \u0414\u043b\u044f \u0431\u043b\u0435\u0439\u0434 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 B (Bay) \u043e\u043d\u043e \u0436\u0435 \u043b\u0435\u0437\u0432\u0438\u0435. \u041d\u043e\u043c\u0435\u0440 \u043b\u0435\u0437\u0432\u0438\u044f \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0438 \u043d\u0430 \u043c\u0430\u0440\u043a\u0438\u0440\u043e\u0432\u043a\u0435 \u041f\u043e\u0440\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e \u0441\u0432\u0435\u0440\u0445\u0443 \u0432\u043d\u0438\u0437 \u0435\u0441\u043b\u0438 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f 3 5 7 1 2 4 6 8 \u0415\u0441\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0435\u0441\u0442\u044c (\u0442\u0438\u043f LAN1 \u0438\u043b\u0438 ETH1) \u0442\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043f\u043e \u043d\u0438\u043c \u041f\u043e\u0440\u0442\u044b IPMI (ilo, iDRAC, Irmc) \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0438 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0438\u0445 \u043a\u0430\u043a \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u043f\u043e\u0440\u0442\u044b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%81%D1%8B%D0%BB%D0%BA%D0%B8/%D0%93%D0%B8%D1%82%20%D1%85%D0%B0%D0%B1%20%D1%81%20%D1%81%D0%B5%D0%BB%D1%84%20%D1%85%D0%BE%D1%81%D1%82%D0%B5%D0%B4%20%D0%9F%D0%9E/","title":"links #notes","text":"<p>https://github.com/awesome-selfhosted/awesome-selfhosted?tab=readme-ov-file#automation</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041e\u0442\u043a\u0440\u044b\u0442\u044c \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043c\u0435\u043d\u044e</p> <ul> <li>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0437\u0430 \u044d\u0442\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435\u0439</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#ceph","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c Ceph","text":"<p>\u0421\u0441\u044b\u043b\u043a\u0438 \u0441\u044e\u0434\u0430 (2) \u2192</p> <p></p> <p>Ceph\u00a0\u2014 \u044d\u0442\u043e SDS (\u043f\u043e-\u0440\u0443\u0441\u0441\u043a\u0438\u00a0\u2014 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u0430\u044f \u0421\u0425\u0414), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0432 \u0441\u0432\u043e\u0451\u043c \u0440\u043e\u0434\u0435, \u0438 \u0432 \u0446\u0435\u043b\u043e\u043c, \u0443\u043c\u0435\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e\u0435\u00a0\u2014 S3, \u0434\u0438\u0441\u043a\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043e\u043a, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u0443\u044e FS + \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u0431\u0430\u0433\u0430\u0436 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0438\u0447.</p> <p>\u0418 \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e\u00a0\u2014 \u0431\u0435\u0440\u0438, \u0441\u0442\u0430\u0432\u044c, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0439 \u0441\u0432\u043e\u0451 \u043e\u0431\u043b\u0430\u043a\u043e \u0438 \u0440\u0443\u0431\u0438 \u0431\u0430\u0431\u043b\u043e\u00a0\u2014 \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0435 \u043e\u0434\u0438\u043d \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043d\u044e\u0430\u043d\u0441: \u041f\u0420\u041e\u0418\u0417\u0412\u041e\u0414\u0418\u0422\u0415\u041b\u042c\u041d\u041e\u0421\u0422\u042c. \u0422\u0435\u0440\u044f\u0442\u044c 95\u00a0% \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 Production-\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c \u043b\u044e\u0434\u044f\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0436\u0430\u043b\u043a\u043e. \u00ab\u041e\u0431\u043b\u0430\u043a\u0430\u043c\u00bb \u0442\u0438\u043f\u0430 AWS, GCP, \u042f\u043d\u0434\u0435\u043a\u0441\u0430, \u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u043d\u0435 \u0436\u0430\u043b\u043a\u043e\u00a0\u2014 \u0443 \u043d\u0438\u0445 \u0442\u043e\u0436\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043a\u0440\u0430\u0444\u0442\u043e\u0432\u044b\u0435 SDS \u0438 \u043e\u043d\u0438 \u0442\u043e\u0436\u0435 \u0442\u043e\u0440\u043c\u043e\u0437\u044f\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435\u00a0:-) \u043d\u043e \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0441\u0442\u0430\u0432\u0438\u043c\u00a0\u2014 \u043a\u0442\u043e \u043c\u044b \u0442\u0430\u043a\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u0441\u0443\u0434\u0438\u0442\u044c.</p> <p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043e, \u043a\u0430\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0446\u0435\u0444\u0430 \u0438 \u043a\u0430\u043a. \u0415\u0441\u043b\u0438 \u0432\u043a\u0440\u0430\u0442\u0446\u0435, \u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u044b\u043c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u043c \u0441\u043b\u0443\u0436\u0438\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 Nick Fisk \u00abLow-Latency Ceph\u00bb, \u0432 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 Low Latency \u044d\u0442\u043e 0.7 \u043c\u0441 (\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c). \u041b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441 Ceph-\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e (\u0445\u0443\u0434\u0448\u0438\u0439\u00a0\u2014 \u043b\u0435\u0433\u043a\u043e). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c 0.7 \u043c\u0441\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e ~1500 iops \u0432 1 \u043f\u043e\u0442\u043e\u043a. \u041d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0433\u0434\u0435-\u0442\u043e \u0440\u0430\u0437\u0430 \u0432 2 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0433\u0434\u0435-\u0442\u043e \u0434\u043e 3000 iops \u0432 1 \u043f\u043e\u0442\u043e\u043a.</p> <p>\u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f: \u043b\u044e\u0431\u043e\u0439 \u0441\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 SSD-\u0434\u0438\u0441\u043a \u0440\u0430\u0437 \u0432 10 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 SSD \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c\u00a0\u2014 0.01-0.04 \u043c\u0441, \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435\u00a0\u2014 0.1 \u043c\u0441.</p> <p>UPDATE: \u0414\u043e\u0433\u043d\u0430\u0442\u044c (\u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0433\u043d\u0430\u0442\u044c) SDS-\u043a\u043e\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u043a \u043c\u043e\u0436\u043d\u043e, \u044f \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b \u0432 \u0441\u0432\u043e\u0451\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435\u00a0\u2014 Vitastor:\u00a0https://vitastor.io\u00a0:-) \u044d\u0442\u043e \u0431\u043b\u043e\u0447\u043d\u0430\u044f SDS \u0441 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439, \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 Ceph, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0411\u042b\u0421\u0422\u0420\u0410\u042f\u00a0\u2014 \u0432 \u0442\u0435\u0441\u0442\u0435 \u043d\u0430 SATA SSD \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438 \u0447\u0442\u0435\u043d\u0438\u044f, \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 0.14 \u043c\u0441. \u041d\u0430 \u0442\u043e\u043c \u0436\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0437\u0430\u043f\u0438\u0441\u0438 \u0443 Ceph \u0431\u044b\u043b\u0430 1 \u043c\u0441, \u0430 \u0447\u0442\u0435\u043d\u0438\u044f\u00a0\u2014 0.57 \u043c\u0441. \u0414\u0435\u0442\u0430\u043b\u0438 \u0432\u00a0README\u00a0\u2014 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_1","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435</p> <ul> <li> <p>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433</p> <ul> <li> <p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u043e\u0432</p> <ul> <li>\u041b\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435</li> </ul> </li> <li> <p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 Ceph</p> <ul> <li> <p>RBD</p> </li> <li> <p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 OSD</p> </li> <li> <p>CephFS</p> </li> <li> <p>S3 (rgw)</p> </li> <li> <p>\u0427\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0430\u0434\u043e</p> </li> <li> <p>\u041f\u0440\u043e RBD \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c</p> </li> </ul> </li> <li> <p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438</p> </li> </ul> </li> <li> <p>\u041e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438</p> </li> <li> <p>\u041a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b</p> </li> <li> <p>Bluestore vs Filestore</p> <ul> <li> <p>\u0422\u0435\u0441\u0442 \u043d\u0430 1 NVMe</p> </li> <li> <p>\u041f\u0440\u043e \u0440\u0430\u0437\u043c\u0435\u0440 block.db</p> </li> </ul> </li> <li> <p>RGW vs Minio</p> </li> <li> <p>\u0421\u043d\u0430\u043f\u0448\u043e\u0442\u044b</p> </li> <li> <p>EC</p> <ul> <li>\u041f\u0440\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 \u0434\u0430\u043d\u043d\u044b\u0445</li> </ul> </li> <li> <p>\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u044b</p> </li> <li> <p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u044b</p> </li> <li> <p>\u0421\u0435\u0442\u044c</p> </li> <li> <p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043e\u043a \u0438 \u0424\u0421</p> <ul> <li> <p>\u0414\u0440\u0430\u0439\u0432\u0435\u0440 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430 \u0438 \u0424\u0421</p> </li> <li> <p>cache=writeback</p> </li> <li> <p>\u0424\u0421</p> </li> </ul> </li> <li> <p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430</p> </li> <li> <p>\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0430\u0441\u043b\u043e\u043c \u00ab\u0422\u043e\u0440\u043c\u043e\u0437\u044f\u0449\u0438\u0439 \u043a\u044d\u0448\u00bb</p> <ul> <li> <p>O_SYNC vs fsync vs hdparm -W 0</p> </li> <li> <p>\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 SSD</p> </li> <li> <p>Ceph HDD+SSD</p> <ul> <li>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u044f</li> </ul> </li> </ul> </li> <li> <p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 Bluestore \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439?</p> </li> <li> <p>DPDK \u0438 SPDK</p> </li> <li> <p>RAID WRITE HOLE</p> </li> <li> <p>\u041a\u0440\u0430\u0442\u043a\u0438\u0439 \u044d\u043a\u0441\u043a\u0443\u0440\u0441 \u0432 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e SSD \u0438 \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u0438</p> <ul> <li>\u0411\u043e\u043d\u0443\u0441: USB-\u0444\u043b\u0435\u0448\u043a\u0438</li> </ul> </li> <li> <p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0442\u0435\u0441\u0442\u0430 \u043e\u0442 Micron</p> <ul> <li> <p>\u0410\u043f\u0434\u0435\u0439\u0442</p> </li> <li> <p>\u0411\u043e\u043d\u0443\u0441: \u0432\u0438\u0441\u044f\u043d (vSAN)</p> </li> </ul> </li> <li> <p>\u041c\u043e\u0434\u0435\u043b\u0438</p> </li> <li> <p>\u0420\u0435\u0437\u044e\u043c\u0435</p> </li> <li> <p>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435</p> </li> <li> <p>\u0421\u043c. \u0442\u0430\u043a\u0436\u0435</p> </li> <li> <p>\u0421\u043e\u0432\u0435\u0442\u044b \u043b\u0443\u0447\u0448\u0438\u0445 \u0441\u043e\u0431\u0430\u043a\u043e\u0432\u043e\u0434\u043e\u0432</p> </li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_2","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433</p> <p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:</p> <ul> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435/\u0437\u0430\u043f\u0438\u0441\u044c (\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438)</li> <li>\u041f\u0438\u043a\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e-\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 (4-8 \u041a\u0431)</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0439 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 (4-8 \u041a\u0431)\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439, \u043a\u0430\u043a \u0432 \u0436\u0443\u0440\u043d\u0430\u043b \u0421\u0423\u0411\u0414, \u043d\u043e \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u043b\u0430\u0431\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439</li> </ul> <p>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0430\u0436\u043d\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0438\u043a\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0434\u0438\u0441\u043a \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0435 / \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 (32-128 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432).</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_3","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u043e\u0432","text":"<p>SSD Bench Google Docs</p> <p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0438\u0442\u0435 fio \u043d\u0430 \u0433\u043e\u043b\u043e\u043c \u0434\u0438\u0441\u043a\u0435:</p> <p>\u00a0\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415!\u00a0\u0414\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0432 \u0442\u0430\u043d\u043a\u0435\u00a0\u2014 fio-\u0442\u0435\u0441\u0442 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a \u0414\u0415\u0421\u0422\u0420\u0423\u041a\u0422\u0418\u0412\u041d\u042b\u0419. \u041d\u0435 \u0432\u0437\u0434\u0443\u043c\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0434\u0438\u0441\u043a\u0430\u0445/\u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435\u2026 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0436\u0443\u0440\u043d\u0430\u043b\u044b OSD (\u0431\u044b\u043b \u043f\u0440\u0435\u0446\u0435\u0434\u0435\u043d\u0442).</p> <ul> <li>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u044d\u0448 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0438\u0441\u043a\u0430:\u00a0hdparm -W 0 /dev/sdX\u00a0(SATA-\u0434\u0438\u0441\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 SATA \u0438\u043b\u0438 HBA),\u00a0sdparm --set WCE=0 /dev/sdX\u00a0(SAS-\u0434\u0438\u0441\u043a\u0438). \u041d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u044f\u0441\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443, \u043d\u043e \u044d\u0442\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 SSD \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c IOPS-\u044b \u043d\u0430 2 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 (\u0430 \u043c\u043e\u0436\u0435\u0442 \u041d\u0415 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u043e\u0431\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u00a0\u2014 \u0438 W0, \u0438 W1). \u0422\u0430\u043a\u0436\u0435 \u0441\u043c.\u043d\u0438\u0436\u0435\u00a0#\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0430\u0441\u043b\u043e\u043c \u00ab\u0422\u043e\u0440\u043c\u043e\u0437\u044f\u0449\u0438\u0439 \u043a\u044d\u0448\u00bb.</li> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435:\u00a0fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4M -iodepth=32 -rw=read -runtime=60 -filename=/dev/sdX</li> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c:\u00a0fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4M -iodepth=32 -rw=write -runtime=60 -filename=/dev/sdX</li> <li>\u041f\u0438\u043a\u043e\u0432\u044b\u0435 IOPS \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f:\u00a0fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=128 -rw=randread -runtime=60 -filename=/dev/sdX</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f:\u00a0fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randread -runtime=60 -filename=/dev/sdX</li> <li>\u041f\u0438\u043a\u043e\u0432\u044b\u0435 IOPS \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:\u00a0fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=128 -rw=randwrite -runtime=60 -filename=/dev/sdX</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b:\u00a0fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=write -runtime=60 -filename=/dev/sdX\u00a0\u2014 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 \u0442\u0435\u0441\u0442 \u0441\u00a0-fsync=1\u00a0\u0432\u043c\u0435\u0441\u0442\u043e\u00a0-sync=1\u00a0\u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0445\u0443\u0434\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u043d\u043e\u0433\u0434\u0430 \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 sync \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f (\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430).</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:\u00a0fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=/dev/sdX</li> </ul> <p>\u00ab\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043c\u0430\u043b\u043e\u2026\u00bb\u00a0\u2014 \u0441\u043c.\u043d\u0438\u0436\u0435 \u0441\u0430\u0433\u0443 \u043f\u0440\u043e \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b.</p> <p>\u00a0\u041a\u043e\u0433\u0434\u0430 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0435 Ceph OSD \u043d\u0430 SSD\u00a0\u2014 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u043d\u0435 \u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u0434 Ceph \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0430 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u0434\u0435\u043b (10-20 \u0433\u0431) \u043f\u0443\u0441\u0442\u044b\u043c \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433.\u202f\u0418\u0431\u043e SSD \u0438\u043c\u0435\u044e\u0442 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c (\u0438\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u0431\u0438\u0432\u0430\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u043e\u0434 80%) \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c. \u041e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0433\u043e\u043d\u044f\u0442\u044c fio \u043d\u0430 \u043f\u0443\u0441\u0442\u043e\u043c \u043d\u0438\u043a\u0435\u043c \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_4","title":"\u041b\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435","text":"<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a? \u0412\u0435\u0434\u044c \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0438\u0441\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:</p> <ul> <li>\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430</li> <li>\u0420\u0435\u0436\u0438\u043c\u00a0\u2014 \u0447\u0442\u0435\u043d\u0438\u0435, \u0437\u0430\u043f\u0438\u0441\u044c \u0438\u043b\u0438 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0447\u0442\u0435\u043d\u0438\u0435+\u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044f\u0445</li> <li>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u00a0\u2014 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0438 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c, \u0432 \u0446\u0435\u043b\u043e\u043c \u0447\u0438\u0441\u043b\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0443 \u0434\u0438\u0441\u043a\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439</li> <li>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430</li> <li>\u0418\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u00a0\u2014 \u043f\u0443\u0441\u0442, \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e, \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e, \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u00a0\u0442.\u00a0\u043f.</li> <li>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 10% \u0433\u043e\u0440\u044f\u0447\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 90% \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0445\u00a0\u2014 \u0438\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0433\u043e\u0440\u044f\u0447\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0434\u0438\u0441\u043a\u0430)</li> <li>\u0414\u0440\u0443\u0433\u0438\u0435 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0436\u0438\u043c\u044b \u0442\u0435\u0441\u0442\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 \u0431\u043b\u043e\u043a\u043e\u0432</li> </ul> <p>\u0422\u0430\u043a\u0436\u0435 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u044c\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438\u00a0\u2014 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0438\u043b\u0438 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0438, \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u043f\u0435\u0440\u0446\u0435\u043d\u0442\u0438\u043b\u0438 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435\u00a0\u2014 \u044d\u0442\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u0430\u0441\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043e\u0431\u0440\u0430\u0437\u0446\u0430.</p> <p>\u0415\u0441\u0442\u044c \u0438 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 SSD \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u044f\u0432\u043b\u044f\u044e\u0442 \u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0438\u0441\u043a\u0430 \u043a \u0442\u0435\u0441\u0442\u0430\u043c \u043f\u0443\u0442\u0451\u043c 2-\u0445 \u043a\u0440\u0430\u0442\u043d\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u043b\u043e\u0439 \u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u0438 \u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0434\u0438\u0441\u043a\u0430, \u0430 \u044f \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0441\u0442\u0430\u0432\u0438\u0442 SSD \u0432 \u043d\u0435\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u043f\u043b\u043e\u0445\u0438\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0443\u0441\u043b\u043e\u0432\u0438\u044f; \u0435\u0441\u0442\u044c \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u043a\u0438 \u0440\u0438\u0441\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u00ab\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443\u00bb, \u0447\u0442\u043e \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u043c, \u043d\u043e \u0442\u043e\u0436\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c\u00a0\u2014 \u0432 \u043d\u0451\u043c, \u043f\u043e \u0441\u0443\u0442\u0438, \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0433\u0440\u0430\u0444\u0438\u043a F1(q) \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 F2(q) \u0438 \u0433\u0440\u0430\u0444\u0438\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u0430\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u0442\u044b\u0439\u00a0\u2014 \u043d\u043e \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0438 \u0442\u043e\u0436\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0439.</p> <p>\u0412 \u043e\u0431\u0449\u0435\u043c, \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433\u043e\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0438 \u0443\u0436 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0442\u043e\u0447\u043d\u043e \u0443\u0439\u0434\u0451\u0442. \u042d\u0442\u0438\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0442\u0438\u043f\u0430 3dnews \u0432 \u0441\u0432\u043e\u0438\u0445 \u043e\u0431\u0437\u043e\u0440\u0430\u0445 SSD. \u0410 \u043c\u044b \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u0434\u0435\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439. \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0442\u0435\u0441\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0441\u0440\u0430\u0437\u0443 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.</p> <p>\u041f\u043e\u0441\u0435\u043c\u0443 \u043e\u0431\u0449\u0430\u044f \u0438\u0434\u0435\u044f\u00a0\u2014 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u00ab\u043a\u0440\u0430\u0439\u043d\u0438\u0445\u00bb \u0440\u0435\u0436\u0438\u043c\u043e\u0432, \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0438\u0441\u043a \u0432 \u043d\u0438\u0445 \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u00ab\u0430\u043c\u043f\u043b\u0438\u0442\u0443\u0434\u043d\u043e-\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u043d\u043e\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438\u00bb \u0434\u0438\u0441\u043a\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0433\u043b\u0430\u0434\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u043a\u0440\u0430\u0439\u043d\u0438\u043c\u0438 \u0442\u043e\u0447\u043a\u0430\u043c\u0438. \u0422\u0435\u043c \u0431\u043e\u043b\u0435\u0435, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043a\u0440\u0430\u0439\u043d\u0438\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u0441\u0432\u043e\u0435\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439:</p> <ol> <li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0438\u043b\u0438 \u043a\u0440\u0443\u043f\u043d\u043e\u0431\u043b\u043e\u0447\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f. \u0414\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u0430\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u00a0\u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0432 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u0445 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0442\u0441\u044e\u0434\u0430 \u0440\u0435\u0436\u0438\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c 4 \u041c\u0411 \u0431\u043b\u043e\u043a\u043e\u043c \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u044c\u044e\u00a0\u2014 16-32 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u041c\u0411/\u0441.</li> <li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043c\u0435\u043b\u043a\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u043a \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044e. \u041e\u0442\u0441\u044e\u0434\u0430\u00a0\u2014 \u0440\u0435\u0436\u0438\u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c 4 \u041a\u0411 \u0431\u043b\u043e\u043a\u043e\u043c (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0424\u0421 \u0438, \u043f\u043b\u044e\u0441-\u043c\u0438\u043d\u0443\u0441, \u0421\u0423\u0411\u0414) \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u044c\u044e\u00a0\u2014 128 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u0434\u0438\u0441\u043a \u043d\u0435 \u0443\u0434\u0430\u0451\u0442\u0441\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u0442\u043e\u043a\u043e\u043c CPU \u0441 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 128\u00a0\u2014 \u0442\u043e\u0433\u0434\u0430 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e (2-4-8 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435) \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043f\u043e 128 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 iops. \u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0443 (latency) \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0434\u043d\u044f\u0432 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0447\u0435\u0440\u0435\u0434\u0438\u00a0\u2014 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0436\u0451\u0441\u0442\u043a\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 iops \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 latency=queue/iops.</li> <li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043c\u0435\u043b\u043a\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u041d\u0415\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u043a \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044e. \u0422\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0447\u0430\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0441\u044e\u0434\u0430 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0421\u0423\u0411\u0414. \u041e\u0442\u0441\u044e\u0434\u0430 \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0442 \u0440\u0435\u0436\u0438\u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c 4 \u041a\u0411 \u0431\u043b\u043e\u043a\u043e\u043c \u0441 \u043e\u0447\u0435\u0440\u0435\u0434\u044c\u044e 1 \u0438, \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438, \u0441 fsync \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u0434\u0438\u0441\u043a/\u0421\u0425\u0414 \u043d\u0435 \u043c\u043e\u0433\u043b\u0438 \u043d\u0430\u0441 \u043e\u0431\u043c\u0430\u043d\u0443\u0442\u044c \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043a\u044d\u0448. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b\u00a0\u2014 iops \u0438\u043b\u0438 latency, \u043f\u043e \u0436\u0435\u043b\u0430\u043d\u0438\u044e\u00a0\u2014 \u043d\u043e \u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 \u0447\u0442\u043e-\u0442\u043e \u043e\u0434\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0447\u0438\u0441\u043b\u0430, \u043e\u043f\u044f\u0442\u044c \u0436\u0435, \u0436\u0451\u0441\u0442\u043a\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435.</li> </ol>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#ceph_1","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 Ceph","text":"<p>\u041a\u0430\u043a \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c Ceph \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#rbd","title":"RBD","text":"<p>fio -ioengine=rbd. \u041d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:</p> <ol> <li>fio -ioengine=rbd -direct=1 -name=test -bs=4M -iodepth=16 -rw=write -pool=rpool_hdd -runtime=60 -rbdname=testimg</li> <li>fio -ioengine=rbd -direct=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -pool=rpool_hdd -runtime=60 -rbdname=testimg</li> <li>fio -ioengine=rbd -direct=1 -name=test -bs=4k -iodepth=128 -rw=randwrite -pool=rpool_hdd -runtime=60 -rbdname=testimg</li> <li>...\u0438 \u043f\u043e\u0442\u043e\u043c \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u043b\u044f read/randread.</li> </ol> <p>\u0421\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430) \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0432 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0431) \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0432) \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 iops-\u044b.</p> <p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 \u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0437 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e, \u0442\u0430\u043a \u043a\u0430\u043a \u0447\u0442\u0435\u043d\u0438\u0435 \u0438\u0437 \u043f\u0443\u0441\u0442\u043e\u0433\u043e \u043e\u0431\u0440\u0430\u0437\u0430 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e\u0435\u00a0:)</p> <p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0442\u0443\u0434\u0430, \u0433\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 RBD. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0441 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0443\u0437\u043b\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435.</p> <p>\u0422\u0430\u043a\u0436\u0435 \u0432\u0441\u0451 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0438\u0437\u043d\u0443\u0442\u0440\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0438 \u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 krbd:</p> <ol> <li>fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=16 -rw=write -runtime=60 -filename=/dev/rbdX</li> <li>fio -ioengine=libaio -direct=1 -sync=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=/dev/rbdX</li> <li>fio -ioengine=libaio -direct=1 -name=test -bs=4k -iodepth=128 -rw=randwrite -runtime=60 -filename=/dev/rbdX</li> </ol> <p>\u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 libaio \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043f\u0446\u0438\u044f -sync=1. \u042d\u0442\u043e \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0436\u0438\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u044b \u0421\u0423\u0411\u0414 (\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0432 1 \u043f\u043e\u0442\u043e\u043a). \u0412 ioengine=rbd \u043f\u043e\u043d\u044f\u0442\u0438\u0435 sync \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u0442\u0430\u043c \u0432\u0441\u0451 \u0432\u0441\u0435\u0433\u0434\u0430 \u00absync\u00bb.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#osd","title":"\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 OSD","text":"<p>ceph-gobench:\u00a0https://github.com/rumanzo/ceph-gobench/</p> <p>\u041b\u0438\u0431\u043e\u00a0https://github.com/vitalif/ceph-bench, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0420\u043e\u0434\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0438\u043a \u0438\u0434\u0435\u0438\u00a0\u2014 @socketpair \u041c\u0430\u0440\u043a \u041a\u043e\u0440\u0435\u043d\u0431\u0435\u0440\u0433 (\u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b). \u0411\u0435\u043d\u0447\u0438\u043b\u043a\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 OSD, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0442\u043e \u0436\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0443\u043f\u0438\u0442-\u0442\u043e.</p> <p>\u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u043d\u0430\u0434\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0443\u043b \u0431\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438\u00a0ceph osd pool create bench 128 replicated; ceph osd pool set bench size 1; ceph osd pool set bench min_size 1\u00a0\u0438 \u0441 \u0447\u0438\u0441\u043b\u043e\u043c PG, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435 \u0442\u0443\u0434\u0430 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432\u0441\u0435 OSD (\u043d\u0443 \u0438\u043b\u0438 \u043f\u0440\u0438\u0431\u0438\u0442\u044c \u0438\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 OSD upmap-\u0430\u043c\u0438).</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#cephfs","title":"CephFS","text":"<p>\u00ab\u041d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445\u00bb \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0424\u0421, \u0441\u0446\u0443\u043a\u043e, \u043d\u0435\u0442!!!</p> <p>\u00ab\u041d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439\u00bb \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u00a0\u2014 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0451\u043b \u0431\u044b \u0441\u0435\u0431\u044f, \u043a\u0430\u043a \u0444\u0430\u0439\u043b\u043e\u0432\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440: \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u043b, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b/\u043f\u0438\u0441\u0430\u043b/\u0447\u0438\u0442\u0430\u043b \u0438 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u043b \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0444\u0430\u0439\u043b\u044b \u0441\u0440\u0435\u0434\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430, \u0440\u0430\u0437\u0431\u0438\u0442\u044b\u0435 \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u0432</p> <p>\u0412\u0441\u0451, \u0447\u0442\u043e \u0435\u0441\u0442\u044c, \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043a\u0440\u0438\u0432\u043e\u0436\u043e\u043f\u043e\u0435: bonnie++, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0447\u0435\u043c-\u0442\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u043e 1 \u0431\u0430\u0439\u0442\u0443. iometer, fs_mark \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u043b\u0438\u0441\u044c \u043b\u0435\u0442 \u043f\u043e 10, \u043d\u043e \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0444\u0430\u0439\u043b \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0435 \u0443\u043c\u0435\u044e\u0442. \u041b\u0443\u0447\u0448\u0435\u0435, \u0447\u0442\u043e \u0443\u043c\u0435\u044e\u0442\u00a0\u2014 \u044d\u0442\u043e \u0442\u0435\u0441\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u043e\u0432.</p> <p>\u041f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u043e\u0439 ioengine \u0434\u043b\u044f fio:\u00a0https://github.com/vitalif/libfio_fileserver\u00a0:)</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#s3-rgw","title":"S3 (rgw)","text":"<p>\u041f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442:\u00a0hsbench\u00a0\u2014 \u0441\u0441\u044b\u043b\u043a\u0430 \u0434\u0430\u043d\u0430 \u043d\u0430 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e (!). \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0435 Golang \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0438\u043c\u0435\u0435\u0442 2 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0431\u0430\u0433\u0430: \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0432\u043c\u0435\u0441\u0442\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0435 64 \u041a\u0411, \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0430 \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435, \u0447\u0442\u0435\u043d\u0438\u0435. \u0427\u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 minio \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0442\u0435\u0441\u0442\u043e\u0432. \u0412 \u043c\u043e\u0435\u0439 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0430\u0433\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b.</p> <p>cosbench\u00a0\u2014 \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u043b\u0441\u0442\u044b\u0439, Java \u0441 Web-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u043c, XML-\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438.</p> <p>minio warp\u00a0\u2014 \u0442\u0435\u0441\u0442\u043e\u0432 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 hsbench, \u043d\u043e \u0437\u0430\u0442\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 1 \u0431\u0430\u043a\u0435\u0442 \u0438 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043d\u043e\u0432\u043e.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_5","title":"\u0427\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043d\u0430\u0434\u043e","text":"<ul> <li>dd \u0438 hdparm \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438\u043d\u0433\u0430 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430!!!</li> <li>rados bench \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u043d\u0430\u0434\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (\u0432 1 \u043f\u043e\u0442\u043e\u043a \u0432\u0441\u0435\u0433\u043e 2, \u0432 128\u00a0\u2014 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d). \u00ab\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f\u00bb \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0442\u0430\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c-\u0442\u043e \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f.</li> <li>rbd bench \u043b\u0443\u0447\u0448\u0435 \u0442\u043e\u0436\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u043e\u043d \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u0435\u043d, \u043d\u043e fio \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043b\u0443\u0447\u0448\u0435.</li> <li>\u041d\u0435 \u043d\u0430\u0434\u043e \u0443\u0434\u0438\u0432\u043b\u044f\u0442\u044c\u0441\u044f, \u0435\u0441\u043b\u0438 Ceph \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0434\u0438\u0441\u043a\u0438 \u043d\u0430 100\u00a0% \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u043d \u0442\u043e\u0440\u043c\u043e\u0437\u00a0:)</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#rbd_1","title":"\u041f\u0440\u043e RBD \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c","text":"<p>\u00a0\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u043c\u0438 (fio numjobs > 1) \u0432 \u043e\u0434\u0438\u043d RBD-\u043e\u0431\u0440\u0430\u0437 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e. \u0418\u0437-\u0437\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 RBD, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0438\u0437-\u0437\u0430 object-map, \u043f\u0440\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0421\u0418\u041b\u042c\u041d\u041e \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0435\u0442 (\u0432 2-10 \u0440\u0430\u0437). \u041c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c object-map, \u043d\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u0442\u0435\u0441\u0442, \u0442.\u043a. \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u0432 99% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043e\u043d \u043d\u0443\u0436\u0435\u043d, \u0442\u0430\u043a \u0447\u0442\u043e \u0441 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c object-map \u0432\u044b \u043b\u0438\u0448\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 (\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u0438\u0439) \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.</p> <p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c fio, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 RBD-\u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 fio \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e, \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u0430 \u0441\u0432\u043e\u0451\u043c RBD-\u043e\u0431\u0440\u0430\u0437\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_6","title":"\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438","text":"<p>sockperf. \u041d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043d\u043e\u0434\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u0435\u0440\u0432\u0435\u0440:\u00a0sockperf sr -i IP --tcp. \u041d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u043b\u0438\u0435\u043d\u0442 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 ping-pong:\u00a0sockperf pp -i SERVER_IP --tcp -m 4096. \u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415: \u0412 \u0432\u044b\u0432\u043e\u0434\u0435 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u0435\u0442\u00a0\u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430\u00a0\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 (\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f RTT \u0435\u0451 \u0441\u0442\u043e\u0438\u0442 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430 2. \u041d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 RTT - \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 30-50 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u043a\u0443\u043d\u0434 (0.05ms).</p> <p>~~\u0422\u0430\u043a\u0436\u0435 qperf. \u041d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043d\u043e\u0434\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u00a0qperf. \u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439\u00a0qperf -vvs -m 4096 SERVER_IP tcp_lat.~~</p> <p>qperf \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043a\u0440\u0438\u0432\u043e: 1) \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u043b\u044f tcp_lat \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f 1 \u0431\u0430\u0439\u0442!!! 2) \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 TCP_NODELAY. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0433\u043e \u044e\u0437\u0430\u0442\u044c, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u043e\u0437\u044c\u043c\u0451\u0442\u0435 \u0435\u0433\u043e \u0441 \u043c\u043e\u0438\u043c \u043f\u0430\u0442\u0447\u0435\u043c \u043e\u0442\u0441\u044e\u0434\u0430:\u00a0\u041c\u043e\u0439 Debian \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439.</p> <p>\u00a0\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u0432 Ubuntu \u043d\u0430 \u0441\u0435\u0442\u0435\u0432\u0443\u044e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 AppArmor, \u0435\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c. \u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0430\u044f (Intel X520-DA2):</p> <ul> <li>centos 3.10: rtt min/avg/max/mdev = 0.039/0.053/0.132/0.012 ms</li> <li>ubuntu 4.x + apparmor: rtt min/avg/max/mdev = 0.068/0.163/0.230/0.029 ms</li> <li>ubuntu 4.x: rtt min/avg/max/mdev = 0.037/0.071/0.157/0.018 ms</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_7","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438</p> <p>\u00a0\u041f\u043b\u043e\u0445\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c!</p> <p>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c Ceph\u00a0\u2014\u00a0\u0432\u0441\u044f \u0437\u0430\u043f\u0438\u0441\u044c, \u0434\u0430\u0436\u0435 \u0442\u0430, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0438\u043a\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u044f\u0432\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0438\u0442, \u0432\u0435\u0434\u0451\u0442\u0441\u044f \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e. \u0422\u043e \u0435\u0441\u0442\u044c, \u043d\u0438\u043a\u0430\u043a\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u0442\u0441\u044f, \u043f\u043e\u043a\u0430 \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0432\u0441\u0435\u0445 OSD \u0438 \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u043d fsync() \u0434\u0438\u0441\u043a\u0430. \u0422\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0430\u0442\u044c\u00a0#RAID WRITE HOLE-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u043c\u0438 \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043f\u043e\u0442\u0435\u0440\u0435 \u0441\u0435\u0442\u0438 \u0438 \u0442.\u043f\u2026</p> <p>\u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e Ceph \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0431\u0443\u0444\u0435\u0440\u044b \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0438\u0441\u043a\u043e\u0432 (\u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043e\u043d \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u0441\u0451, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u0438 \u0431\u0443\u0444\u0435\u0440\u044b \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u043e\u0447\u0438\u0449\u0430\u0442\u044c). \u042d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435\u00a0\u2014 \u043e\u043d\u0430 \u0435\u0441\u0442\u044c \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 (page cache \u0432 linux, \u043a\u044d\u0448 RBD \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 librbd qemu\u2026). \u041d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0434\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0431\u0443\u0444\u0435\u0440\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f.</p> <p>\u042d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u0430\u044f SSD \u043f\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c \u0432 Ceph \u0432\u044b\u0434\u0430\u0451\u0442\u00a0\u043d\u0435\u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e \u043d\u0438\u0437\u043a\u0438\u0435 IOPS-\u044b\u00a0\u2014 \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0442 500 \u0434\u043e 2000. \u0418 \u044d\u0442\u043e \u043f\u0440\u0438 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u0430\u044f SSD \u0432\u044b\u0434\u0430\u0451\u0442 > 20000 iops. \u0414\u0430\u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u043f\u0430\u0440\u0448\u0438\u0432\u044b\u0439 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0439 noname \u0432\u044b\u0434\u0430\u0451\u0442 \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 10000 iops. NVMe \u043b\u0435\u0433\u043a\u043e \u0432\u044b\u0436\u0438\u043c\u0430\u0435\u0442 150000 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435. \u041d\u043e \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c fsync\u2026 \u0438 \u0442\u0430 \u0436\u0435 NVMe \u0432\u044b\u0434\u0430\u0451\u0442 600 iops (\u043d\u0430 2.5 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435).</p> <p>\u0412 \u043e\u0431\u0449\u0435\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443 \u0432\u0430\u0441 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c IOPS-\u043e\u0432 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 Ceph, \u0434\u0438\u0441\u043a\u0438 \u043f\u043e\u0434 \u043d\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043e\u043f\u0446\u0438\u044f\u043c\u0438 fio\u00a0sync=1 iodepth=1. \u042d\u0442\u043e \u0434\u0430\u0441\u0442 \u00ab\u0436\u0443\u0440\u043d\u0430\u043b\u044c\u043d\u044b\u0435\u00bb \u0438\u043e\u043f\u0441\u044b (\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043c\u0438\u0442\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043f\u043e \u043e\u0434\u043d\u043e\u0439).</p> <p>\u0414\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: fdatasync=1 (\u0432 \u0444\u0430\u0439\u043b\u0435 \u043f\u043e\u0432\u0435\u0440\u0445 \u0424\u0421) \u043b\u0438\u0431\u043e fsync=1 (\u043d\u0430 \u0433\u043e\u043b\u043e\u043c \u0434\u0435\u0432\u0430\u0439\u0441\u0435). \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043e\u043f\u0446\u0438\u044f\u043c\u0438:</p> <ul> <li>fsync=1 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438. \u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 BlueStore.</li> <li>fdatasync=1 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043d\u043d\u044b\u0435 (\u043d\u043e \u043d\u0435 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435) \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u0442 fsync=1 \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f\u00a0\u0444\u0430\u0439\u043b \u0432 \u0424\u0421, \u0430 \u043d\u0435 \u0431\u043b\u043e\u0447\u043d\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e. \u00a0fdatasync=1 \u043d\u0430\u0434\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u0424\u0421, \u0430 \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0445\u043e\u0447\u0435\u0442\u0441\u044f. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c\u0438.</li> <li> <p>sync=1 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 O_SYNC \u0438 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 \u0432\u0432\u043e\u0434/\u0432\u044b\u0432\u043e\u0434, \u0442\u043e \u0435\u0441\u0442\u044c, \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439. \u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 FileStore.</p> <p>\u041d\u043e \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u0430 \u043e\u043f\u0446\u0438\u044f iodepth=1, \u0438\u043d\u0430\u0447\u0435 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0434\u0438\u0441\u043a\u0430 \u0434\u043e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u00ab\u043f\u0440\u043e\u043b\u0435\u0437\u0430\u0435\u0442\u00bb \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0438 IOPS-\u044b \u0440\u0430\u0441\u0442\u0443\u0442, \u0442\u0435\u0441\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0431\u044b\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u0430.</p> </li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_8","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b</p> <p>\u041d\u0430\u0441 \u0441\u043f\u0430\u0441\u0451\u0442 \u0442\u0430\u043a\u043e\u0435 \u0447\u0443\u0434\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0439 \u043c\u044b\u0441\u043b\u0438, \u043a\u0430\u043a\u00a0SSD \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438\u00a0(\u0438\u043b\u0438 \u0441 \u0441\u0443\u043f\u0435\u0440\u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438\u00a0\u2014 \u0438\u043e\u043d\u0438\u0441\u0442\u043e\u0440\u0430\u043c\u0438). \u041a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 M.2 SSD, \u043a\u0441\u0442\u0430\u0442\u0438, \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0432\u0438\u0434\u043d\u044b \u043d\u0435\u0432\u043e\u043e\u0440\u0443\u0436\u0451\u043d\u043d\u044b\u043c \u0433\u043b\u0430\u0437\u043e\u043c (\u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0443\u0442 \u044d\u0442\u043e \u043d\u0435 \u0438\u043e\u043d\u0438\u0441\u0442\u043e\u0440\u044b\u00a0:)):</p> <p></p> <p>\u041a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u0430\u043a \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0432 SSD \u0418\u0411\u041f \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 SSD \u0443\u0441\u043f\u0435\u0442\u044c \u0441\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043a\u044d\u0448 \u0432\u043e \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u044c \u043f\u0440\u0438 \u043f\u043e\u0442\u0435\u0440\u0435 \u043f\u0438\u0442\u0430\u043d\u0438\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043a\u044d\u0448 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u00ab\u044d\u043d\u0435\u0440\u0433\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u00bb\u00a0\u2014 \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c SSD \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b fsync, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u043a\u044d\u0448\u0430 \u0432 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043e\u0435\u0434\u0443\u0442 \u0434\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.</p> <p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c\u00a0IOPS-\u044b \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b IOPS-\u0430\u043c \u043d\u0435\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0439.</p> <p>\u041a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f\u0445 SSD-\u0448\u0435\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u00abenhanced/advanced power loss protection\u00bb. \u042d\u0442\u043e\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u00ab\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435\u00bb SSD, \u0434\u0430 \u0438 \u0442\u043e \u043d\u0435 \u0432\u0441\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Intel DC S3100 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0435\u0442, \u0430 \u0432 Intel DC S4600 \u0435\u0441\u0442\u044c.</p> <p>\u00a0\u042d\u0442\u043e \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u043e\u0442\u043b\u0438\u0447\u0438\u0435\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 SSD \u043e\u0442 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u044b\u0445. \u041e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u044b \u0440\u0435\u0434\u043a\u043e\u00a0\u2014 \u0430 \u0432\u043e\u0442 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0436\u0438\u0432\u0443\u0442 \u0421\u0423\u0411\u0414, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u043a\u0430\u043a \u0440\u0430\u0437 \u043d\u0443\u0436\u043d\u044b \u043f\u043e\u0437\u0430\u0440\u0435\u0437.</p> <p>\u0422\u043e \u0435\u0441\u0442\u044c, \u043f\u043e\u0434 Ceph \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u0430\u043a\u0443\u043f\u0430\u0442\u044c\u00a0\u0442\u043e\u043b\u044c\u043a\u043e\u00a0SSD \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c NVMe\u00a0\u2014 NVMe \u0431\u0435\u0437 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u043e\u0432 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c SATA \u0441 \u043e\u043d\u044b\u043c\u0438.</p> <p>\u0418 \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0\u2014 Intel Optane. \u042d\u0442\u043e \u0442\u043e\u0436\u0435 SSD, \u043d\u043e \u043e\u043d\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b \u043d\u0435 \u043d\u0430 Flash \u043f\u0430\u043c\u044f\u0442\u0438 (\u043d\u0435 NAND \u0438 \u043d\u0435 NOR), \u0430 \u043d\u0430 Phase-Change-Memory \u00ab3D XPoint\u00bb. \u041f\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0437\u0430\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f 550000 iops \u043f\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0438 \u0431\u043b\u043e\u043a\u043e\u0432, \u043a\u044d\u0448\u0435 \u0438 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u0445. \u041d\u043e \u0435\u0441\u043b\u0438 \u0434\u0430\u0436\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430 \u0438 \u0440\u0430\u0432\u043d\u0430 0.005\u043c\u0441 (\u043e\u043d\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0432\u043d\u0430), \u0442\u043e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 Ceph \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e 0.5-1\u043c\u0441, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0441 Ceph \u043e\u043f\u0442\u0430\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u0435\u0435, \u0447\u0435\u043c \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e\u00a0\u2014 \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 (1500$ \u0437\u0430 960 \u0433\u0431, 500$ \u0437\u0430 240 \u0433\u0431) \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_9","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>Bluestore vs Filestore</p> <p>\u0411\u043b\u044e\u0441\u0442\u043e\u0440\u00a0\u2014 \u00ab\u043d\u043e\u0432\u043e\u0435\u00bb \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u041e\u0442 \u00ab\u043d\u043e\u0432\u043e\u0433\u043e\u00bb \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u0448\u044c \u043b\u0443\u0447\u0448\u0435\u0439 \u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043d\u0435 \u0445\u0443\u0434\u0448\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445. \u041e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e, \u0443\u0432\u044b, \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430\u043a.</p> <p>\u0427\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0432 Bluestore?</p> <ul> <li>\u041b\u0438\u043a\u0432\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u0432\u043e\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438. \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432 \u0447\u0435\u0441\u0442\u043d\u044b\u0445 2 \u0440\u0430\u0437\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432 \u043b\u044e\u0431\u044b\u0445 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445.</li> <li>\u041e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0434\u043b\u044f HDD (\u0438, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e, \u0434\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u0438\u0445 SSD). iops \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 HDD-only \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445 \u043f\u043e\u0447\u0442\u0438 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 Filestore. \u041f\u0440\u0430\u0432\u0434\u0430, \u0440\u0435\u0447\u044c \u043e\u0431 iops \u043d\u0430 HDD \u043d\u0435 \u0438\u0434\u0451\u0442 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430\u00a0\u2014 33 \u0438\u043b\u0438 66 iops \u043d\u0430 1 HDD.</li> <li>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f EC \u043f\u043e\u0434 CephFS \u0438 RBD \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 EC-\u043f\u0443\u043b\u0430\u0445.</li> <li> <p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b (\u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u00ab\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043b\u043e\u043d\u0430\u043c\u00bb): \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430 iops \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043f\u0430\u0434\u0430\u044e\u0442, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Filestore, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d\u0438 \u043f\u0430\u0434\u0430\u044e\u0442 \u0434\u043e \u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0442\u0435\u043d \u0434\u0430\u0436\u0435 \u043d\u0430 NVMe, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u0436\u0435 4 \u041a\u0411 \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430 \u0432 Filestore \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u044b\u0439 4 \u041c\u0411 \u043e\u0431\u044a\u0435\u043a\u0442.</p> <p>\u00a0\u0423\u0432\u044b, \u044d\u0442\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u00a0rbd snapshot, \u043d\u043e \u043d\u0435 \u043a\u00a0rbd clone. \u041a\u043b\u043e\u043d\u044b \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b \u0432 Bluestore \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432 Filestore. \u0417\u0430\u043f\u0438\u0441\u044c 4 \u041a\u0411 \u0432 \u043a\u043b\u043e\u043d \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435 \u0432\u044b\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 4 \u041c\u0411.</p> </li> <li> <p>\u042d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e, \u043d\u043e \u0432 Bluestore \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0441\u0436\u0430\u0442\u0438\u044f \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0441\u0443\u043c\u043c \u0434\u0430\u043d\u043d\u044b\u0445.</p> </li> </ul> <p>\u0410 \u0447\u0442\u043e \u0445\u0443\u0436\u0435? \u0412 \u0446\u0435\u043b\u043e\u043c, \u043f\u0440\u0435\u0442\u0435\u043d\u0437\u0438\u0438 \u0441\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438:</p> <ul> <li> <p>\u0413\u043e\u0440\u0430\u0437\u0434\u043e \u0445\u0443\u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 SSD+HDD, SSD-\u0440\u0430\u0437\u0434\u0435\u043b \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0431\u0443\u0444\u0435\u0440 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438. Bluestore \u043d\u0435 \u043f\u0438\u0448\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0430\u043c HDD. \u0422\u043e \u0435\u0441\u0442\u044c, \u0441 SSD-\u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c \u0438 Filestore \u0431\u0443\u0434\u0435\u0442 1000\u20142000 \u0438\u043e\u043f\u0441 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0430 \u0441 Bluestore (\u0438 \u0431\u0435\u0437 bcache)\u00a0\u2014 200\u2014300. 1000\u20142000, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0443\u043f\u0430\u0434\u0451\u0442 \u0434\u043e 100 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043d\u0438\u0436\u0435, \u043a\u043e\u0433\u0434\u0430 \u0443 Filestore \u0437\u0430\u0431\u044c\u0451\u0442\u0441\u044f \u0436\u0443\u0440\u043d\u0430\u043b \u0438 \u0435\u0433\u043e \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c\u00a0\u2014 \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u00ab\u0431\u0443\u0444\u0435\u0440\u00bb \u0434\u043b\u044f \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0438\u043a\u043e\u0432 Filestore \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442. \u0410 Bluestore\u00a0\u2014 \u043d\u0435\u0442.</p> <p>\u0418 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 deferred_batch_ops \u0438 max_deferred_txc\u00a0\u2014 \u0437\u0430\u0434\u0430\u044e\u0442 \u0447\u0430\u0441\u0442\u044b\u0439 \u0441\u0431\u0440\u043e\u0441 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0438\u0441\u043a (\u0440\u0430\u0437 \u0432 64 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438). \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0435\u0449\u0451 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 Bluestore \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0444\u043e\u043d\u043e\u0432\u043e\u0439 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u00ab\u0436\u0443\u0440\u043d\u0430\u043b\u0430\u00bb (\u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438). \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u043e HDD-\u0448\u043d\u043e\u0439 \u0434\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 OSD. \u041d\u0443 \u0438 \u0441\u0430\u043c\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 RocksDB, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c \u0435\u0451 \u0440\u0430\u0437\u043c\u0435\u0440, \u043f\u043e \u0438\u0434\u0435\u0435, \u043d\u0435\u043f\u043e\u043b\u0435\u0437\u043d\u043e.</p> </li> <li> <p>\u0414\u043e 1.5-2 \u0440\u0430\u0437 \u0445\u0443\u0436\u0435 latency \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 SSD/NVMe (All-Flash), \u0438\u0431\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0437\u0430\u043f\u0438\u0441\u0438 \u0443 Bluestore \u0431\u043e\u043b\u044c\u0448\u0435.</p> </li> <li>\u0416\u043e\u0440 \u043f\u0430\u043c\u044f\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0435. \u0414\u0430, \u0443 Filestore \u043c\u043d\u043e\u0433\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u043b pagecache, \u043d\u043e Bluestore \u043c\u0435\u043d\u044c\u0448\u0435 2 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0435 \u0436\u0440\u0451\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0438\u043a\u043e\u0433\u0434\u0430. \u041f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u0442\u043e\u043c\u0443\u00a0\u2014 RocksDB (\u043e\u0434\u043d\u0438 \u0442\u043e\u043b\u044c\u043a\u043e memtable-\u044b \u0441 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u0441\u044a\u0435\u0434\u0430\u044e\u0442 1 \u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438) \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u044d\u0448 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (Bluestore \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pagecache).</li> <li>\u0424\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0447\u0442\u0435\u043d\u0438\u044f.</li> </ul> <p>\u0422\u0430\u043a\u0436\u0435 BlueStore \u0434\u0435\u043b\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e fsync-\u043e\u0432 (\u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0441\u043c\u0435\u0448\u043d\u043e\u00a0\u2014 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0437\u0430\u043f\u0438\u0441\u0438), \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u043d\u0435 \u0442\u0435\u0440\u043f\u0438\u0442 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u0445 SSD \u043f\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c. \u041d\u043e FileStore \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0445\u043e\u0436\u0435, \u0438 \u043a\u0430\u0440\u0434\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442.</p> <p>\u041a\u0430\u043a \u043f\u043e\u043b\u0435\u0447\u0438\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u043d\u0430 SSD+HDD?</p> <ul> <li>\u041b\u0438\u0431\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0430 (\u0438\u043b\u0438 \u0440\u044f\u0434\u043e\u043c \u0441 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c) \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 SSD bcache \u0434\u043b\u044f HDD.</li> <li>\u041b\u0438\u0431\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c HDD \u0441 SSD Cache, Media Cache \u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u043c (\u043f\u0435\u0440\u043c\u0430\u043d\u0435\u043d\u0442\u043d\u044b\u043c \u043a\u044d\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 \u043f\u043b\u0430\u0441\u0442\u0438\u043d\u0430\u0445). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u0442\u0430\u0440\u044b\u0445 \u0434\u0438\u0441\u043a\u0430\u0445 HGST \u044d\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0432\u043e\u043b\u0430\u0442\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u044d\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>hdparm -W 0 /dev/sdXX</code>. \u0412 \u043d\u043e\u0432\u044b\u0445, \u043f\u043e\u0445\u043e\u0436\u0435, \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f.</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#1-nvme","title":"\u0422\u0435\u0441\u0442 \u043d\u0430 1 NVMe","text":"<p>Threadripper 2920X, NVMe Intel P4500, localhost. 1 OSD \u0431\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438, 8 PG, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0443\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0438, 1 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 RBD \u043e\u0431\u0440\u0430\u0437 10 \u0413\u0431.</p> <p>\u0416\u0443\u0440\u043d\u0430\u043b Filestore 1 GB, \u0447\u0442\u043e\u0431\u044b \u0432 \u0442\u0435\u0441\u0442\u0430\u0445 \u0443\u0441\u043f\u0435\u0432\u0430\u043b \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c\u0441\u044f \u0441\u0431\u0440\u043e\u0441. Bluestore 4k\u00a0\u2014 \u044d\u0442\u043e min_alloc_size \u0438 prefer_deferred_size = 4096 (4k \u0437\u0430\u043f\u0438\u0441\u044c \u0438\u0434\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 redirect-write), Bluestore 16k\u00a0\u2014 16384 (4k \u0437\u0430\u043f\u0438\u0441\u044c \u0438\u0434\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 deferred).</p> Filestore Bluestore 16k Bluestore 4k bs=4M iodepth=16 rw=write 950 MB/s 1700 MB/s 1700 MB/s bs=4M iodepth=16 rw=read 1250 MB/s 1300 MB/s 1300 MB/s \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438 + drop_caches bs=4M iodepth=16 rw=read 1250 MB/s 450 MB/s 320 MB/s \u041f\u043e\u0441\u043b\u0435 33\u00a0% \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438 \u0431\u043b\u043e\u043a\u043e\u043c min_alloc_size bs=4k iodepth=1 rw=randwrite 3900 iops 3200 iops 2500 iops bs=4k iodepth=128 rw=randwrite 19100 iops 19500 iops 25500 iops bs=4k iodepth=1 rw=randwrite 180 iops 2800 iops 2500 iops \u0421\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f snapshot-\u0430 RBD bs=4k iodepth=128 rw=randwrite 180 iops 8800 iops 15600 iops \u0421\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f snapshot-\u0430 RBD bs=4k iodepth=1 rw=randread 3900 iops 4500 iops 4500 iops \u041f\u043e\u0441\u043b\u0435 drop_caches / \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 OSD bs=4k iodepth=1 rw=randread 6300 iops 4500 iops 4500 iops \u041f\u0440\u043e\u0433\u0440\u0435\u0442\u044b\u0439 \u043a\u044d\u0448 bs=4k iodepth=128 rw=randread 33000 iops 32000 iops 33000 iops RAM 270 MB 2 GB + Filestore \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c page cache CPU randwrite Q=128 600\u00a0% 550\u00a0%"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#blockdb","title":"\u041f\u0440\u043e \u0440\u0430\u0437\u043c\u0435\u0440 block.db","text":"<p>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435:\u00a0\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043e Ceph 14. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 Ceph 15, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u00aballocation hints\u00bb RocksDB, Bluestore \u0441\u0442\u0430\u043b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b block.db. \u0414\u043b\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0438\u00a0\u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u043c\u0438\u0442 5f72c376deb64562e5e88be2f22339135ac7372b, \u0442\u0430\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043e\u043f\u0446\u0438\u044e bluestore_volume_selection_policy.</p> <p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u0442\u043e\u0438\u0442 \u0447\u0438\u0442\u0430\u0442\u044c, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0432\u0441\u0451 \u0435\u0449\u0451 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u043e spillover-\u0430\u043c\u0438.</p> <p>\u0421\u043f\u0438\u043b\u043b\u043e\u0432\u0435\u0440\u00a0\u2014 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 Bluestore \u043d\u0430 SSD+HDD, \u0432\u044b\u0434\u0435\u043b\u0438\u0432 SSD \u043f\u043e\u0434 \u0431\u0430\u0437\u0443 (block.db), \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u0431\u0430\u0437\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0443\u0442\u0435\u043a\u0430\u0435\u0442 \u043d\u0430 HDD. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d\u0430, \u0432\u0440\u043e\u0434\u0435 \u0431\u044b, \u0434\u0430\u0436\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 SSD \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c\u00a0\u2014 \u043d\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0443\u0442\u0435\u043a\u0430\u0435\u0442. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 Ceph 14 Nautilus \u043e \u0441\u043f\u0438\u043b\u043b\u043e\u0432\u0435\u0440\u0430\u0445 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u0435\u0442\u00a0ceph -s.</p> <p>\u041a\u043e\u0433\u0434\u0430 \u0441\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043f\u0438\u043b\u043b\u043e\u0432\u0435\u0440 \u0432 SSD+HDD \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445, \u0440\u0430\u0431\u043e\u0442\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442\u0441\u044f\u00a0\u2014 \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0438\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 RocksDB \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u043a\u043e\u0433\u0434\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e, \u043e\u043d\u0438 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0432 \u043a\u044d\u0448 OSD\u00a0\u2014 \u043b\u0438\u0431\u043e onode cache, \u043b\u0438\u0431\u043e rocksdb cache, \u043b\u0438\u0431\u043e, \u0435\u0441\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e bluefs buffered io\u00a0\u2014 \u0442\u043e \u0435\u0449\u0451 \u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 page cache. \u0415\u0441\u043b\u0438 \u043a\u044d\u0448-\u043f\u0440\u043e\u043c\u0430\u0445\u043e\u0432 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0438\u043b\u0438 \u0435\u0441\u043b\u0438 OSD \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 compaction RocksDB, \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0436\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f slow ops-\u044b.</p> <p>\u0422\u0430\u043a \u0432 \u0447\u0451\u043c \u0436\u0435 \u0434\u0435\u043b\u043e \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u044c? \u0410 \u0434\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0434\u043b\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 \u0411\u0414 (RocksDB \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0432 \u0432\u0438\u0434\u0435 \u043d\u0430\u0431\u043e\u0440\u0430 \u0444\u0430\u0439\u043b\u043e\u0432) \u00ab\u0435\u0441\u0442\u044c \u043d\u044e\u0430\u043d\u0441\u00bb, \u0442\u043e\u0447\u043d\u0435\u0435, \u0434\u0430\u0436\u0435 \u0434\u0432\u0430.</p> <p>\u041d\u044e\u0430\u043d\u0441 \u2116 1:\u00a0RocksDB \u043a\u043b\u0430\u0434\u0451\u0442 \u0444\u0430\u0439\u043b \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0434\u0438\u0441\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0433\u0434\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u0434\u0438\u0441\u043a\u0435 \u0445\u0432\u0430\u0442\u0438\u0442 \u043c\u0435\u0441\u0442\u0430 \u043f\u043e\u0434 \u0432\u0441\u0435 \u0444\u0430\u0439\u043b\u044b \u044d\u0442\u043e\u0433\u043e \u0436\u0435 \u0443\u0440\u043e\u0432\u043d\u044f (\u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0435\u0449\u0451 \u043d\u0435 \u0432 \u043a\u0443\u0440\u0441\u0435\u00a0\u2014 RocksDB \u044d\u0442\u043e\u00a0LSM \u0431\u0430\u0437\u0430).</p> <p>\u0414\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0446\u0435\u0444\u0430:</p> <ul> <li>1 \u0413\u0431 WAL = 4x256 \u041c\u0431</li> <li>max_bytes_for_level_base \u0438 max_bytes_for_level_multiplier \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0432\u043d\u044b 256 \u041c\u0431 \u0438 10 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e</li> <li>\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, L1 = 256 \u041c\u0431</li> <li>L2 = 2560 \u041c\u0431</li> <li>L3 = 25600 \u041c\u0431 \u0438\u00a0\u0442.\u00a0\u0434.</li> </ul> <p>\u2026\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e!</p> <p>Rocksdb \u043f\u043e\u043b\u043e\u0436\u0438\u0442 L2 \u043d\u0430 block.db, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0445\u043e\u0442\u044f \u0431\u044b 2560+256+1000 \u041c\u0431\u00a0\u2014 \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u043c \u0432\u0432\u0435\u0440\u0445 \u0434\u043e\u00a04 \u0413\u0411. \u0410 L3 \u043e\u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442 \u043d\u0430 block.db, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 block.db \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0445\u043e\u0442\u044f \u0431\u044b 25600+2560+256+1000 \u041c\u0411 = \u043e\u043a\u043e\u043b\u043e\u00a030 \u0413\u0411. \u0410 L4, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0435\u0449\u0451 +256 \u0413\u0411, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u00a0286 \u0413\u0411.</p> <p>\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0438\u043c\u0435\u044e\u0442 \u0441\u043c\u044b\u0441\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0430 block.db 4 \u0413\u0411, 30 \u0413\u0411, 286 \u0413\u0411. \u0412\u0441\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u00a0\u2014 \u043c\u0435\u0441\u0442\u043e \u0441\u0432\u0435\u0440\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u043d\u0438\u0447\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0431\u0443\u0434\u0435\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0411\u0414 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 10 \u0413\u0411, \u0430 \u0440\u0430\u0437\u0434\u0435\u043b SSD\u00a0\u2014 20 \u0413\u0411, \u0442\u043e \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0430 SSD \u043b\u044f\u0436\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e WAL (1 \u0413\u0411), L1 \u0438 L2 (256 \u041c\u0411 + 2.56 \u0413\u0411). L3, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0431\u041e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0431\u0430\u0437\u044b, \u0443\u0435\u0434\u0435\u0442 \u043d\u0430 HDD \u0438 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443.</p> <p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c 4 \u0413\u0411\u00a0\u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e, 286 \u0413\u0411\u00a0\u2014 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e. \u0422\u0430\u043a \u0447\u0442\u043e, \u043f\u043e \u0441\u0443\u0442\u0438, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c block.db \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 30 \u0413\u0411 \u0434\u043b\u044f OSD \u043b\u044e\u0431\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0415\u0449\u0451 \u0440\u0430\u0437 \u043f\u043e\u0432\u0442\u043e\u0440\u044e\u0441\u044c: \u044d\u0442\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043e Ceph 14, \u0441 Ceph 15 \u0443\u0436\u0435 \u043d\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e.</p> <p>\u041a\u0441\u0442\u0430\u0442\u0438, \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u00a0\u2014 \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u043e\u0434 block.db \u0442\u043e \u043b\u0438 2\u00a0%, \u0442\u043e \u043b\u0438 4\u00a0% \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0442\u0441\u0442\u043e\u0439.</p> <p>\u041d\u043e \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u044b \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430? \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 80 \u0413\u0411, \u0438 \u0432\u044b \u043f\u043e \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u0435\u043b\u0430\u0442\u044c bcache, \u043d\u043e \u0445\u043e\u0442\u0438\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 80 \u0413\u0411 \u043f\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0443. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0443\u0440\u043e\u0432\u043d\u044f RocksDB (max_bytes_for_level_base). multiplier \u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c, \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 10\u00a0\u2014 \u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0440\u043e\u0432\u043d\u0435\u0439 RocksDB, \u0430 \u044d\u0442\u043e \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u043d\u043a\u0430\u044f \u043c\u0430\u0442\u0435\u0440\u0438\u044f. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 read \u0438 space amplification, \u043d\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 compaction \u0438 \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 write amplification. \u0422\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0442\u0435\u043c\u0430 \u0441 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 memtable \u0438 \u043a\u0440\u0430\u0442\u043d\u044b\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0431\u0449\u0435\u0433\u043e \u0438\u0445 \u0447\u0438\u0441\u043b\u0430, \u0442\u043e \u0435\u0441\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 3232 \u041c\u0411 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0445 4256 \u041c\u0411 \u0438 min_write_buffer_to_merge=8, \u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0442\u043e\u0436\u0435 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0435\u043d (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u0441\u044f CPU \u043f\u0440\u0438 compaction-\u0435), \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043f\u043e\u043a\u0430 \u043b\u0443\u0447\u0448\u0435 \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u0442\u044c.</p> <p>\u0422\u0430\u043a \u043a\u0430\u043a \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0432 10 \u0440\u0430\u0437, \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0411\u0414 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0440\u0430\u0432\u0435\u043d k*X, \u0433\u0434\u0435 k\u00a0\u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438\u0437 \u0440\u044f\u0434\u0430: 1, 11, 111, 1111 \u0438\u00a0\u0442.\u00a0\u043f. (\u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 RocksDB). \u0417\u043d\u0430\u0447\u0438\u0442, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u0437\u044f\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u043d\u0430\u0448\u0435\u0433\u043e block.db, \u0432\u044b\u0447\u0435\u0441\u0442\u044c \u0438\u0437 \u043d\u0435\u0433\u043e 1 \u0413\u0411 WAL (\u043b\u0443\u0447\u0448\u0435 \u0434\u0430\u0436\u0435 \u0432\u044b\u0447\u0435\u0441\u0442\u044c \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c 2 \u0413\u0411) \u0438 \u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 \u0446\u0438\u0444\u0440 \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a 256 \u041c\u0411 \u2026 1 \u0413\u0411. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u0442\u044c \u0432\u043d\u0438\u0437, \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0437\u0430 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0443\u0440\u043e\u0432\u043d\u044f RocksDB \u0438 \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u043a\u043e\u043d\u0444\u0438\u0433 \u043a\u0430\u043a max_bytes_for_level_base. \u0411\u0430\u0437\u0430 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u0442\u0441\u044f \u043f\u043e 256 \u041c\u0411 \u0437\u0430 \u0440\u0430\u0437, \u0442\u0430\u043a \u0447\u0442\u043e \u043c\u0435\u043d\u044c\u0448\u0435 256 \u041c\u0411 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f 80 \u0413\u0411 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 719 \u041c\u0411, \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0441\u0451 \u0432 \u0434\u0432\u043e\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0430\u0445\u00a0\u2014 MiB. \u041e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e (bluestore_rocksdb_options = \u2026,max_bytes_for_level_base=719MB), \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c OSD \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0443\u0447\u043d\u043e\u0439 compaction (\u043c\u043e\u0436\u043d\u043e \u0434\u0432\u0430\u0436\u0434\u044b).</p> <p>\u041d\u044e\u0430\u043d\u0441 \u2116 2:\u00a0\u041f\u0440\u0438 \u0440\u0443\u0447\u043d\u043e\u043c compaction-\u0435 RocksDB \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0443\u0440\u043e\u0432\u043d\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0415\u0441\u043b\u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 SSD \u043d\u0435\u0442 \u0437\u0430\u043f\u0430\u0441\u0430 \u043c\u0435\u0441\u0442\u0430 \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u044d\u0442\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u0442\u043e \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438, \u0443\u0442\u0435\u0447\u0451\u0442 \u043d\u0430 HDD \u0438 \u0442\u0430\u043a \u0442\u0430\u043c \u0438 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f, \u0438\u0431\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435 compaction-\u0430 \u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043e\u043d\u0430 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c compaction \u0435\u0449\u0451 \u0440\u0430\u0437, \u0442\u043e \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043d\u0430 SSD (\u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0448\u0435 \u0434\u0430\u043d\u0430 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0443\u0447\u043d\u043e\u0439 compaction \u0434\u0432\u0430\u0436\u0434\u044b). \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u043c \u0438\u0437 \u0447\u0430\u0442\u0430 \u044f\u043a\u043e\u0431\u044b \u0431\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e \u043e\u0434\u0438\u043d-\u0434\u0432\u0430 \u0444\u0430\u0439\u043b\u0430 *.sst \u043d\u0430 SSD \u043d\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c \u043d\u0430 100\u00a0%, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 SSD-\u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0435\u0449\u0451 \u0438 \u0437\u0430\u043f\u0430\u0441 \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e + \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0411\u0414. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0432\u043c\u0435\u0441\u0442\u043e 1-11-111-1111 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432 2-22-212-2112 \u0438\u00a0\u0442.\u00a0\u043f.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_10","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>RGW vs Minio</p> <p>\u0412\u043e\u043f\u0440\u043e\u0441 \u0447\u0430\u0441\u0442\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a Ceph \u0438 Minio\u00a0\u2014 \u0434\u0432\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 S3.</p> <p>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u0434\u0430, \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0447\u0435\u0441\u0442\u043d\u043e\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 Minio \u00ab\u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u00bb \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0441\u0445\u0435\u043c \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0442. \u0415\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e erasure \u043a\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u0434\u0438\u0441\u043a\u043e\u0432, \u043a\u0440\u0430\u0442\u043d\u044b\u043c\u0438 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 4 \u0438\u043b\u0438 16 \u0434\u0438\u0441\u043a\u0430\u043c. \u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0432 Minio \u0440\u0430\u043d\u044c\u0448\u0435 \u043d\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u043e\u0431\u0449\u0435, \u043f\u043e\u0442\u043e\u043c \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0447\u0435\u0440\u0435\u0437 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u043e\u043d.</p> <p>\u0422\u0430\u043a\u0438\u0445 \u0436\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439 \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043a\u0430\u043a \u0432 Ceph, \u0432 Minio \u0442\u043e\u0436\u0435 \u043d\u0435\u0442. Minio \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0432\u0435\u0440\u0445 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0424\u0421, \u0434\u0430\u0436\u0435 \u043d\u0435 \u0434\u0435\u043b\u0430\u044f fsync \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 ext4, \u043f\u0440\u0430\u0432\u0434\u0430, \u0434\u0435\u043b\u0430\u0435\u0442 sync \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0437 \u0432 5 \u0441\u0435\u043a\u0443\u043d\u0434, \u0434\u0430 \u0438 Minio \u043f\u0438\u0448\u0435\u0442 \u0441 O_DIRECT, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0441\u0451 \u043f\u043b\u043e\u0445\u043e\u00a0\u2014 \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b.</p> <p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u043d\u044b\u0439 \u043f\u0435\u0440\u043b \u0431\u044b\u043b \u0432 \u0431\u0430\u0433\u0435\u00a0https://github.com/minio/minio/issues/3478:</p> <p>Minio in this case is working as intended, minio cannot be expanded or shrinkable in this manner. Minio is different by design. It is designed to solve all the needs of a single tenant. Spinning minio per tenant is the job of external orchestration layer. Any addition and removal means one has to rebalance the nodes. When Minio does it internally, it behaves like blackbox. It also adds significant complexity to Minio. Minio is designed to be deployed once and forgotten. We dont even want users to be replacing failed drives and nodes. Erasure code has enough redundancy built it. By the time half the nodes or drives are gone, it is time to refresh all the hardware. If the user still requires rebalancing, one can always start a new minio server on the same system on a different port and simply migrate the data over. It is essentially what minio would do internally. Doing it externally means more control and visibility. Minio is meant to be deployed in static units per tenant.</p> <p>\u041a\u043e\u0440\u043e\u0447\u0435, \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043d\u0430\u0434\u043e, \u0432 \u043c\u0438\u043d\u0438\u043e \u043d\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0431\u0443\u0434\u0443\u0442 \u043b\u043e\u043c\u0430\u0442\u044c\u0441\u044f \u0434\u0438\u0441\u043a\u0438\u00a0\u2014 \u043d\u0435 \u043c\u0435\u043d\u044f\u0439\u0442\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0436\u0434\u0438\u0442\u0435\u0441\u044c, \u043f\u043e\u043a\u0430 \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0432\u044b\u0439\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438 \u043f\u0435\u0440\u0435\u0441\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432\u0441\u0451 \u043d\u0435 \u0442\u0430\u043a \u043f\u0435\u0447\u0430\u043b\u044c\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0438\u0441\u043a \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c heal, \u043d\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0431\u0435\u0437 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e \u0432 Ceph\u00a0\u2014 \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435. \u0415\u0441\u043b\u0438 \u0434\u0438\u0441\u043a\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u043e.</p> <p>\u0415\u0449\u0451 Minio \u0445\u0440\u0430\u043d\u0438\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432 \u0432\u0438\u0434\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, \u0434\u0430\u0436\u0435 \u043d\u0435 \u0448\u0430\u0440\u0434\u0438\u0440\u0443\u044f \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0438 (\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0431\u0430\u043a\u0435\u0442\u0430\u043c) \u043f\u043e \u043f\u043e\u0434\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430\u043c, \u043f\u043b\u044e\u0441 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u0435\u0449\u0451 \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0441 \u043f\u0430\u0440\u043e\u0439 \u0444\u0430\u0439\u043b\u043e\u0432 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0443 \u0430 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0432 \u0424\u0421 \u043f\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0443 \u0444\u0430\u0439\u043b\u043e\u0432\u00a0\u2014 \u044d\u0442\u043e, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435 \u043d\u0438\u0436\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0425\u043e\u0442\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u0434\u0430\u0447\u0438 \u043e\u043d\u043e, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0432\u0441\u044f\u043a\u0438\u043c dir_index-\u0430\u043c, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.</p> <p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0442\u0435\u0441\u0442 Ceph (bluestore) vs Minio (ext4) \u043d\u0430 1 HDD. \u0414\u0430, \u044f \u0437\u043d\u0430\u044e, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0443\u043f\u043e \u0438 \u043d\u0443\u0436\u043d\u043e \u0435\u0449\u0451 \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u043e\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u0445 \u043d\u0430 SSD. \u041d\u043e \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b. \u0414\u0430 \u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0447\u0430\u0449\u0435 \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0435/\u043f\u0440\u043e\u0445\u043b\u0430\u0434\u043d\u043e\u0435 \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430 HDD, \u0430 \u043d\u0435 \u043d\u0430 SSD.</p> <p>\u0422\u0435\u0441\u0442 \u0434\u0435\u043b\u0430\u043b\u0441\u044f \u0447\u0435\u0440\u0435\u0437\u00a0hsbench. \u0417\u0430\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u0432 \u0437\u0430\u043b\u0438\u0432\u043a\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1.1 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 1 \u0431\u0430\u043a\u0435\u0442, \u043f\u043e\u0442\u043e\u043c \u0441\u0431\u0440\u043e\u0441\u0430 \u043a\u044d\u0448\u0435\u0439 \u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430 Ceph/Minio, \u0438 \u043f\u043e\u0442\u043e\u043c\u00a0\u2014 \u0438\u0445 \u0440\u0430\u0437\u0434\u0430\u0447\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u043e\u0432. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:</p> <ul> <li>\u0417\u0430\u043b\u0438\u0432\u043a\u0430 \u0432 32 \u043f\u043e\u0442\u043e\u043a\u0430: Minio\u00a0\u2014 305 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, RGW\u00a0\u2014 135 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. RGW indexless\u00a0\u2014 288 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443.</li> <li>\u0420\u0430\u0437\u0434\u0430\u0447\u0430 \u0432 32 \u043f\u043e\u0442\u043e\u043a\u0430: Minio\u00a0\u2014 45 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, RGW\u00a0\u2014 78 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443</li> <li>\u041b\u0438\u0441\u0442\u0438\u043d\u0433\u0438 \u0432 32 \u043f\u043e\u0442\u043e\u043a\u0430: Minio\u00a0\u2014 \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u0440\u043e\u0441\u0430 \u043a\u044d\u0448\u0430 35 \u0441\u0435\u043a, \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430\u00a0\u2014 2.9 \u0441\u0435\u043a \u0441 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u043e\u043c \u043e\u0442 0.5 \u0434\u043e 16 \u0441\u0435\u043a. RGW\u00a0\u2014 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u00a0\u2014 0.4 \u0441\u0435\u043a</li> </ul> <p>\u0414\u0430, \u0437\u0430\u043b\u0438\u0432\u043a\u0430 \u0432 Minio \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041d\u043e, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043b\u0438\u0432\u043a\u0438\u00a0\u2014 \u044d\u0442\u043e \u0446\u0435\u043d\u0430, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043a\u043e\u043d\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 (fsync), \u0430 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, bucket index-\u0430 \u0438 bucket index log-\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 RGW, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0435\u043b\u0430\u0442\u044c \u0433\u0435\u043e\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044e (multisite), \u0447\u0435\u0433\u043e \u0432 Minio \u043d\u0435\u0442.</p> <p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0432 RGW \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 SSD (\u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0435 \u0438 \u0434\u0435\u043b\u0430\u044e\u0442), \u0430 \u0435\u0441\u043b\u0438 \u0436\u0435 \u0432\u0430\u043c \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0438, \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u0447\u0435\u0435, \u0432 Ceph \u0431\u0430\u043a\u0435\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0431\u0435\u0437\u0438\u043d\u0434\u0435\u043a\u0441\u043d\u044b\u043c\u0438 (indexless), \u0438 \u0442\u043e\u0433\u0434\u0430 \u043e\u0432\u0435\u0440\u0445\u0435\u0434 bucket index-\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442, \u043a\u0430\u043a \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0435\u0433\u043e \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_11","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0421\u043d\u0430\u043f\u0448\u043e\u0442\u044b</p> <p>\u0412 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432 \u0432 Ceph \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u044b\u0439 \u0432\u043e\u0440\u043e\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0438\u0437-\u0437\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u0431\u0430\u0440\u0434\u0430\u043a\u0430:</p> <ul> <li>\u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 RADOS \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b \u0441\u0432\u043e\u0438 \u0438 \u0438\u0445 \u0443\u0436\u0435 2 \u0432\u0438\u0434\u0430: \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b \u043f\u0443\u043b\u043e\u0432 \u0438 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.</li> <li>\u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 RBD \u0442\u043e\u0436\u0435 \u0441\u0432\u043e\u0438 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b, \u043f\u0440\u0438\u0447\u0451\u043c \u043e\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 RADOS-\u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432, \u0445\u043e\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0438 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445. RBD \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b, \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043d\u0435 \u044e\u0437\u0430\u0431\u0435\u043b\u044c\u043d\u044b \u043d\u0438 \u0434\u043b\u044f \u0447\u0435\u0433\u043e, \u043a\u0440\u043e\u043c\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043d\u044f\u0442\u0438\u044f \u0431\u044d\u043a\u0430\u043f\u043e\u0432, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0442\u0443\u0442 \u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430. \u041e\u0442\u043a\u0430\u0442 \u043a RBD \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430\u043c \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0436\u0430\u0441\u043d\u043e, \u0430 \u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00a0\u2014 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0433\u043e \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u043e\u0431\u0440\u0430\u0437\u0430,\u00a0\u0434\u0430\u0436\u0435 \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0440\u0438 \u043e\u0442\u043a\u0430\u0442\u0435 \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432 \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u0435\u0442\u0441\u044f. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043a\u043e\u043b \u0441 \u0436\u043e\u0440\u043e\u043c \u043c\u0435\u0441\u0442\u0430\u00a0\u2014 \u0441\u043c. \u043d\u0430 2 \u043f\u0443\u043d\u043a\u0442\u0430 \u043d\u0438\u0436\u0435.</li> <li>\u0412 Bluestore \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u00a0\u2014 \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442\u0441\u044f, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Filestore, \u0433\u0434\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432 \u0441\u0445\u043e\u0436 \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c LVM \u0438 \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u0436\u0435 4 \u041a\u0411 \u043f\u043e\u0441\u043b\u0435 \u0441\u043d\u044f\u0442\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 4 \u041c\u0411 \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c.</li> <li>\u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0442\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432\u00a0\u2014 \u00ab\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u043e\u043d\u044b\u00bb\u00a0\u2014 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 Bluestore, \u043d\u0438 \u043a\u043b\u0438\u0435\u043d\u0442, \u043d\u0438 OSD \u043e \u043d\u0435\u0439 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u044e\u0442 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430\u2026 \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0435. \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u043e \u0442\u0430\u043a: \u0442\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0448\u044c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0434\u0438\u0441\u043a, \u043e\u043d \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f, \u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f. \u041f\u043e\u0447\u0435\u043c\u0443? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e, \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438, Bluestore \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u00ab\u043a\u043b\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c 4 \u041c\u0411 \u043e\u0431\u044a\u0435\u043a\u0442 \u0432 \u043d\u043e\u0432\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e\u00bb \u0438 \u0441\u0434\u0435\u043b\u0430\u043b \u044d\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f, \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u043a\u043e\u043f\u0438\u0440\u0443\u044f \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0430\u043b 4 \u041a\u0411. \u0410 \u043f\u0440\u0438 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0435 \u044d\u0442\u0430 \u0441\u0432\u044f\u0437\u044c \u043f\u043e\u0440\u0432\u0430\u043b\u0430\u0441\u044c \u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u0442\u0430\u043b \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u0432\u0441\u0435 4 \u041c\u0411\u2026 Fail.</li> <li>\u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 RBD \u0435\u0441\u0442\u044c \u043a\u043b\u043e\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0431\u043e\u043b\u0435\u0435 \u044e\u0437\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u00a0\u2014 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043e\u043d\u0438 \u0447\u0435\u0440\u0435\u0437 \u0441\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043e\u0431\u0440\u0430\u0437, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u0442\u043a\u0430\u0442 \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u00ab\u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0443\u00bb \u0431\u044b\u0441\u0442\u0440\u044b\u0439\u00a0\u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u043a\u043b\u043e\u043d. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0434\u043b\u044f \u043a\u043b\u043e\u043d\u043e\u0432 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u0431\u043b\u044e\u0441\u0442\u043e\u0440\u043e\u0432\u0441\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u043a\u043e\u043f\u0438\u0440\u0443\u044e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438\u2026 \u0447\u0442\u043e \u0432\u044b\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 40 \u0438\u043e\u043f\u0441 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c (QD=1) \u0432 \u0441\u0432\u0435\u0436\u0438\u0439 \u043a\u043b\u043e\u043d \u0434\u0430\u0436\u0435 \u0432 NVMe \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.</li> <li>\u0412 CephFS \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432, \u0438 \u0442\u0430\u043c \u043e\u0442\u043a\u0430\u0442\u0430 \u043d\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435.</li> </ul> <p>\u0412 \u043e\u0431\u0449\u0435\u043c, \u043d\u0430\u0433\u043e\u0432\u043d\u043e\u043a\u043e\u0434\u0438\u043b\u0438\u00a0\u2014 \u043c\u0430\u043c\u0430 \u043d\u0435 \u0433\u043e\u0440\u044e\u0439\u2026</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_12","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>EC</p> <p>EC \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 iops-\u044b, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0446\u0438\u043a\u043b Read-Modify-Write.\u00a0#RAID WRITE HOLE\u00a0\u0432 \u0446\u0435\u0444\u0435 \u0437\u0430\u043a\u0440\u044b\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u0441\u0435 OSD \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0435\u043b\u0430\u044e\u0442 \u0432\u0442\u043e\u0440\u044b\u0435 \u043a\u043e\u043f\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u043f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435, \u0447\u0435\u0440\u0435\u0437 \u0442\u043e\u0442 \u0436\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c virtual clone bluestore), \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0434\u0430\u043b\u044f\u044e\u0442 \u0441\u0442\u0430\u0440\u044b\u0435.</p> <p>\u0412 \u043c\u043e\u0451\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0430 NVMe-\u0448\u043a\u0430\u0445\u00a0\u2014 write iops \u0441 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0435\u0439 Q=1 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1500, \u0430 \u0441 EC\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 500. Q=128\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 25000 \u0441 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0435\u0439 \u0438 10000 \u0441 EC.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_13","title":"\u041f\u0440\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 \u0434\u0430\u043d\u043d\u044b\u0445","text":"<p>\u0421\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043c\u043e\u0439 \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435:\u00a0https://yourcmc.ru/afr-calc/</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_14","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u044b</p> <ul> <li>SATA\u00a0\u2014 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, SAS \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \u00ab\u0441\u043e\u0432\u0441\u0435\u043c\u00bb. SATA \u0437\u0430 \u0441\u0447\u0451\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u00ab\u043d\u0435 \u0443\u043c\u043d\u0438\u0447\u0430\u0435\u0442\u00bb, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u0438 \u0442\u043e\u0447\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0441\u0442\u0430\u0440\u044b\u0435 RAID \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u044b.</li> <li>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 IOPS \u043c\u0435\u0436\u0434\u0443 RAID \u0438 HBA/SATA \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u043e\u043b\u043e\u0441\u0441\u0430\u043b\u044c\u043d\u0430. \u0412 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e RAID \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 \u043b\u0435\u0433\u043a\u043e \u0443\u043f\u0435\u0440\u0435\u0442\u044c\u0441\u044f. \u041f\u043b\u043e\u0445\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430 1 \u0434\u0438\u0441\u043a \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 48000 iops \u0432\u043c\u0435\u0441\u0442\u043e 60000, \u0445\u0443\u0436\u0435 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 8 \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 6000 iops \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0438\u0441\u043a \u0432\u043c\u0435\u0441\u0442\u043e 60000, \u0442\u0430\u043a \u043a\u0430\u043a 48000 \u043f\u043e\u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u0445. \u0422\u0430\u043a\u0436\u0435 \u0432 RAID \u0440\u0435\u0436\u0438\u043c\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 1 \u043f\u043e\u0442\u043e\u043a.</li> <li>\u0422\u0430\u043a \u0447\u0442\u043e \u0441\u0432\u043e\u0439 RAID \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0442\u0435 \u0432 \u0440\u0435\u0436\u0438\u043c passthrough (\u0435\u0441\u043b\u0438 \u043e\u043d \u0443\u043c\u0435\u0435\u0442), \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0448\u0435\u0439\u0442\u0435, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043b, \u043b\u0438\u0431\u043e \u0432\u044b\u043a\u0438\u043d\u044c\u0442\u0435 \u0432 \u043f\u043e\u043c\u043e\u0439\u043a\u0443 \u0438 \u043a\u0443\u043f\u0438\u0442\u0435 HBA (\u00abRAID \u0431\u0435\u0437 RAID-\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430\u00bb, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, LSI 9300-8i). \u042d\u0442\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u0438\u0434\u043e\u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u043e\u043a\u00a0\u2014 Ceph, ZFS \u0438\u00a0\u0442.\u00a0\u043f.</li> <li>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0432\u044b\u043a\u0438\u043d\u0443\u043b\u0438 RAID\u00a0\u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 \u0432\u0441\u0435 \u043a\u044d\u0448\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u043b\u043e\u0439\u043a\u0438 \u0438 \u043d\u0435 \u0441\u0442\u0440\u0430\u0434\u0430\u0442\u044c \u043f\u0440\u0438 \u0440\u0430\u0437\u0440\u044f\u0434\u0435 \u0431\u0430\u0442\u0430\u0440\u0435\u0439\u043a\u0438 / \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0438 \u0434\u0438\u0441\u043a\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0435\u0440\u0432\u0435\u0440... \u0438 \u043c\u043e\u043b\u0438\u0442\u0435\u0441\u044c\u00a0:). \u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0436\u0438\u0442\u044c \u0438 \u0441 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c \u043a\u044d\u0448\u0435\u043c, \u043d\u043e \u044d\u0442\u043e \u0441\u0442\u0440\u0435\u043b\u044c\u0431\u0430 \u0441\u0435\u0431\u0435 \u0432 \u043d\u043e\u0433\u0443.</li> <li>\u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 HBA\u00a0\u2014 \u0438\u043c\u0435\u0439\u0442\u0435 \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 HBA (\u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, Adaptec) \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0441\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043a\u044d\u0448 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0438 \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0430\u043c Cloudmouse \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f. \u041d\u043e \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435 \u0442\u043e\u0447\u043d\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e LSI \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.</li> <li>\u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u043e\u0441\u0442 \u043f\u0440\u043e RAID-\u043a\u044d\u0448\u0438 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0438:\u00a0http://lists.ceph.com/pipermail/ceph-users-ceph.com/2019-July/036237.html\u00a0- \u0435\u0441\u043b\u0438 \u0432\u043a\u0440\u0430\u0442\u0446\u0435 - \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u0430\u0434\u043c\u0438\u043d\u0438\u0432\u0448\u0438\u0439 6000 OSD, \u043f\u0438\u0448\u0435\u0442, \u0447\u0442\u043e \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0441\u0432\u044f\u0436\u0435\u0442\u0441\u044f \u0441 RAID0-\u0440\u0435\u0436\u0438\u043c\u0430\u043c\u0438.</li> <li>\u0423 HBA \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b IOPS. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0443 LSI 9211-8i \u044d\u0442\u043e ~280000 iops \u043d\u0430 \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440.</li> <li>\u041f\u0440\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 SATA \u0438\u043b\u0438 HBA \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f\u00a0\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445\u00a0SATA \u0434\u0438\u0441\u043a\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c\u00a0hdparm -W 0 /dev/sdX, \u0434\u043b\u044f SAS\u00a0\u2014\u00a0sdparm --set WCE=0 /dev/sdX.</li> <li>\u0414\u043b\u044f SAS \u0438 NVMe \u0432\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 blk-mq (\u043d\u0443 \u0438\u043b\u0438 \u044e\u0437\u0430\u0439\u0442\u0435 \u0441\u0432\u0435\u0436\u0438\u0435 \u044f\u0434\u0440\u0430, \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 4.18 \u043e\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e). \u041d\u043e \u0434\u043b\u044f SATA blk-mq \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0438\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u0435\u043d.</li> <li>\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f Ceph OSD \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0440\u0435\u0434\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0435 10 (\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439\u00a0iostat -xmt 1).</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_15","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u044b</p> <ul> <li>\u041d\u0430 SSD Ceph \u041e\u0427\u0415\u041d\u042c \u0421\u0418\u041b\u042c\u041d\u041e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u00a0\u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 bottleneck.</li> <li>\u041a\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u041d\u0438\u043a\u0430 \u0424\u0438\u0441\u043a\u0430\u00a0\u2014 Ceph is a Software-Defined Storage\u00a0and every piece of Ceph \u00abSoftware\u00bb\u00a0will run faster with every GHz of CPU frequency.</li> <li>\u041a\u0440\u043e\u043c\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u044b, \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445 \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443\u0435\u0442 NUMA (Non-Uniform Memory Access). \u0422\u043e \u0435\u0441\u0442\u044c, \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0443 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0430 \u0447\u0430\u0441\u0442\u044c\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440.</li> <li>\u0414\u043b\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0439 \u0441 NUMA \u043b\u0443\u0447\u0448\u0435 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c, \u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u043c \u0441 \u0431\u041e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u044f\u0434\u0435\u0440 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0431\u041e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u044f\u0434\u0435\u0440\u2026</li> <li>\u2026\u043d\u043e \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0437\u0443\u043c\u043d\u043e\u0433\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u0436\u0435 \u043e\u0434\u0438\u043d OSD \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u043c SSD \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0432\u044b\u0436\u0440\u0430\u0442\u044c \u043d\u0430 100\u00a0% \u044f\u0434\u0435\u0440 6.</li> <li>\u041f\u043e\u0434 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u043e\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430, \u0430 \u043d\u0435 Turbo Boost, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u044b\u0439 \u0430\u043a\u0442\u0443\u0430\u043b\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u043a.</li> <li>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u043f\u043e \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0435 OSD \u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c CPU (taskset), \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043d\u0435\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b, \u0442\u0430\u043a \u043a\u0430\u043a Ceph OSD \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0435\u00a0\u2014 \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c 4 \u043f\u043e\u0442\u043e\u043a\u0430, \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0438\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u044f\u0434\u0440\u0430\u043c\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u0435\u0437\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.</li> <li>\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 OSD\u00a0\u2014 osd_op_num_shards \u0438 osd_op_num_threads_per_shard\u2026</li> <li>\u2026\u041d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0438\u0445 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e, \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e, \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (1x5 \u043d\u0430 HDD \u0438 2x8 \u043d\u0430 SSD) \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b. kv_sync_thread-\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d.</li> <li>\u0415\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u043c\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0440\u0430\u0437\u0430 \u0432 2-3: \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u043c:<ul> <li>cpupower idle-set -D 0\u00a0\u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 C-States (\u043b\u0438\u0431\u043e \u043e\u043f\u0446\u0438\u0438 \u044f\u0434\u0440\u0430 processor.max_cstate=1 intel_idle.max_cstate=0)</li> <li>cpupower frequency-set -g performance\u00a0\u0438\u043b\u0438 (\u0441\u0442\u0430\u0440\u043e\u0435)\u00a0for i in $(seq 0 $((<code>nproc</code>-1))); do cpufreq-set -c $i -g performance; done\u00a0\u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c</li> </ul> </li> <li>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0433\u0440\u0435\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u041f\u0415\u0427, \u043d\u043e iops-\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u0440\u0430\u0437\u0430 \u0432 2 (\u0430 \u0442\u043e \u0438 3)</li> <li>\u0422\u0430\u043a\u0436\u0435 \u0436\u043e\u0440 CPU\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u0438\u0447\u0438\u043d \u041d\u0415 \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 Ceph \u00ab\u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0431\u043b\u0430\u043a\u043e\u00bb (\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0432\u043c\u0435\u0449\u0435\u043d\u044b \u0443\u0437\u043b\u044b \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d)</li> <li>\u0415\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432\u0441\u0435 mitigation-\u044b \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u044b\u0445 \u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u0435\u0439: noibrs noibpb nopti nospectre_v2 nospectre_v1 l1tf=off nospec_store_bypass_disable no_stf_barrier</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_16","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0421\u0435\u0442\u044c</p> <ul> <li>\u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, 10 \u0413\u0431\u0438\u0442/\u0441 \u0438\u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435</li> <li>MTU 9000: ip l set enp3s0f0 mtu 9000</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043e\u0444\u0444\u043b\u043e\u0430\u0434\u044b: ethtool -K enp3s0f0 gro off gso off tso off lro off sg off</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439: ethtool -C enp3s0f0 rx-usecs 0</li> <li>\u0421\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 10G \u0441\u0432\u0438\u0442\u0447 \u0441 Ebay: Quanta LB6M / Brocade TurboIron 24X\u00a0\u2014 \u043d\u043e \u0433\u043e\u0432\u043d\u043e \u0441\u0442\u0430\u0440\u043e\u0435 \u0443\u043d\u044b\u043b\u043e\u0435 \u0438 \u0436\u0440\u0451\u0442 \u043f\u043e\u0434 200 \u0432\u0430\u0442\u0442, \u0438 \u0433\u0440\u0435\u0435\u0442\u0441\u044f \u0438 \u0436\u0443\u0436\u0436\u0438\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e</li> <li>UPD \u0421\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u0432\u0438\u0442\u0447 \u0441 Aliexpress:\u00a0TP-LINK TL-ST5008F. \u041d\u0430 \u0447\u0438\u043f\u0435\u00a0Realtek RTL9303-CG</li> </ul> <p>\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0437\u0430\u0434\u043e\u043b\u0431\u0430\u043b\u0430 \u043b\u0430\u0442\u0435\u043d\u0441\u0438, \u043a\u0430\u043a \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0412\u0421\u0415 \u043e\u0444\u0444\u043b\u043e\u0430\u0434\u044b?</p> <p>for i in rx tx tso ufo gso gro lro tx nocache copy sg txvlan rxvlan; do /sbin/ethtool -K eth3 $i off 2>&1 > /dev/null; done</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_17","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043e\u043a \u0438 \u0424\u0421</p> <p>\u0421 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u043c\u0438 \u043e\u043f\u0446\u0438\u044f\u043c\u0438 qemu \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 RBD, \u0443\u0432\u044b, \u043a\u0440\u0438\u0432\u043e.</p> <p>\u041a\u0440\u0438\u0432\u043e\u00a0\u2014 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e:</p> <p>\u0430) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u044d\u043c\u0443\u043b\u044f\u0446\u0438\u044f lsi-\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430</p> <p>\u0431) \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d \u043a\u044d\u0448</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_18","title":"\u0414\u0440\u0430\u0439\u0432\u0435\u0440 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430 \u0438 \u0424\u0421","text":"<p>\u0412 qemu \u0435\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u044d\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u0434\u0438\u0441\u043a\u043e\u0432:</p> <ul> <li>lsi\u00a0\u2014 \u0441\u0430\u043c\u044b\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439</li> <li>virtio\u00a0\u2014 \u0441\u0430\u043c\u044b\u0439 \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u043d\u043e \u0434\u043e QEMU 4.0 \u043d\u0435 \u0443\u043c\u0435\u043b TRIM. \u042e\u0437\u0430\u0442\u044c \u043d\u0430\u0434\u043e \u0435\u0433\u043e.</li> <li>virtio-scsi\u00a0\u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0439. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0443\u043c\u0435\u0435\u0442 multiqueue \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u043f\u0440\u044f\u043c\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 NVMe) \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 virtio\u00a0\u2014 \u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 Ceph \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a, \u0442\u0430\u043a \u043a\u0430\u043a \u0446\u0435\u0444 \u043d\u0435 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u0447\u0442\u043e\u0431\u044b multiqueue \u0438\u0433\u0440\u0430\u043b \u0440\u043e\u043b\u044c</li> <li>nvme\u00a0\u2014 \u0442\u043e\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0439, \u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 virtio. \u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e\u0445\u043e\u0436\u0438\u0439\u00a0\u2014 \u0438 \u0442\u0430\u043c, \u0438 \u0442\u0430\u043c \u043a\u043e\u043b\u044c\u0446\u0435\u0432\u044b\u0435 \u0431\u0443\u0444\u0435\u0440\u044b. \u041c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u0435\u0445 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432 \u041f\u041e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0443\u043c\u0435\u044e\u0442 virtio, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0435 \u0443\u043c\u0435\u0442\u044c nvme \u0441\u0435\u0439\u0447\u0430\u0441 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0438\u043a\u0442\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c VMWare ESXi \u0441 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 QEMU, \u0442\u043e nvme\u00a0\u2014 \u0434\u043b\u044f \u0432\u0430\u0441!</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#cachewriteback","title":"cache=writeback","text":"<p>\u041a\u044d\u0448 \u0434\u0438\u0441\u043a\u043e\u0432 \u0432 qemu \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u043f\u0446\u0438\u0435\u0439, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, cache. \u0411\u044b\u0432\u0430\u0435\u0442 <\u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e>, writethrough, writeback, none, unsafe, directsync.</p> <p>\u0421 Ceph RBD \u044d\u0442\u0430 \u043e\u043f\u0446\u0438\u044f \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 rbd cache, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u044d\u0448\u0430 \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Ceph (librbd). RBD cache \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 (32 \u041c\u0411) \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0431\u0443\u0444\u0435\u0440\u0430 \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 HDD, \u0442\u043e \u0435\u0441\u0442\u044c, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u0435\u0440\u0435\u0434, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u0438\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435.</p> <p>\u0420\u0435\u0436\u0438\u043c\u044b writethrough, <\u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e> \u0438 directsync \u0441 RBD, \u043f\u043e \u0441\u0443\u0442\u0438, \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b \u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 (\u043a\u0430\u0436\u0434\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u0432 Ceph).</p> <p>\u0420\u0435\u0436\u0438\u043c writeback \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u00ab\u0447\u0435\u0441\u0442\u043d\u043e\u0435\u00bb (\u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0435) \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0438. \u0422\u043e \u0435\u0441\u0442\u044c, \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0431\u0435\u0437 fsync \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u0432 \u043a\u044d\u0448 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0442\u0442\u0443\u0434\u0430 \u043b\u0438\u0431\u043e \u0440\u0430\u0437 \u0432 rbd_cache_max_dirty_age (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 1 \u0441\u0435\u043a), \u043b\u0438\u0431\u043e \u043a\u043e\u0433\u0434\u0430 \u0412\u041c \u043f\u0440\u043e\u0441\u0438\u0442 fsync.</p> <p>\u0420\u0435\u0436\u0438\u043c unsafe \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u00ab\u043d\u0435\u0447\u0435\u0441\u0442\u043d\u043e\u0435\u00bb (\u0447\u0440\u0435\u0432\u0430\u0442\u043e\u0435 \u043f\u043e\u0442\u0435\u0440\u0435\u0439 \u0434\u0430\u043d\u043d\u044b\u0445) \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0438. \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0442\u0430\u043a\u0436\u0435 \u043b\u043e\u0436\u0430\u0442\u0441\u044f \u0432 \u043a\u044d\u0448, \u043d\u043e fsync \u043e\u0442 \u0412\u041c \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u0422\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0435 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u043d\u043e \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043e\u043a, \u043d\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u0446\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445-\u043d\u0438\u0431\u0443\u0434\u044c \u0442\u0435\u0441\u0442\u043e\u0432 \u0438\u043b\u0438 CI).</p> <p>\u041f\u0440\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u00a0\u2014\u00a0cache=writeback. \u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, cache=writeback \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430:</p> <p>fio -name=test -ioengine=libaio -direct=1 -bs=4k -iodepth=1 -rw=randwrite -filename=/dev/vdb # \u0431\u0435\u0437 -fsync \u0438 \u0431\u0435\u0437 -sync</p> <p>\u2026\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u044f \u0435\u0433\u043e \u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443 \u0442\u043e\u0433\u043e \u0436\u0435 \u0442\u0435\u0441\u0442\u0430 \u0441\u00a0iodepth=32.</p> <p>\u00a0\u041e\u0414\u041d\u0410\u041a\u041e, \u0435\u0441\u0442\u044c \u041d\u042e\u0410\u041d\u0421\u042b (\u043a\u0430\u043a \u0432\u0441\u0435\u0433\u0434\u0430 \u0441 \u0446\u0435\u0444\u043e\u043c\u2026):</p> <ul> <li>\u0415\u0441\u043b\u0438 RBD-\u043e\u0431\u0440\u0430\u0437 \u043f\u0443\u0441\u0442\u043e\u0439 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u043d\u0451\u043c \u0432\u043a\u043b\u044e\u0447\u0451\u043d object-map (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u043a\u043b\u044e\u0447\u0451\u043d, \u0441\u043c.\u00a0rbd info /), \u0442\u043e \u0441\u0431\u0440\u043e\u0441 \u043a\u044d\u0448\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u043c \u0418 \u0424\u0418\u0413 \u0412\u042b \u0412\u0418\u0414\u0418\u0422\u0415 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 fio. <li>\u0415\u0441\u043b\u0438 \u043e\u043f\u0446\u0438\u044f rbd_cache_writethrough_until_flush \u0440\u0430\u0432\u043d\u0430 true (\u0442\u0430\u043a \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e), \u0442\u043e \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e fsync \u043a\u044d\u0448 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0422\u043e \u0435\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 \u0432\u044b \u043c\u043e\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u043a \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0435 \u0434\u0438\u0441\u043a \u0438 \u0441\u0440\u0430\u0437\u0443 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u0435\u0433\u043e \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439\u00a0\u2014 \u0432\u044b \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u043d\u0435 \u0443\u0432\u0438\u0434\u0438\u0442\u0435 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.</li> <li>\u0418\u0437-\u0437\u0430 \u0442\u043e\u0439 \u0436\u0435 \u043e\u043f\u0446\u0438\u0438, \u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0432 true, cache=unsafe \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u043e\u043e\u0431\u0449\u0435. \u0412 Proxmox \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u043f\u0430\u0442\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 qemu \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u0443 \u043e\u043f\u0446\u0438\u044e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043d\u0435 Proxmox\u00a0\u2014 \u043e\u043f\u0446\u0438\u044e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u043a\u043e\u043d\u0444\u0438\u0433 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e: rbd_cache_writethrough_until_flush=false.</li> <li>\u0421\u0430\u043c \u043a\u044d\u0448 \u043c\u043e\u0436\u0435\u0442 \u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0442\u043e\u0440\u043c\u043e\u0437\u043e\u043c \u0432 SSD-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445. \u0427\u0442\u043e-\u0442\u043e \u0442\u0430\u043c \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0441 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0430\u043c\u0438, \u0447\u0442\u043e-\u0442\u043e \u0442\u0430\u043c \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0435, \u0432\u0441\u0451 \u044d\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442, \u043d\u043e \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 4K randwrite Q128 \u0441 rbd_cache=false \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c 20000 iops, \u0430 \u0441 rbd_cache=true\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e 11000 iops. \u0414\u043b\u044f \u0433\u043e\u0432\u043d\u043e\u0441\u043e\u0444\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0438\u0448\u0435\u0442 \u043d\u0430 \u0434\u0438\u0441\u043a \u0430\u0431\u044b \u043a\u0430\u043a, \u044d\u0442\u043e \u0442\u043e\u0440\u043c\u043e\u0436\u0435\u043d\u0438\u0435 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043e, \u0430 \u0434\u043b\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0421\u0423\u0411\u0414\u00a0\u2014 \u043d\u0435\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 SSD \u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c random iops, \u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c\u00a0\u2014\u00a0cache=none.</li>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_19","title":"\u0424\u0421","text":"<p>\u0410 \u0435\u0449\u0451 \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442 \u0444\u0430\u0439\u043b\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430! \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043e\u043f\u0446\u0438\u044f\u00a0mount -o lazytime, \u0442\u043e \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u0435\u043b\u043a\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0424\u0421 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 mtime, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 inode-\u0430. \u0422\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u0424\u0421 \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0435\u00a0\u2014 \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438 \u0442\u0435\u0441\u0442\u0435\u00a0fio -sync=1 -iodepth=1 -direct=1\u00a0\u043f\u043e\u0432\u0435\u0440\u0445 \u0424\u0421 \u0431\u0435\u0437 lazytime iops-\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442\u0441\u044f \u0432 3-4 \u0440\u0430\u0437\u0430.</p> <p>\u0414\u043b\u044f lazytime \u043d\u0443\u0436\u043d\u044b \u0441\u0432\u0435\u0436\u0438\u0435 \u044f\u0434\u0440\u0430: \u0441 ext4\u00a0\u2014 \u0445\u043e\u0442\u044f \u0431\u044b 4.0, \u0441 XFS\u00a0\u2014 \u0445\u043e\u0442\u044f \u0431\u044b 4.17. \u0422\u0430\u043a\u0436\u0435 \u043d\u0443\u0436\u043d\u044b \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 (\u0441\u0432\u0435\u0436\u0438\u0435) util-linux (\u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0430: \u0432 \u043f\u0440\u043e\u0442\u0443\u0445\u0448\u0435\u0439 7-\u0439 \u0446\u0435\u043d\u0442\u043e\u0441\u0438 \u0438\u0445 \u043d\u0435\u0442, \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432).</p> <p>\u0410 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 (\u043d\u0435 \u0434\u0430\u0439 \u0431\u043e\u0433) \u0432\u043d\u0443\u0442\u0440\u0438 Oracle, \u0442\u043e \u0435\u043c\u0443 \u043d\u0430\u0434\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043e\u043f\u0446\u0438\u044e FILESYSTEMIO_OPTIONS=SETALL.</p> <p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 CephFS \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 RBD.</p> <p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 CephFS \u0447\u0435\u0440\u0435\u0437 mount -t cephfs \u0438 \u0447\u0435\u0440\u0435\u0437 ceph-fuse\u2026 \u043f\u0440\u0438 iodepth=1 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f. \u0410 \u0432\u043e\u0442 \u043f\u0440\u0438 iodepth=128 \u044f\u0434\u0435\u0440\u043d\u044b\u0439 \u043a\u043b\u0438\u0435\u043d\u0442 \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0430 ceph-fuse \u0432\u044b\u0434\u0430\u0451\u0442 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 iodepth=1 (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a/\u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u044f\u0434\u0435\u0440\u043d\u044b\u0439 \u043a\u043b\u0438\u0435\u043d\u0442).</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_20","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430</p> <p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u043d\u0435\u0433\u043e \u0434\u0438\u0441\u043a\u043e\u0432\u00a0\u2014 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430.</p> <p>\u0420\u0435\u0447\u044c \u043e Bluestore. \u041f\u043e\u0434 iops \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f iops \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043f\u043e 4 \u043a\u0431.</p> <p>1 HDD (\u043e\u0431\u044b\u0447\u043d\u044b\u0439, 7200 rpm, \u043d\u0435 SMR, \u0431\u0435\u0437 ssd-\u043a\u044d\u0448\u0430)\u00a0\u2014 \u044d\u0442\u043e:</p> <ul> <li>~100-120 iops \u043f\u0440\u0438 QD=128</li> <li>~66 iops \u043f\u0440\u0438 QD=1</li> <li>~40 MB/s \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438</li> <li>\u041f\u0440\u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u0445\u0443\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0431\u0443\u0434\u0443\u0442 cache miss \u043f\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c</li> </ul> <p>1 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 SSD \u0438\u043b\u0438 NVMe SSD (\u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438, write iops >= 25000):</p> <ul> <li>~1000 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u0438 QD=1, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u044b CPU \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0442 300 \u0434\u043e, \u0432 \u0441\u0430\u043c\u043e\u043c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, ~2500 iops.</li> <li>\u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043e ~10000-20000 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u0438 QD=128 \u043d\u0430 1 OSD.</li> <li>\u041d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2-2.5 \u0440\u0430\u0437\u0430 \u043b\u0443\u0447\u0448\u0435: QD=1 ~2000 iops (\u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043e ~4000), QD=128 ~20000, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043e 50000.</li> <li>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c QD=128 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430\u00a0:). \u041d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u0445\u043e\u0440\u043e\u0448\u0438\u0435 SSD \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0435\u00a0\u2014 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0435\u0448\u044c.</li> <li>\u0421\u043e\u0437\u0434\u0430\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e OSD \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0434\u0438\u0441\u043a\u0435, \u043c\u043e\u0436\u043d\u043e \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e QD=128 iops \u043d\u0430 \u0447\u0438\u0441\u043b\u043e OSD (\u043f\u043e\u043a\u0430 \u0434\u0438\u0441\u043a \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442). \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0446\u0435\u043d\u043e\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0436\u043e\u0440\u0430 CPU.</li> <li>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430.</li> <li>\u041a\u0430\u0440\u0434\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043f\u043e iops \u043c\u0435\u0436\u0434\u0443 SATA SSD \u0438 \u0434\u0430\u0436\u0435 NVMe, \u0435\u0441\u043b\u0438 \u0443 \u043e\u0431\u043e\u0438\u0445 \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u044b\u00a0\u2014 \u043d\u0435\u0442. \u042d\u0442\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e NVMe \u043b\u0443\u0447\u0448\u0435, \u043d\u043e \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e.</li> <li>\u041d\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 SSD \u0447\u0442\u0435\u043d\u0438\u0435 QD=1 \u0447\u0430\u0441\u0442\u043e \u0431\u044b\u0432\u0430\u0435\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 QD=1, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0432 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u043a\u044d\u0448, \u0430 \u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u0431\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0430\u044f: \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 QD=1 8000 iops, \u0430 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c 40000 iops.</li> </ul> <p>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438:</p> <ul> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 = \u0427\u0438\u0441\u043b\u043e OSD * MB/s \u043e\u0434\u043d\u043e\u0433\u043e OSD</li> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0443\u043b = \u0427\u0438\u0441\u043b\u043e OSD / \u0420\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f * MB/s \u043e\u0434\u043d\u043e\u0433\u043e OSD</li> <li>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0432 EC-\u043f\u0443\u043b = \u0427\u0438\u0441\u043b\u043e OSD / (K+M) * K * MB/s \u043e\u0434\u043d\u043e\u0433\u043e OSD</li> <li>\u0421 iops \u0432\u0441\u0451 \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0432\u043d\u043e\u0441\u0438\u0442 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0432 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u041d\u043e, \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f:<ul> <li>iops QD=1\u00a0\u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c OSD, \u0430 iops QD=128\u00a0\u2014 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f</li> <li>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 1 RBD \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043b\u0438\u0448\u044c \u0434\u043e ~30000 iops \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 ~15000 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c</li> </ul> </li> <li>\u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0435\u0442\u044c\u00a0\u2014 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u043c \u0441\u0435\u0442\u0438</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_21","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u0430\u0441\u043b\u043e\u043c \u00ab\u0422\u043e\u0440\u043c\u043e\u0437\u044f\u0449\u0438\u0439 \u043a\u044d\u0448\u00bb</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#o_sync-vs-fsync-vs-hdparm-w-0","title":"O_SYNC vs fsync vs hdparm -W 0","text":"<p>\u0423 SATA \u0438 SCSI \u0434\u0438\u0441\u043a\u043e\u0432 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0441\u0431\u0440\u043e\u0441\u0430 \u043a\u044d\u0448\u0430: \u043a\u043e\u043c\u0430\u043d\u0434\u0430 FLUSH CACHE \u0438 \u0444\u043b\u0430\u0433 FUA (Force Unit Access) \u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u0435\u0440\u0432\u044b\u0439 \u2014 \u044d\u0442\u043e \u044f\u0432\u043d\u044b\u0439 \u0441\u0431\u0440\u043e\u0441 \u043a\u044d\u0448\u0430, \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u044d\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u043d\u0430 \u0434\u0438\u0441\u043a, \u043c\u0438\u043d\u0443\u044f \u043a\u044d\u0448. \u0422\u043e\u0447\u043d\u0435\u0435, \u0443 SCSI \u043e\u043d\u043e \u0435\u0441\u0442\u044c, \u0430 \u0441 SATA \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u044f\u0441\u043d\u0430: \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 NCQ \u0431\u0438\u0442 FUA \u0435\u0441\u0442\u044c, \u043d\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 FUA \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e\u043c \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u044f\u0434\u0440\u043e\u043c/\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u043c (\u0435\u0441\u043b\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043d\u0435 \u043a\u0440\u0438\u0432\u043e\u0439).</p> <p>\u041f\u043e \u0432\u0441\u0435\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, fsync() \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u0438\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 FLUSH CACHE, \u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u0441 O_SYNC \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0431\u0438\u0442 FUA \u043d\u0430 \u0432\u0441\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0437\u0430\u043f\u0438\u0441\u0438.</p> <p>\u0415\u0441\u0442\u044c \u043b\u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430? \u041e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0442. \u041d\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430\u0445 \u0438/\u0438\u043b\u0438 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043f\u043e \u043d\u0435\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f. \u0418 \u0442\u043e\u0433\u0434\u0430 fio -sync=1 \u0438 fio -fsync=1 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u2014 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0434\u0430\u0436\u0435 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.</p> <p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0443 \u0434\u0438\u0441\u043a\u043e\u0432 \u0435\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u044d\u0448\u0430. \u041a\u043e\u0433\u0434\u0430 \u043e\u043d \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d, \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0441\u0431\u0440\u043e\u0441\u0430 (fsync) Linux \u0434\u0438\u0441\u043a\u0443 \u043d\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0442\u0430\u043a\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0442\u043e\u0436\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u0435\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044e fsync \u0438/\u0438\u043b\u0438 O_SYNC \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u041d\u043e \u0438 \u044d\u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a! \u041d\u0430 SSD \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438 (\u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0441 Advanced Power Loss Protection) \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043a\u044d\u0448\u0430 iops-\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u044e\u0442 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 5000 \u0434\u043e 40000). \u041d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e, \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430.</p> <p>\u041f\u043e\u0447\u0435\u043c\u0443? \u041f\u043e-\u0432\u0438\u0434\u0438\u043c\u043e\u043c\u0443, \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0430 FLUSH CACHE \u0442\u0440\u0430\u043a\u0442\u0443\u0435\u0442\u0441\u044f \u0434\u0438\u0441\u043a\u043e\u043c \u043a\u0430\u043a \u00ab\u0441\u0431\u0440\u043e\u0441\u044c \u0432\u0441\u0435 \u043a\u044d\u0448\u0438\u00bb (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u044d\u043d\u0435\u0440\u0433\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439), \u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a\u044d\u0448\u0430 \u2014 \u043a\u0430\u043a \u00ab\u043e\u0442\u043a\u043b\u044e\u0447\u0438 \u044d\u043d\u0435\u0440\u0433\u043e\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043a\u044d\u0448\u00bb (\u0430 \u044d\u043d\u0435\u0440\u0433\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043c\u043e\u0436\u0435\u0448\u044c \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c). \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0437\u0430\u043f\u0438\u0441\u044c \u0441\u043e \u0441\u0431\u0440\u043e\u0441\u043e\u043c \u043a\u044d\u0448\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u0439 \u043a\u044d\u0448.</p> <p>\u0410 \u0447\u0442\u043e \u0441 NVMe? \u0412 NVMe \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u044d\u0448 \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u0432\u043e\u043e\u0431\u0449\u0435, \u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b FLUSH CACHE \u0438 \u0431\u0438\u0442 FUA. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e \u043b\u0438\u0447\u043d\u044b\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c FUA \u0447\u0430\u0441\u0442\u043e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e \u043b\u0438 \u0434\u0438\u0441\u043a\u043e\u043c, \u0442\u043e \u043b\u0438 Linux-\u043e\u043c, \u0438\u00a0fio -sync=1\u00a0\u0432\u044b\u0434\u0430\u0451\u0442 \u0441 NVMe \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043a\u0430\u043a \u0438 \u0431\u0435\u0437 sync \u0432\u043e\u043e\u0431\u0449\u0435.\u00a0-fsync=1\u00a0\u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u043d\u0430\u0434\u043e \u0438 \u043f\u0440\u0438\u0437\u0435\u043c\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0443\u0434\u0430, \u0433\u0434\u0435 \u0435\u0439 \u0441\u0430\u043c\u043e\u0435 \u043c\u0435\u0441\u0442\u043e (\u043d\u0430 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u0445 NVMe \u2014 \u0434\u043e \u0442\u0435\u0445 \u0436\u0435 1000\u20142000 iops).</p> <p>P.S: Bluestore \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 fsync. Filestore \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 O_SYNC.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#ssd","title":"\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 SSD","text":"<p>Disabling cache is not a joke!</p> <p>fio -ioengine=libaio -name=test -filename=/dev/sdb -(sync|fsync)=1 -direct=1 -bs=(4k|4M) -iodepth=(1|32|128) -rw=(write|randwrite)</p> <p>Micron 5100 Eco 960GB</p> <p>\u0417\u0430\u043f\u0438\u0441\u044c</p> sync \u0438\u043b\u0438 fsync bs iodepth rw hdparm -W 1 hdparm -W 0 sync 4k 1 write 612 iops 22200 iops sync 4k 1 randwrite 612 iops 22200 iops sync 4k 32 randwrite 6430 iops 59100 iops sync 4k 128 randwrite 6503 iops 59100 iops sync 4M 32 write 469 MB/s 485 MB/s fsync 4k 1 write 659 iops 25100 iops fsync 4k 1 randwrite 671 iops 25100 iops fsync 4k 32 randwrite 695 iops 59100 iops fsync 4k 128 randwrite 701 iops 59100 iops fsync 4M 32 write 384 MB/s 486 MB/s <p>\u0427\u0442\u0435\u043d\u0438\u0435</p> bs iodepth rw \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 4k 1 randread 6000 iops 4k 4 randread 15900 iops 4k 8 randread 18500 iops 4k 16 randread 24800 iops 4k 32 randread 37400 iops 4M 1 read 460 MB/s 4M 16 read 514 MB/s <p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u0447\u0442\u0435\u043d\u0438\u044e \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 hdparm -W 0 \u0438 1.</p> <p>Seagate Nytro 1351 XA3840LE10063</p> <p>\u0414\u0438\u0441\u043a \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e, \u043d\u0430 90-100\u00a0%.</p> <p>\u0417\u0430\u043f\u0438\u0441\u044c</p> sync \u0438\u043b\u0438 fsync bs iodepth rw hdparm -W 1 hdparm -W 0 sync 4k 1 randwrite 18700 iops 18700 iops sync 4k 4 randwrite 49400 iops 54700 iops sync 4k 32 randwrite 51800 iops 65700 iops sync 4M 32 write 516 MB/s 516 MB/s fsync=1 4k 1 randwrite 288 iops 18100 iops fsync=1 4k 4 randwrite 288 iops 52800 iops fsync=4 4k 4 randwrite 1124 iops 53500 iops fsync=1 4k 32 randwrite 288 iops 65700 iops fsync=32 4k 32 randwrite 7802 iops 65700 iops fsync=1 4M 32 write 336 MB/s 516 MB/s <p>\u0427\u0442\u0435\u043d\u0438\u0435</p> bs iodepth rw \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 4k 1 randread 8600 iops 4k 4 randread 21900 iops 4k 8 randread 30500 iops 4k 16 randread 39200 iops 4k 32 randread 50000 iops 4M 1 read 508 MB/s 4M 16 read 536 MB/s <p>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 288 \u0438\u043e\u043f\u0441\u00a0\u2014 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 \u043a\u044d\u0448.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#ceph-hddssd","title":"Ceph HDD+SSD","text":"<p>\u0414\u0430\u043d\u043e: 3 \u043a\u043e\u043c\u043f\u0430 \u0441 4x 7200rpm SATA HDD, \u0441 1 SSD (\u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u044b\u043c) \u043f\u043e\u0434 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0438 ceph-mon \u0438 \u0441 1 SSD (\u0441\u0442\u0430\u0440\u044b\u043c, \u043d\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u043c, 25000 iops) \u043f\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b\u044b. \u041d\u0435 \u0441\u0430\u043c\u0430\u044f \u0431\u044b\u0441\u0442\u0440\u0430\u044f 10-\u0433\u0438\u0433\u0430\u0431\u0438\u0442\u043d\u0430\u044f \u0441\u0435\u0442\u044c\u00a0\u2014 \u0444\u043b\u0443\u0434 \u043f\u0438\u043d\u0433\u043e\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u0439 RTT (\u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430) 0.098ms. \u0420\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442 Ceph + OpenNebula \u0441 KVM. \u0414\u0438\u0441\u043a\u0438 \u043f\u043e\u0434 Ceph \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 Bluestore \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 ceph-volume (\u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f LVM). \u0414\u0438\u0441\u043a\u0438 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043e\u043a \u043b\u0435\u0436\u0430\u0442 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0440\u0435\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c ceph pool \u0441 size=3.</p> <p>\u0421\u043e\u0437\u0434\u0430\u0451\u043c Debian-\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0443 (\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u0438\u0441\u043a\u0430 kvm \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 bus=virtio, cache=none), \u0441\u0442\u0430\u0432\u0438\u043c fio, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0432 \u043d\u0435\u0439 \u0442\u0435\u0441\u0442 \u043d\u0430 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:\u00a0fio -ioengine=libaio -size=10G -sync=1 -direct=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=./testfile\u00a0(\u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439, \u0442\u043e\u0433\u0434\u0430 rw=write, \u043d\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u0439).</p> <ol> <li>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 \u0432\u0441\u0435 \u043a\u044d\u0448\u0438 \u0434\u0438\u0441\u043a\u043e\u0432 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b (\u0432\u0435\u0437\u0434\u0435\u00a0hdparm -W 1, \u0432\u00a0/sys/block/*/queue/write_cache\u00a0\u0432\u0435\u0437\u0434\u0435\u00a0write back)\u00a0\u2014 \u0416 \u041e \u041f \u0410, iops=59, avg lat = 16.88ms</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0430\u044e \u043a\u044d\u0448 \u0437\u0430\u043f\u0438\u0441\u0438 SSD \u0441 \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u043c\u0438:\u00a0hdparm -W 0 /dev/sdb\u00a0\u2014 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0416 \u041e \u041f \u0410, iops=58, avg lat = 16.99ms</li> <li>\u0412\u0441\u0435\u043c LVM-\u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044e \u043a\u044d\u0448 \u0437\u0430\u043f\u0438\u0441\u0438:\u00a0for i in /sys/block/dm-*; do echo write through > $i/queue/write_cache; done`\u00a0\u2014 \u0410 \u0424 \u0418 \u0413 \u0415 \u0422 \u042c, iops=584, avg lat = 1.7ms</li> <li>\u041e\u0431\u0440\u0430\u0442\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u044e \u043a\u044d\u0448 SSD\u0448\u043a\u0435 \u0441 \u0436\u0443\u0440\u043d\u0430\u043b\u0430\u043c\u0438:\u00a0hdparm -W 1 /dev/sdb\u00a0\u2014 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f iops=582, avg lat = 1.7ms</li> <li>\u041e\u0442\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u044e \u0432\u0441\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u044d\u0448\u0435\u0439 LVM:\u00a0for i in /sys/block/dm-*; do echo write back > $i/queue/write_cache; done\u00a0\u2014 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0436\u043e\u043f\u0430, 57 iops, avg lat = 17.2ms</li> <li>\u041e\u043f\u044f\u0442\u044c \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044e \u043a\u044d\u0448 \u0436\u0443\u0440\u043d\u0430\u043b\u044c\u043d\u044b\u043c LVM-\u0434\u0435\u0432\u0430\u0439\u0441\u0430\u043c:\u00a0for i in <code>ls /dev/ceph-journals/lvol*</code>; do j=readlink $i; echo write through > /sys/block/${j##../}/queue/write_cache; done\u00a0\u2014 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f, \u0432\u0441\u0451 \u0442\u0430 \u0436\u0435 \u0436\u043e\u043f\u0430 (\u043d\u043e \u0441 \u043d\u0438\u043c\u0438 \u044d\u0442\u043e \u0442\u043e\u0447\u043d\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438\u00a0:))</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0430\u044e \u043a\u044d\u0448 HDD LVM-\u0440\u0430\u0437\u0434\u0435\u043b\u0430\u043c (for i in <code>ls /dev/ceph-*/osd-block*</code>; do j=readlink $i; echo write through > /sys/block/${j##../}/queue/write_cache; done)\u00a0\u2014 \u0431\u0438\u043d\u0433\u043e, iops=603, avg lat = 1.65ms</li> <li>\u0410\u0433\u0430. \u041f\u0440\u043e\u0441\u0442\u0438\u0442\u0435. \u041e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0443\u0434\u0430-\u0442\u043e write through \u043d\u0435\u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e \u0431\u0435\u0437\u00a0hdparm -W 0 /dev/sd*, \u0442\u0430\u043a \u043a\u0430\u043a\u00a0https://www.kernel.org/doc/Documentation/block/queue-sysfs.txt\u00a0- Writing to this file can change the kernels view of the device, but it doesn\u2019t alter the device state. \u043e\u043a, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u00a0for i in /dev/sd?; do hdparm -W 0 $i; done\u00a0(\u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044e \u0432\u0441\u0435 \u043a\u044d\u0448\u0438)\u00a0\u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0445\u0443\u0436\u0435, iops=405, avg lat = 2.47ms\u00a0\u2014 \u043d\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0436\u043e\u043f\u0430.</li> </ol> <p>\u0412\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u00a0\u2014 \u0434\u0430\u0436\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u0430\u043c\u0438.</p> <p>\u00a0\u041c\u043e\u0440\u0430\u043b\u044c: \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0439\u0442\u0435 \u043a\u044d\u0448 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u0441\u0435\u043c \u0434\u0438\u0441\u043a\u0430\u043c!</p> <p>\u0427\u0430\u0441\u0442\u0438\u0447\u043d\u0430\u044f \u0440\u0430\u0437\u0433\u0430\u0434\u043a\u0430:</p> <ol> <li>~~\u0412 \u0436\u0451\u0441\u0442\u043a\u0438\u0445 \u0434\u0438\u0441\u043a\u0430\u0445 HGST \u0435\u0441\u0442\u044c Media Cache~~\u00a0(\u044d\u043d\u0435\u0440\u0433\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043a\u044d\u0448 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u0440\u044f\u043c\u043e \u043d\u0430 \u043f\u043b\u0430\u0441\u0442\u0438\u043d\u0430\u0445)\u00a0\u2014 \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0442\u0430\u043c \u043d\u0435 HGST, \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432 HGST \u043c\u0435\u0434\u0438\u0430\u043a\u044d\u0448 \u0432\u043a\u043b\u044e\u0447\u0451\u043d \u0432\u0441\u0435\u0433\u0434\u0430 \u0438 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 hdparm -W 0.</li> <li>\u0412 \u0436\u0451\u0441\u0442\u043a\u0438\u0445 \u0434\u0438\u0441\u043a\u0430\u0445 Seagate Enterprise Capacity ST8000NM0055 (\u043a\u043e\u0438\u0445 \u0438\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430 3) \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 SSD-\u043a\u044d\u0448. \u0418 \u0432\u043e\u0442 \u043e\u043d, \u0432\u0438\u0434\u0438\u043c\u043e, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 hdparm -W 0.</li> <li>\u0411\u043b\u044e\u0441\u0442\u043e\u0440 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0436\u0443\u0440\u043d\u0430\u043b \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u043d\u0430 HDD. \u041a\u043e\u0433\u0434\u0430 \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u0441\u043f\u0435\u0446.\u043a\u044d\u0448, HDD \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0438 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u0438 \u0441\u0431\u0440\u043e\u0441\u0435 \u0443\u0445\u043e\u0434\u044f\u0442. \u0414\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u044d\u0448, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u00a0\u2014 \u043a\u043e\u0433\u0434\u0430 \u043e\u043d \u043a\u043e\u043d\u0447\u0438\u0442\u0441\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043e\u043f\u044f\u0442\u044c \u0443\u043f\u0430\u0434\u0451\u0442. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043b\u044e\u0441 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 Ceph-\u0435 \u044d\u0442\u043e\u0433\u043e, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0451\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0441\u0430\u043c\u0438\u043c Ceph-\u043e\u043c \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0438\u0441\u043a\u0430\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u00a0:).</li> <li>\u041e\u0434\u043d\u0430\u043a\u043e, \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 \u0431\u0435\u0437 SSD-\u043a\u044d\u0448\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a\u044d\u0448\u0430 \u0442\u043e\u0436\u0435 \u0434\u0430\u0451\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u2026 \u0435\u0441\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430, \u0447\u0442\u043e \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e \u0436\u0435 \u0442\u043e\u0440\u043c\u043e\u0437\u0430 \u0441 bluefs (\u043f\u0440\u043e\u0432\u0435\u0440\u044e).</li> </ol> <p>\u0411\u043e\u043b\u0435\u0435 \u0441\u0432\u0435\u0436\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0431\u0435\u043d\u0447\u0438\u043b\u043a\u043e\u0439 ceph-gobench \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u0441\u0430\u043c\u043e\u043c \u0441\u0442\u0435\u043d\u0434\u0435. \u0412\u0435\u0440\u0441\u0438\u044f Ceph Mimic 13.2.2, Bluestore, \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u043d\u0430 SSD.</p> <p>osd.1 \u0438 osd.3 \u0431\u0435\u0437 \u0432\u044b\u043d\u043e\u0441\u0430 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u043d\u0430 SSD \u043e\u0431\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438 75-80 iops \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u044d\u0448\u0430.</p> <p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0435 IOPS \u0441 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 Q=1 \u0431\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438.</p> \u041d\u043e\u043c\u0435\u0440 OSD \u041f\u0430\u0442\u0447 + \u043a\u044d\u0448 \u041a\u044d\u0448 \u0432\u044b\u043a\u043b \u041a\u044d\u0448 \u0432\u043a\u043b \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u0438\u0441\u043a\u0430 \u041d\u043e\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 osd.0 365 308 226 Seagate Constellation ES.2 ST32000645NS osd.1 322 325 234 Hitachi Ultrastar 7K3000 HUA723020ALA640 osd.2 1278 1392 230 Seagate Enterprise Capacity ST8000NM0055 osd.4 198 244 140 Hitachi Ultrastar A7K2000 HUA722020ALA330 osd.5 251 185 154 Hitachi Ultrastar A7K2000 HUA722020ALA330 osd.7 1351 1129 253 Seagate Enterprise Capacity ST8000NM0055 osd.9 399 315 184 Hitachi Ultrastar 7K3000 HUA723020ALA640 osd.13 226 212 142 Hitachi Ultrastar A7K2000 HUA722020ALA330 osd.3 393 386 241 Hitachi Ultrastar 7K3000 HUA723020ALA640 osd.8 340 323 156 Hitachi Ultrastar A7K2000 HUA722020ALA330 osd.10 1461 1319 273 Seagate Enterprise Capacity ST8000NM0055 osd.14 302 229 135 Hitachi Ultrastar A7K2000 HUA722020ALA330"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_22","title":"\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u044f","text":"<p>Toshiba MG07ACA14TE \u0442\u043e\u0436\u0435 \u0437\u0430\u043c\u0435\u0447\u0435\u043d\u044b \u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438, \u0441\u043c. \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0438:\u00a0https://www.spinics.net/lists/ceph-users/msg60753.html</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_23","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 Bluestore \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439?</p> <p>\u00a0\u0422\u0440\u0435\u0442\u044c\u044f \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u044f hatespeech\u2019\u0430.</p> <p>\u0412\u043a\u0440\u0430\u0442\u0446\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u043e\u0432\u0430: \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 Ceph \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b\u0438 \u0441 \u0443\u043f\u043e\u0440\u043e\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0441 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0424\u0421 XFS \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439, \u043f\u043e \u0438\u0434\u0435\u0435, \u0431\u044b\u043b \u0434\u0438\u043a\u0438\u0439 \u043e\u0432\u0435\u0440\u0445\u0435\u0434\u00a0\u2014 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 (\u0432 \u0441\u043c\u044b\u0441\u043b\u0435 random write iops) \u043e\u043d\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0441\u0442\u0430\u043b\u043e.\u00a0\u041b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u043a\u0430\u043a\u043e\u0433\u043e \u0445#\u0440\u0430\u00bb \u0442\u0430\u043a\u043e\u0439: \u0442\u043e \u043b\u0438 XFS \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e, \u0442\u043e \u043b\u0438 Bluestore \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u043e.\u00a0\u0421\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443: \u043e\u0431\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u0435\u0440\u043d\u044b.\u00a0:-)</p> <p>\u0412\u0441\u0435 \u043c\u044b \u0434\u0435\u0440\u0436\u0438\u043c \u0432 \u0443\u043c\u0435, \u0447\u0442\u043e 1x 7200rpm HDD \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 100\u2014120 iops. \u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u043c \u0433\u043e\u0432\u043e\u0440\u044f\u0442\u00a0\u2014 \u043d\u0443, \u0442\u0430\u043c \u0442\u0438\u043f\u0430 \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u041d\u0443 \u043e\u043a, \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0435\u043c\u00a0\u2014 \u043d\u0443, \u0442\u0438\u043f\u0430, \u0435\u0441\u0442\u044c \u0436\u0443\u0440\u043d\u0430\u043b, \u0435\u0441\u0442\u044c \u0434\u0438\u0441\u043a. \u0417\u043d\u0430\u0447\u0438\u0442 \u0442\u0438\u043f\u0430 \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u043e \u0432 \u0436\u0443\u0440\u043d\u0430\u043b, \u043f\u043e\u0442\u043e\u043c \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u043e \u043d\u0430 \u0434\u0438\u0441\u043a. \u0417\u043d\u0430\u0447\u0438\u0442, \u0431\u0435\u0440\u0451\u043c 100, \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 \u0447\u0438\u0441\u043b\u043e \u0434\u0438\u0441\u043a\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0434\u0435\u043b\u0438\u043c \u043d\u0430 \u0444\u0430\u043a\u0442\u043e\u0440 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 (3), \u0434\u0435\u043b\u0438\u043c \u043d\u0430 1.5-2 (\u0434\u0430\u043d\u043d\u044b\u0435+\u0436\u0443\u0440\u043d\u0430\u043b), \u043c\u044b \u0436\u0435 \u0434\u0435\u0440\u0436\u0438\u043c \u0432 \u0443\u043c\u0435, \u0447\u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0442\u0430\u043c \u0432\u0441\u0451 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e\u2026 \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c, \u0441\u043a\u0430\u0436\u0435\u043c, 100 * 9 \u0434\u0438\u0441\u043a\u043e\u0432 / 1.5-2 / 3 = 150\u2014200 iops. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c fio iodepth=128 \u043d\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435\u00a0\u2014 \u041e\u0419, 30 iops. \u041a\u0430\u043a \u0442\u0430\u043a?</p> <p>\u041e\u0442\u0447\u0430\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0438 \u043f\u043e \u0441\u043e\u0432\u0435\u0442\u0430\u043c \u0437\u043d\u0430\u0442\u043e\u043a\u043e\u0432 \u043f\u0440\u0438\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0435\u043c \u0442\u0443\u0434\u0430 SSD \u043f\u043e\u0434 wal+db. \u0418 \u0434\u0443\u043c\u0430\u0435\u043c: \u043d\u0443, \u0442\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0431\u044b\u0441\u0442\u0440\u0430\u044f SSD \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u043e\u0434 \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u043c, \u043b\u0430\u0442\u0435\u043d\u0441\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 50 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u043a\u0443\u043d\u0434, \u0437\u043d\u0430\u0447\u0438\u0442 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0438\u043e\u043f\u0441\u043e\u0432\u00a0\u2014 \u043d\u0443, \u0432 \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0435\u043c\u0441\u044f \u0440\u0435\u0436\u0438\u043c\u0435 \u0445\u043e\u0442\u044f \u0431\u044b 300 (9 * 100 / 3). \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c. \u0412 1 \u043f\u043e\u0442\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0443\u2026 60 \u0438\u043e\u043f\u0441. \u0412\u043e \u043c\u043d\u043e\u0433\u043e\u00a0\u2014 \u0433\u0434\u0435-\u0442\u043e 200. \u041e\u043f\u044f\u0442\u044c \u043f\u043b\u043e\u0445\u043e.</p> <p>\u0421\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u0443 \u0431\u043b\u044e\u0441\u0442\u043e\u0440\u0430 \u043d\u0435\u0442, \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0436\u0438\u0432\u0443\u0449\u0430\u044f \u043f\u0440\u044f\u043c\u043e \u0432 RocksDB. RocksDB\u00a0\u2014 \u044d\u0442\u043e LSM keyvalue \u0431\u0430\u0437\u0430, \u043f\u043e \u0441\u0443\u0442\u0438 \u0431\u0430\u0437\u0430-\u0436\u0443\u0440\u043d\u0430\u043b. \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0437\u0443\u043c\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u043c \u0434\u0435\u0440\u0436\u0438\u0442 \u0431\u043b\u044e\u0441\u0442\u043e\u0440. \u041a\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0437\u0430\u0441\u0443\u043d\u0443\u0442\u0430 \u0442\u0443\u0434\u0430 \u0436\u0435, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u043e\u0434\u043d\u043e\u0439 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0435\u0439 (\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043e\u0434\u043d\u0438\u043c fsync-\u043e\u043c).</p> <p>\u0418 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 filestore\u00a0\u2014 \u043e\u043d\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 filestore \u0436\u0443\u0440\u043d\u0430\u043b \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u0430\u043a \u0431\u0443\u0444\u0435\u0440 \u0434\u043b\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c. \u041f\u043e\u043a\u0430 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b\u0435 \u0431\u044b\u043b\u043e \u043c\u0435\u0441\u0442\u043e, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0431\u044b\u043b\u0430 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e\u0439, \u0430 \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442. \u0412 bluestore \u0436\u0435 \u00ab\u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438\u00bb \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0438 \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u0436\u0434\u044b\u0435 64 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0422\u043e \u0435\u0441\u0442\u044c, bluestore \u043d\u0435 \u043f\u0438\u0448\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e (HDD).</p> <p>\u041f\u043b\u044e\u0441 \u043a \u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 (\u043f\u0440\u0438 \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0435 strace) \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e fsync-\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043d\u0435 1, \u0430 2. \u0412\u0442\u043e\u0440\u043e\u0439 fsync\u00a0\u2014 \u044d\u0442\u043e \u043b\u0438\u0448\u043d\u044f\u044f \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 \u0436\u0443\u0440\u043d\u0430\u043b BlueFS, \u0441\u0432\u043e\u0434\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043b\u043e\u0433-\u0444\u0430\u0439\u043b\u0430 RocksDB. \u042d\u0442\u043e \u043d\u0430\u0444\u0438\u0433 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u043f\u0446\u0438\u044f\u0445 RocksDB \u0432 \u0446\u0435\u0444\u0435 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0441\u0442\u043e\u0438\u0442 wal_recovery_mode=kTolerateCorruptedTailRecords \u0438 recycle_log_number=4, \u043d\u043e \u044d\u0442\u043e \u0442\u0430\u043a, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0443 \u043d\u0438\u0445 \u0438\u0437-\u0437\u0430 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0431\u0430\u0433\u0430 \u043a\u043e\u0440\u0440\u0430\u043f\u0442\u044f\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u043f\u0430\u0434\u0435\u043d\u0438\u0438 OSD. \u0427\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0435\u0433\u043a\u043e, \u044f \u0438\u043c \u0434\u0430\u0436\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u0444\u0438\u043a\u0441\u00a0\u2014\u00a0https://tracker.ceph.com/issues/38559 https://github.com/ceph/ceph/pull/26909\u00a0- \u0438 \u043e\u043d\u0438 \u0434\u0430\u0436\u0435 \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043e\u0431\u0435\u0449\u0430\u044e\u0442 \u0435\u0433\u043e \u0432\u043b\u0438\u0442\u044c. \u0421 \u0444\u0438\u043a\u0441\u043e\u043c \u043d\u0430 HDD \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u0440\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 1\u00a0\u2014 \u0434\u0432\u0443\u043a\u0440\u0430\u0442\u043d\u043e\u0435 (\u0441 33\u00a0% \u0434\u043e 66\u00a0% \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0430\u043c\u043e\u0433\u043e HDD, \u043e\u0431\u044b\u0447\u043d\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0441 33 \u0434\u043e 66 \u0438\u043e\u043f\u0441). \u041f\u0440\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 128\u00a0\u2014 \u043f\u043e\u0447\u0442\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0435.</p> <p>\u041e\u041a, \u043b\u0430\u0434\u043d\u043e. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043a\u043e\u043d\u0446\u043e\u0432 \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c\u00a0\u2014 \u0433\u0443\u043b\u044f\u0442\u044c \u0442\u0430\u043a \u0433\u0443\u043b\u044f\u0442\u044c \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 SSD (\u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 NVMe). \u0414\u0443\u043c\u0430\u0435\u043c\u00a0\u2014 \u043d\u0443 \u0442\u0435\u043f\u0435\u0440\u044c-\u0442\u043e?!\u2026 \u0411\u0435\u043d\u0447\u0438\u043c \u0432 1 \u043f\u043e\u0442\u043e\u043a. 300 \u0438\u043e\u043f\u0441. \u041e\u0445\u0440\u0435\u043d\u0435\u0432\u0430\u0435\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u0438\u0434\u0451\u043c \u0433\u0443\u0433\u043b\u0438\u0442\u044c \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e\u00a0:)</p> <p>\u0417\u0434\u0435\u0441\u044c \u0441\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u0443 \u0432\u0441\u0435\u0445 \u0441\u0438\u0434\u0438\u0442 \u043c\u044b\u0441\u043b\u044c \u00ab\u0430, \u043d\u0443 \u0434\u0430, \u043e\u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043f\u0438\u0448\u0435\u0442 \u043d\u0430 \u0434\u0438\u0441\u043a\u00a0\u2014 \u0434\u0438\u0441\u043a \u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439, \u0430 \u0441\u043e\u0444\u0442 \u0431\u044b\u0441\u0442\u0440\u044b\u0439\u00bb. \u0410 \u0432\u043e\u0442 \u0445\u0440\u0435\u043d.\u00a0:) \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, Ceph \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0433\u043d\u0430\u0442\u044c \u0434\u043e latency < 1 ms, \u0438 \u0432\u0438\u043d\u043e\u0439 \u0442\u043e\u043c\u0443 \u043d\u0435 \u0434\u0438\u0441\u043a\u0438, \u0430 \u0441\u0430\u043c Ceph. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430, Ceph \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 WA (Write Amplification) 3..5 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 OSD\u00a0\u2014 \u044d\u0442\u043e \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0442\u043e\u0442 \u0436\u0435 strace. \u041d\u043e \u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 SSD \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043e\u0434\u043d\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f 4\u043a\u0431 \u0437\u0430\u043f\u0438\u0441\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0443\u0441\u043b\u043e\u0432\u043d\u043e 20 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u043a\u0443\u043d\u0434. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0421++ \u043a\u043e\u0434\u0435 Ceph.</p> <p>\u041f\u0440\u0438\u0447\u0451\u043c \u0434\u0430\u0436\u0435 \u043d\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0442\u0430\u043c \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442\u00a0\u2014 \u0442\u0430\u043a\u043e\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432\u0441\u0451 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0412\u044b\u044f\u0432\u0438\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u00ab\u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u0442\u043e\u0447\u043a\u0438\u00bb \u043f\u0440\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u0440\u0443\u0434\u043d\u043e, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u0432\u0441\u044f\u043a\u043e\u0439 C++\u043d\u043e\u0439 \u043c\u0435\u043b\u043e\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043e\u0442\u044a\u0435\u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041e\u0434\u043d\u043e \u0433\u043e\u0440\u044f\u0447\u0435\u0435 \u043c\u0435\u0441\u0442\u043e\u00a0\u2014 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0446\u0438\u0444\u0440\u043e\u0432\u044b\u0445 \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 (\u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c), \u0434\u0440\u0443\u0433\u043e\u0435\u00a0\u2014 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f/\u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f (\u043a\u043e\u0434 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u043f\u043e\u043b\u0435 \u043f\u0430\u043a\u0435\u0442\u0430, \u0447\u0443\u0442\u044c \u043b\u0438 \u043d\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u0430\u0439\u0442, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0437\u043e\u0432\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438). \u0414\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0443\u0442 \u0443\u0436\u0435 malloc-\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0442\u043e\u043d\u043d\u044b. \u041f\u0440\u0438\u0447\u0451\u043c \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432. \u041d\u0430 \u044d\u0442\u043e \u0435\u0449\u0451 \u043d\u0430\u0432\u0451\u0440\u043d\u0443\u0442\u0430 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u043d\u0430\u044f \u0441\u043c\u0435\u0441\u044c \u0431\u0443\u0444\u0435\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438 \u043f\u0440\u044f\u043c\u043e\u0433\u043e I/O.</p> <p>RocksDB \u043d\u0435 \u0432\u0438\u043d\u043e\u0432\u0430\u0442\u0430\u00a0\u2014 \u0435\u0451 \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0431\u0435\u043d\u0447\u0438\u0442\u044c, \u043e\u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u0430\u044f, ~8000 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043d\u0430 NVMe \u0432 1 \u043f\u043e\u0442\u043e\u043a \u043e\u043d\u0430 \u0434\u0430\u0451\u0442 \u0438 \u0434\u0430\u0436\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0434\u043e ~120000 tps \u0432 256 \u043f\u043e\u0442\u043e\u043a\u043e\u0432. \u0410 Ceph OSD \u0434\u0430\u0436\u0435 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u043e\u043c \u043d\u0430 \u0442\u043e\u0439 \u0436\u0435 NVMe \u0434\u0430\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 10-20 \u0442\u044b\u0441\u044f\u0447 iops.</p> <p>\u0421\u0435\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u0432\u0438\u043d\u043e\u0432\u0430\u0442\u0430\u00a0\u2014 \u0435\u0451 \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0431\u0435\u043d\u0447\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e nbd (network block device). \u041f\u0440\u0438 \u043f\u0440\u044f\u043c\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u0435 \u0434\u0438\u0441\u043a \u0432\u044b\u0434\u0430\u0451\u0442 50000 iops, \u043f\u0440\u0438 \u043f\u0440\u043e\u0431\u0440\u043e\u0441\u0435 \u0434\u0438\u0441\u043a\u0430 \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0447\u0435\u0440\u0435\u0437 nbd\u00a0\u2014 8000 iops. \u0422\u043e \u0435\u0441\u0442\u044c, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u0430\u044f latency \u0441\u0435\u0442\u0438\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 0.1ms. \u042d\u0442\u043e \u043d\u0435 \u043c\u043d\u043e\u0433\u043e.</p> <p>\u0418 \u0434\u0430\u0436\u0435 Bluestore \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0438\u043d\u043e\u0432\u0430\u0442. \u041d\u0430 NVMe Bluestore \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0442\u044e\u043d\u0430\u043c\u0438 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043e\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0437\u0430 0.3\u043c\u0441. \u0418 \u0432 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043a\u043e\u0434 \u0441\u0430\u043c\u043e\u0433\u043e Ceph \u0441\u0436\u0438\u0440\u0430\u0435\u0442 \u0435\u0449\u0451 0.4\u043c\u0441.</p> <p>\u041f\u043e \u0441\u0443\u0442\u0438, \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 Ceph \u0431\u044b \u043e\u0442\u044a\u0435\u0434\u0430\u043b 0.1ms \u0438 Bluestore \u0435\u0449\u0451 0.1ms. \u0421\u0435\u0442\u044c \u0441\u044a\u0435\u0441\u0442 \u0435\u0449\u0451 0.1ms \u0438 \u0442\u043e\u0433\u0434\u0430 \u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 NVMe \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f latency ~ 0.33ms, \u0447\u0442\u043e \u0432 1 \u043f\u043e\u0442\u043e\u043a \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 3000 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u043c \u0437\u0430\u043f\u0438\u0441\u0438 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u0414\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 SSD \u044d\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0434\u043e\u0442\u044f\u043d\u0443\u043b\u043e \u0431\u044b, \u043d\u043e, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u0436\u0435 \u043e\u0447\u0435\u043d\u044c-\u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u043e. \u0422\u043e\u0433\u0434\u0430, \u0441\u043a\u0430\u0436\u0435\u043c, \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f \u0437\u0430 CPU: \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u043d\u044b\u0435 CPU \u043f\u043e 20000$ \u043a\u0430\u0436\u0434\u044b\u0439, \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0432 \u044f\u0434\u0440\u043e \u0438 \u0441\u043d\u0438\u0437\u0438\u0432 \u0432\u0440\u0435\u043c\u044f Ceph+Bluestore \u0435\u0449\u0451 \u0432 2 \u0440\u0430\u0437\u0430, \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0443\u0436\u0435 0.23ms = ~4350 iops. \u0410 \u0434\u043e\u043f\u0438\u043b\u0438\u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 Infiniband, \u043c\u043e\u0436\u0435\u0442, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0438 \u0432\u0441\u0435 6000 iops. \u041f\u043e\u043a\u0430 \u0436\u0435 \u043a\u043e\u0434 \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u2026 \u0432\u0441\u0451 \u044d\u0442\u043e\u00a0\u2014 \u043c\u0451\u0440\u0442\u0432\u043e\u043c\u0443 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u0438.</p> <p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u0438\u043b\u0438\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e OSD \u043d\u0430 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 Seastar (Crimson OSD), \u0442\u0430\u043a \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0448\u0430\u043d\u0441\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c Ceph, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0425\u043e\u0442\u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u0430\u043c \u0432\u043e\u043f\u0440\u043e\u0441 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u043a\u0430\u0445\u00a0\u2014 \u043f\u043e \u0438\u0434\u0435\u0435, \u043c\u043d\u043e\u0433\u043e \u0441\u044a\u0435\u0434\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430. \u041d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u0435\u0451 \u043e\u043d\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u0436\u0435 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441 \u043d\u0443\u043b\u044f\u00a0\u2014 \u043e\u043d\u0430 \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c\u0441\u044f.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_24","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>DPDK \u0438 SPDK</p> <ul> <li>DPDK = Data Plane Developer Kit, \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043e\u0442 Intel \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 (\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c) \u0441\u0435\u0442\u0435\u0432\u044b\u043c\u0438 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u0432 userspace, \u0431\u0435\u0437 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432 \u044f\u0434\u0440\u0430</li> <li>SPDK = Storage Performance Developer Kit, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 DPDK \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 NVMe SSD, \u0442\u043e\u0436\u0435 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u0415\u0449\u0451 \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043a libnvme\u00a0\u2014 SPDK, \u043e\u0442\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u043e\u0442 DPDK</li> <li>DPDK \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 ms_type=async+dpdk</li> <li>SPDK \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f NVMe-\u0448\u0435\u043a \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0435\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0443\u0442\u0438 \u0434\u0435\u0432\u0430\u0439\u0441\u0430 spdk:<\u0441\u0435\u0440\u0438\u0439\u043d\u044b\u0439 \u043d\u043e\u043c\u0435\u0440 pcie \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430> \u0438 \u0440\u0443\u0447\u043d\u044b\u043c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c OSD \u043f\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 Manual Deployment</li> <li>\u042d\u0442\u043e \u0432 \u0442\u0435\u043e\u0440\u0438\u0438\u00a0\u2014 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 (\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u0441\u044f Mimic 13.2.x) \u041d\u0418 \u0425\u0420\u0415\u041d\u0410 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043d\u0438 DPDK, \u043d\u0438 SPDK<ul> <li>\u0421 DPDK Ceph \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb \u0434\u0430\u0436\u0435 \u043d\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f\u00a0\u2014 \u044d\u0442\u043e \u0432 \u043e\u0431\u0449\u0435\u043c-\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u043d\u043e \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0431\u0438\u0432\u0430\u0435\u0448\u044c\u0441\u044f \u0441\u0431\u043e\u0440\u043a\u0438 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u00a0\u2014 OSD \u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 ~50 \u043f\u0430\u043a\u0435\u0442\u043e\u0432</li> <li>\u0421 SPDK Ceph \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0431\u0440\u0430\u043d \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0\u2014 \u043d\u043e \u043e\u043d\u043e \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u00a0\u2014 \u0432\u0441\u043a\u043e\u0440\u0435 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 OSD \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0438\u0441\u043d\u0435\u0442 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435</li> <li>Code is there, \u0442\u0430\u043a \u0447\u0442\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0432\u0441\u0451 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u0435\u0431\u0430\u0436\u0438\u0442\u044c \u043f\u043e\u0434\u043e\u043b\u044c\u0448\u0435</li> <li>\u0415\u0441\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0447\u0442\u043e SPDK \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041d\u043e \u043c\u043d\u0435 \u043f\u043e\u043a\u0430 \u0437\u0430\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c</li> </ul> </li> <li>\u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u0438\u043b\u0443 \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0430\u043c\u043e\u0433\u043e Ceph \u043d\u0438 \u043e\u0442 DPDK, \u043d\u0438 \u043e\u0442 RDMA \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f. \u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 Ceph \u0432 10-100 \u0440\u0430\u0437 \u0432\u044b\u0448\u0435 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438, \u0442\u0430\u043a \u0447\u0442\u043e, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0441\u0435\u0442\u0435\u0432\u0443\u044e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0443, \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0447\u0435\u0433\u043e. \u041e\u0434\u0438\u043d \u0447\u0443\u0432\u0430\u043a \u0434\u0430\u0436\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00a0\u2014 \u043e\u0442\u0440\u0435\u0437\u0430\u043b \u043a\u043e\u0434 AsyncMessenger-\u0430 \u043e\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0446\u0435\u0444\u0430 \u0438 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0431\u0435\u043d\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e:\u00a0https://www.spinics.net/lists/ceph-devel/msg43555.html\u00a0\u2014 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c ~80000 iops.</li> <li>\u0412 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 SPDK \u0431\u0443\u0434\u0435\u0442 \u043d\u0430 \u0445\u0440\u0435\u043d \u043d\u0435 \u043d\u0443\u0436\u0435\u043d, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u044f\u0434\u0440\u043e \u043f\u0440\u0438\u043d\u044f\u043b\u0438 \u0448\u0442\u0443\u043a\u0443 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c io_uring:\u00a0https://lore.kernel.org/linux-block/20190116175003.17880-1-axboe@kernel.dk/\u00a0- \u0441 \u043d\u0435\u0439 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u043e\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 Optane-\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 iops, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 SPDK, \u043f\u0440\u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0433\u0435\u043c\u043e\u0440\u0440\u043e\u044f \u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 SPDK/DPDK</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_25","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>RAID WRITE HOLE</p> <p>\u0412 RAID-\u0435 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442: \u043f\u0440\u0438 \u043e\u0442\u043a\u0430\u0437\u0435 \u0434\u0438\u0441\u043a\u0430 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f RAID 5 \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u0440\u0430\u043f\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435.</p> <p>\u0421\u0443\u0442\u044c \u0442\u0430\u043a\u0430\u044f: \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0434\u0438\u0441\u043a\u0430 \u0432 \u0440\u0435\u0439\u04345. \u0415\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043f\u0430\u0440\u0430 \u0431\u043b\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 A \u0438 B. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 \u0434\u0438\u0441\u043a\u0430\u0445 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f: A, B, A xor B.</p> <p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u0438\u0448\u0435\u043c \u0432 \u0431\u043b\u043e\u043a B \u0434\u0430\u043d\u043d\u044b\u0435 B2. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0434\u0432\u0443\u0445 \u0434\u0438\u0441\u043a\u0430\u0445: B -> B2, A+B -> A+B2. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u0443\u0441\u043f\u0435\u043b \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u0443\u0441\u043f\u0435\u043b. \u0422\u0443\u0442 \u0432\u044b\u0440\u0443\u0431\u0438\u043b\u043e\u0441\u044c \u043f\u0438\u0442\u0430\u043d\u0438\u0435 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u0434\u043e\u0445 \u0434\u0438\u0441\u043a A (\u0438\u043b\u0438 \u0434\u0438\u0441\u043a \u0441\u0434\u043e\u0445 \u043e\u0442 \u0443\u043c\u0438\u0440\u0430\u043d\u0438\u044f \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u0438\u043b\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043f\u043e\u0432\u0438\u0441 \u0438 \u044f\u0434\u0440\u043e \u0432 \u043f\u0430\u043d\u0438\u043a\u0443 \u0443\u043f\u0430\u043b\u043e...). \u0427\u0442\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0430 \u0434\u0438\u0441\u043a\u0430\u0445?</p> <p>?, B2, A+B \u043b\u0438\u0431\u043e\u00a0?, B, A+B2.</p> <p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c A \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c A+B+B2 => \u043e\u043f\u0430! \u041f\u043e\u043a\u043e\u0440\u0440\u0430\u043f\u0442\u0438\u043b\u0438\u0441\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438\u0441\u044c!</p> <p>\u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e raid \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 resync \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u043e\u0433\u043e \u0432\u044b\u0440\u0443\u0431\u0430\u043d\u0438\u044f \u043f\u0438\u0442\u0430\u043d\u0438\u044f. \u0418, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0442\u0430\u043a\u0430\u044f \u0436\u0435 \u043f\u043e\u0442\u0435\u0440\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u043f\u0440\u0438 \u043e\u0442\u043a\u0430\u0437\u0435 \u0434\u0438\u0441\u043a\u0430 \u0434\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f resync. mdadm RAID5 \u0432 \u0442\u0430\u043a\u0438\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445 (\u043a\u043e\u0433\u0434\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0442\u0435\u0440\u044f\u043d \u0434\u0438\u0441\u043a \u0438 \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u043e\u043c\u0435\u0447\u0435\u043d \u043a\u0430\u043a \u0433\u0440\u044f\u0437\u043d\u044b\u0439) \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c.</p> <p>\u0418 \u0438\u043c\u0435\u043d\u043d\u043e \u0447\u0442\u043e\u0431 \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u0432 \u0446\u0435\u0444\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0435 \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 (\u0442.\u0435. OSD). \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0431\u043e\u0440\u044c\u0431\u044b \u0441 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u041d\u0415\u0422, \u0430 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u043f\u043e \u0441\u0435\u0442\u0438 \u043e\u0442\u043a\u0430\u0437\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b, \u0447\u0435\u043c \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 RAID-\u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0438\u0441\u043a\u0430\u0445. \u0414\u0430\u0436\u0435 write intent bitmap \u043c\u043e\u0436\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0430\u043c, \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0438 \u0432\u044b \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0438\u0445 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u044b.</p> <p>\u0422\u0430\u043a \u0447\u0442\u043e Ceph \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435 RAID-\u0430.\u00a0:) \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 (\u043d\u0430 SSD). \u041d\u043e \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435 \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 resync-\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_26","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041a\u0440\u0430\u0442\u043a\u0438\u0439 \u044d\u043a\u0441\u043a\u0443\u0440\u0441 \u0432 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e SSD \u0438 \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u0438</p> <p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c NAND \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u043e\u043d\u0430 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438, \u0430 \u0441\u0442\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438. \u0410\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f Micron 3D NAND\u00a0\u2014 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 (page) 16 \u041a\u0411, \u0431\u043b\u043e\u043a \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u044f (block)\u00a0\u2014 16 \u0438\u043b\u0438 24 \u041c\u0411 (1024 \u0438\u043b\u0438 1536 \u0441\u0442\u0440\u0430\u043d\u0438\u0446, MLC/TLC \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e). \u0421\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0431\u044b\u0441\u0442\u0440\u043e\u0435. \u0417\u0430\u043f\u0438\u0441\u044c \u0442\u043e\u0436\u0435, \u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0451\u0440\u0442\u0443\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u044c\u00a0\u2014 \u0430 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435, \u0434\u0430 \u0435\u0449\u0451 \u0438 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e\u00a0\u2014 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0442\u044b\u0441\u044f\u0447 (\u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f MLC) \u0431\u043b\u043e\u043a \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u0441\u0442\u0440\u043e\u044f. \u0412 \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0448\u0451\u0432\u044b\u0445 \u0438 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 (MLC, TLC, QLC\u00a0\u2014 2-4 \u0431\u0438\u0442\u0430 \u043d\u0430 \u044f\u0447\u0435\u0439\u043a\u0443) \u0447\u0438\u043f\u0430\u0445 \u043b\u0438\u043c\u0438\u0442 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0439 \u043c\u0435\u043d\u044c\u0448\u0435, \u0432 \u0431\u043e\u043b\u0435\u0435 \u0434\u043e\u0440\u043e\u0433\u0438\u0445 \u0438 \u043c\u0435\u043d\u0435\u0435 \u043f\u043b\u043e\u0442\u043d\u044b\u0445 (SLC, \u043e\u0434\u0438\u043d \u0431\u0438\u0442 \u043d\u0430 \u044f\u0447\u0435\u0439\u043a\u0443)\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0435. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u0440\u0438 \u00ab\u0442\u0443\u043f\u043e\u043c\u00bb \u043f\u043e\u0434\u0445\u043e\u0434\u0435\u00a0\u2014 \u0435\u0441\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0442\u0438\u0440\u0430\u0442\u044c \u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u00a0\u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0432\u043e \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u044c, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439, \u0430 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0435\u0451 \u0438\u0437 \u0441\u0442\u0440\u043e\u044f.</p> <p>\u041d\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0433\u0434\u0430 SSD \u0431\u044b\u0441\u0442\u0440\u044b\u0435? \u0410 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 SSD \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043e\u0449\u043d\u044b\u0439 \u0438 \u0443\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 (1-2 \u0433\u0438\u0433\u0430\u0433\u0435\u0440\u0446\u0430, \u0442\u0438\u043f\u0438\u0447\u043d\u043e 4 \u044f\u0434\u0440\u0430 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043a\u0430\u043a \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u044b \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u0438\u043a\u043e\u0432), \u0438 \u043d\u0430 \u043d\u0451\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0447\u0442\u043e, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u0435 Flash Translation Layer\u00a0\u2014 \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0435\u0440\u0435\u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u0435\u043b\u043a\u0438\u0439 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0435\u043a\u0442\u043e\u0440 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0434\u0438\u0441\u043a\u0430. FTL \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u0451\u0440\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u043c\u0435\u043b\u043a\u0443\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u043d\u043e\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0434\u0438\u0441\u043a\u0430, \u0432 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0442\u0451\u0440\u0442\u0443\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0438\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0430\u044f. \u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e FTL \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0435\u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0438 Wear Leveling (\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u0437\u043d\u043e\u0441\u0430), \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u0431\u043b\u043e\u043a\u0438 \u0434\u0438\u0441\u043a\u0430 \u0441\u0442\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432\u043e \u0432\u0441\u0435\u0445 SSD \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439\u00a0% \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0437\u0430\u0440\u0435\u0437\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e\u0434 Wear Leveling \u0438 \u043d\u0435 \u0432\u0438\u0434\u0435\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e (\u00aboverprovision\u00bb), \u0430 \u0432 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 SSD \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0432\u0435\u0441\u044c\u043c\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439\u00a0\u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Micron 5100 Max \u044d\u0442\u043e +60\u00a0% \u0451\u043c\u043a\u043e\u0441\u0442\u0438 (\u0432 Micron 5100 Eco\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c +7.5\u00a0%, 1.92 \u0422\u0411 SSD \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 10 \u0447\u0438\u043f\u043e\u0432 NAND \u043f\u043e 1.5 \u0442\u0435\u0440\u0430\u0431\u0438\u0442\u0430 \u0438 2 \u043f\u043e 768 \u0433\u0438\u0433\u0430\u0431\u0438\u0442).</p> <p>\u0418\u043c\u0435\u043d\u043d\u043e \u0438\u0437 \u043d\u0430\u043b\u0438\u0447\u0438\u044f FTL \u0432\u044b\u0442\u0435\u043a\u0430\u0435\u0442 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 \u044d\u043d\u0435\u0440\u0433\u043e\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0438 \u00abpower loss protection\u00bb-\u043e\u043c. \u041a\u0430\u0440\u0442\u044b \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u0432\u00a0\u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u0441\u0431\u0440\u043e\u0441\u0435 \u043a\u044d\u0448\u0430 \u0442\u043e\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u0432 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0441\u0431\u0440\u043e\u0441 \u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u0442\u043e\u0440\u043c\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u044b\u0445 SSD \u0441 fsync.</p> <p>\u041a\u0441\u0442\u0430\u0442\u0438, \u0438\u0437 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b 16 \u041a\u0411 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u043d\u0443\u044e SSD \u043f\u043e\u0434 \u043c\u0435\u043b\u043a\u0443\u044e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044c, \u0432\u044b \u0435\u0449\u0451 \u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0435 \u0441\u0440\u043e\u043a \u0435\u0451 \u0436\u0438\u0437\u043d\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e 4 \u041a\u0411 \u0441 sync-\u0430\u043c\u0438 write amplification \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 16 \u041a\u0411 / 4 \u041a\u0411 = 4.\u00a0\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 SSD \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0430 \u0442\u0430\u043a\u0430\u044f \u0432\u0435\u0449\u044c, \u043a\u0430\u043a SLC Cache\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0430\u043c\u043e\u0439 \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u0438 \u0432 SLC-\u0440\u0435\u0436\u0438\u043c\u0435 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 X \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u0440\u0438 SLC-\u0437\u0430\u043f\u0438\u0441\u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0432 3 \u0440\u0430\u0437\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043c\u0435\u0441\u0442\u043e 3 \u0431\u0438\u0442 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u044f\u0447\u0435\u0439\u043a\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 1. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u044d\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0442\u0430 \u0436\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u043e\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e \u0432\u043c\u0435\u0449\u0430\u0435\u0442 16 \u041a\u0411, \u0442\u0430\u043a \u0447\u0442\u043e \u043a\u0430\u043a \u0442\u0443\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c WA, \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u044f\u0441\u043d\u043e.</p> <p>\u0414\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435: \u043a\u043e\u0433\u0434\u0430 \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043a\u043e\u0433\u043e-\u0442\u043e \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0438 \u043f\u043e\u043b\u0435\u0447\u0438\u0442\u044c \u043d\u0430 \u0442\u0435\u043c\u0443, \u0447\u0442\u043e \u00ab\u0432\u0441\u0435 SSD \u0434\u0435\u043b\u0430\u044e\u0442 fsync\u00bb, \u043c\u043d\u0435 \u0432 \u043e\u0442\u0432\u0435\u0442 \u043a\u0438\u043d\u0443\u043b\u0438 \u0441\u0442\u0430\u0442\u044c\u044e:\u00a0https://www.usenix.org/system/files/conference/fast13/fast13-final80.pdf. \u0412 \u043e\u0431\u0449\u0435\u043c, \u0441\u0443\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 2013 \u0433\u043e\u0434\u0443 \u043d\u043e\u0440\u043c\u043e\u0439 \u0431\u044b\u043b\u043e \u0442\u043e, \u0447\u0442\u043e SSD \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a \u043f\u0440\u0438 fsync, \u0438 \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043b\u043e \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u0432\u0435\u0441\u0451\u043b\u044b\u043c \u0432\u0435\u0449\u0430\u043c \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e (!!!) \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u0430\u0437\u0430 SSD.</p> <p>\u0415\u0441\u0442\u044c \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b \u0441\u0442\u0430\u0440\u044b\u0445 SSD \u0431\u0435\u0437 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u043e\u0432 (OCZ Vector/Vertex), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0434\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0441 fsync. \u041a\u0430\u043a \u044d\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e? \u041d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043d\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0441\u0443\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0437 \u0432 \u043d\u0435\u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u0438 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0441\u044f\u00a0\u2014 \u0432 SSD \u043a\u0430\u043a \u0440\u0430\u043d\u044c\u0448\u0435 \u0431\u044b\u043b FTL, \u0442\u0430\u043a \u0438 \u0441\u0435\u0439\u0447\u0430\u0441 FTL. \u041a\u0430\u043a \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0441\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0434\u0438\u0441\u043a \u043a\u0430\u0440\u0442\u044b \u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u0438\u00a0\u2014 \u0445\u0437\u2026 \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0435\u0441\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0435 \u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043b\u043e\u0433-\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0424\u0421 \u0432\u043d\u0443\u0442\u0440\u0438\u00a0\u2014 \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0432\u043f\u0435\u0440\u0435\u043c\u0435\u0448\u043a\u0443 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043f\u043e \u0438\u0434\u0435\u0435, \u043f\u0440\u0438 \u0441\u0442\u0430\u0440\u0442\u0435 \u0432\u0441\u0451 \u044d\u0442\u043e \u00ab\u0434\u043e\u0431\u0440\u043e\u00bb \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0441\u0442\u0430\u0440\u0442/\u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u0434\u043e\u043b\u0433\u0438\u043c. \u0410 \u0432 SSD \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043d\u0435\u0442.</p> <p>\u041d\u0443 \u0438, \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u00abpower loss protection\u00bb, \u0432\u0438\u0434\u0438\u043c\u043e, \u0431\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u0430 \u0431\u044b\u0432\u0430\u0435\u0442 advanced. \u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u043c\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u043c fsync \u0438 \u043d\u0435 \u0441\u0434\u043e\u0445\u043d\u0435\u043c \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f\u00bb, \u0430 advanced \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u043e\u0432 \u0438 \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0441 fsync. \u0421\u0435\u0439\u0447\u0430\u0441, \u0432 2018\u20142019 \u0433\u043e\u0434\u0430\u0445, \u00ab\u043e\u0431\u044b\u0447\u043d\u044b\u0439\u00bb PLP, \u043f\u043e\u0445\u043e\u0436\u0435, \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u0441\u0442\u0430\u043b \u043d\u043e\u0440\u043c\u043e\u0439 \u0438 \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c SSD \u0442\u0435\u0440\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0443\u043c\u0438\u0440\u0430\u0442\u044c \u0443\u0436\u0435 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#usb-","title":"\u0411\u043e\u043d\u0443\u0441: USB-\u0444\u043b\u0435\u0448\u043a\u0438","text":"<p>\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0433\u0434\u0430 USB-\u0444\u043b\u0435\u0448\u043a\u0438 \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435? \u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u043d\u0430 \u0444\u043b\u0435\u0448\u043a\u0443 512-\u0431\u0430\u0439\u0442\u043d\u044b\u043c\u0438 (\u0438\u043b\u0438 4 \u041a\u0431) \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0434\u0451\u0442 \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e 2-3 iops. \u0410 \u0444\u043b\u0435\u0448-\u043f\u0430\u043c\u044f\u0442\u044c \u0442\u0430\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430 \u0436\u0435, \u0447\u0442\u043e \u0432 SSD\u00a0\u2014 \u043d\u0443, \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u0438 \u043c\u0435\u043b\u043a\u0438\u0435 \u0447\u0438\u043f\u044b \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438 \u0431\u043b\u043e\u043a\u0430 (\u0447\u0430\u0441\u0442\u043e 4 \u041a\u0411 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0438 4 \u041c\u0411 \u0431\u043b\u043e\u043a), \u043d\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0442\u043e\u0442 \u0436\u0435 \u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0435 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438. \u041e\u0442\u0432\u0435\u0442 \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u0444\u043b\u0435\u0448\u043a\u0430\u0445 \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c FTL (\u0438 \u0434\u0430\u0436\u0435 Wear Leveling), \u043d\u043e \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 SSD-\u0448\u043d\u044b\u043c \u043e\u043d \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0438 \u0442\u0443\u043f\u043e\u0439. \u0423 \u043d\u0435\u0433\u043e \u0441\u043b\u0430\u0431\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 \u0438 \u043c\u0430\u043b\u043e \u043f\u0430\u043c\u044f\u0442\u0438. \u0418\u0437-\u0437\u0430 \u043c\u0430\u043b\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 RAM \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0443 \u0444\u043b\u0435\u0448\u043a\u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u0430 SSD, \u043d\u0435\u0433\u0434\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u043a\u0442\u043e\u0440\u043e\u0432\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0441\u0435\u043a\u0442\u043e\u0440\u0430, \u0430 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0433\u0434\u0435-\u0442\u043e \u043f\u043e \u043c\u0435\u0433\u0430\u0431\u0430\u0439\u0442\u0443 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435, \u0438 \u043f\u0440\u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0435\u0441\u0442\u044c \u043b\u0438\u043c\u0438\u0442 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u00ab\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445\u00bb \u0431\u043b\u043e\u043a\u043e\u0432. \u041a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442:</p> <ul> <li>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0432\u044b \u043f\u0438\u0448\u0435\u0442\u0435 \u0432 \u0441\u0435\u043a\u0442\u043e\u0440 X.</li> <li>\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0431\u043b\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u044d\u0442\u043e\u0442 \u0441\u0435\u043a\u0442\u043e\u0440, \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a, \u0438 \u00ab\u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u00bb \u0435\u0433\u043e\u00a0\u2014 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0443\u0441\u0442\u043e\u0439 \u0431\u043b\u043e\u043a, \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u043d \u00ab\u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0439\u00bb \u0434\u043b\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0442\u0443\u0434\u0430 \u043e\u0434\u0438\u043d \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0439 \u0432\u0430\u043c\u0438 \u0441\u0435\u043a\u0442\u043e\u0440.</li> <li>\u0422\u0430\u043a\u0438\u043c \u043c\u0430\u043a\u0430\u0440\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c N \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432; \u0447\u0438\u0441\u043b\u043e N \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435\u00a0\u2014 \u043e\u0442 3 \u0434\u043e 6.</li> <li>\u0414\u0430\u043b\u044c\u0448\u0435 \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u0438\u0448\u0435\u0442\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0441\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 \u0443\u0436\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430\u00a0\u2014 \u043e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0435\u0433\u043e \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0439 \u0431\u043b\u043e\u043a (\u0447\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u043e).</li> <li>\u0415\u0441\u043b\u0438 \u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0439 \u0441\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443\u00a0\u2014 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0438\u0437 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0438 \u00ab\u0441\u043b\u0438\u0432\u0430\u0442\u044c\u00bb \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0434\u043e\u0447\u0435\u0440\u043d\u0435\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c.</li> </ul> <p>\u0414\u043b\u044f \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u043d\u0430 \u0444\u043b\u0435\u0448\u043a\u0443, \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432 \u043b\u044e\u0431\u0443\u044e \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u0434\u0432\u0443\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e: \u0432 \u043e\u0434\u0438\u043d \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0431\u043b\u043e\u043a \u043f\u0438\u0448\u0443\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439\u00a0\u2014 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430. \u0417\u0430\u043f\u0438\u0441\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f, \u0432\u0441\u0451 \u0431\u044b\u0441\u0442\u0440\u043e. \u0410 \u0432\u043e\u0442 \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0432\u044b \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0442\u044c \u0432 \u0443\u0436\u0435 \u00ab\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435\u00bb \u0431\u043b\u043e\u043a\u0438 \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u043e\u0435 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0435. \u0422\u0443\u0442-\u0442\u043e \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u0440\u043c\u043e\u0437\u0430\u2026</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_27","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0442\u0435\u0441\u0442\u0430 \u043e\u0442 Micron</p> <p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430 \u043e\u0442 Micron \u0441 \u043f\u0440\u043e\u0446\u0430\u043c\u0438 \u043f\u043e \u043f\u043e\u043b\u043b\u044f\u043c\u0430 (2x Xeon Platinum 8168), 2x100-\u0433\u0431\u0438\u0442 \u0441\u0435\u0442\u044c\u044e (\u0442\u043e\u0447\u043d\u0435\u0435 2x2x100, \u0442\u0430\u043a \u043a\u0430\u043a 2 \u043a\u0430\u0440\u0442\u044b \u043f\u043e 2 \u043f\u043e\u0440\u0442\u0430) \u0438 10x \u0442\u043e\u043f\u043e\u0432\u044b\u043c\u0438 NVMe (\u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438, \u0430\u0433\u0430) \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0437\u043b\u0435, 4 \u0443\u0437\u043b\u0430, \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f 2x:\u00a0https://www.micron.com/resource-details/30c00464-e089-479c-8469-5ecb02cfe06f</p> <p>\u0412\u0441\u0435\u0433\u043e 367011 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u043f\u0438\u043a\u0435 \u043d\u0430 \u0432\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u043f\u0440\u0438 100\u00a0% \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 CPU. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c 367000/40 osd\u00a0\u2014 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 9175 \u0438\u043e\u043f\u0441 \u043d\u0430 1 osd. \u0421 \u0443\u0447\u0451\u0442\u043e\u043c \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a\u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0432\u043e\u0439\u043d\u0430\u044f, \u0432\u044b\u0445\u043e\u0434\u0438\u0442, 18350 \u0438\u043e\u043f\u0441. \u041e\u043a, \u0436\u0443\u0440\u043d\u0430\u043b\u044b \u0442\u043e\u0436\u0435 \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u044e\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u0438\u0442\u043e\u0433\u043e\u00a0\u2014 36700 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0441\u043c\u043e\u0433 \u0432\u044b\u0436\u0430\u0442\u044c ceph \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 NVMe\u2026 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u043f\u0435\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 260000 \u0438\u043e\u043f\u0441 \u0432 \u043e\u0434\u0438\u043d\u043e\u0447\u043a\u0443. \u0412\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u0432\u043e\u0442 overhead.</p> <p>\u0414\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430\u043c \u0432 1 \u043f\u043e\u0442\u043e\u043a \u043d\u0435\u0442 (\u0430 \u0431\u044b\u043b\u043e \u0431\u044b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c).</p> <p>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: PDF-\u043a\u0430 \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0430, \u043d\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u0442\u044e\u043d\u0430\u043c\u0438, \u0447\u0442\u043e \u043d\u0438\u0436\u0435, \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 479882 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0438 2277453 iops \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435. \u0421\u0442\u0430\u0440\u0430\u044f\u00a0\u0442\u0443\u0442. \u0427\u0442\u043e \u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 Micron 9200 \u0438 9300 \u0434\u043b\u044f Ceph \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u0430.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_28","title":"\u0410\u043f\u0434\u0435\u0439\u0442","text":"<p>https://www.micron.com/-/media/client/global/documents/products/other-documents/micron_9300_and_red_hat_ceph_reference_architecture.pdf</p> <p>NVMe \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0434\u043e Micron 9300 (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0451\u043c\u043a\u043e\u0441\u0442\u0438 12.8 \u0422\u0411). iops-\u043e\u0432 \u0442\u0430\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 \u0434\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u043d\u0435 260 \u0442\u044b\u0441., \u0430 310 \u0442\u044b\u0441. \u0412\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u0436\u043d\u0438\u043c. \u0418\u0442\u043e\u0433\u043e 100 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0441\u043d\u044f\u043b\u0438 477029 iops. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043a\u043b\u0438\u0435\u043d\u0442\u0443 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043b\u0438\u0448\u044c 4770 iops. 10 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0441\u043d\u044f\u043b\u0438 294000 iops\u00a0\u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 1 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 29400 \u0438\u043e\u043f\u0441, \u0447\u0442\u043e \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043f\u043e\u043f\u0440\u0438\u043b\u0438\u0447\u043d\u0435\u0439.</p> <p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435? \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u044e\u043d\u0438\u043d\u0433\u0443. \u041f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043f\u0440\u043e\u0448\u043b\u044b\u043c \u0442\u0435\u0441\u0442\u043e\u043c \u043e\u043d\u0438:</p> <ul> <li>\u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u0447\u0435\u043a\u0441\u0443\u043c\u043c\u044b \u043c\u0435\u0441\u0441\u0435\u043d\u0434\u0436\u0435\u0440\u0430 (ms_crc_data=false) \u0438 \u0447\u0435\u043a\u0441\u0443\u043c\u043c\u044b \u0431\u043b\u044e\u0441\u0442\u043e\u0440\u0430 (bluestore_csum_type=none)</li> <li>\u0437\u0430\u0442\u044e\u043d\u0438\u043b\u0438 rocksdb:\u00a0bluestore_rocksdb_options = compression=kNoCompression,max_write_buffer_number=64,min_write_buffer_number_to_merge=32,recycle_log_file_num=64,compaction_style=kCompactionStyleLevel, write_buffer_size=4MB,target_file_size_base=4MB,max_background_compactions=64,level0_file_num_compaction_trigger=64,level0_slowdown_writes_trigger=128, level0_stop_writes_trigger=256,max_bytes_for_level_base=6GB,compaction_threads=32,flusher_threads=8,compaction_readahead_size=2MB<ul> <li>64x32x4 MB memtable (number x merge x size) \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 4x1x256 MB. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u044d\u0442\u043e \u0438 \u0441\u044b\u0433\u0440\u0430\u043b\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0440\u043e\u043b\u044c. \u042d\u0444\u0444\u0435\u043a\u0442 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043e\u0447\u0435\u0432\u0438\u0434\u0435\u043d, \u043d\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u044d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 CPU, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0438\u0441\u043a \u0432 64 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 memtable \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u0432 1 (\u0438\u043b\u0438 4) \u0431\u043e\u043b\u044c\u0448\u0438\u0445.</li> <li>\u0441\u0438\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0451\u043d max_bytes_for_level_base\u00a0\u2014 \u0441 256 \u043c\u0431 \u043e\u043d \u043f\u043e\u0434\u043d\u044f\u0442 \u0434\u043e 6 \u0433\u0431!</li> <li>\u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u043f\u043e\u0442\u043e\u043a\u0438 compaction-\u0430.</li> </ul> </li> <li>\u0432\u044b\u0434\u0430\u043b\u0438 14 \u0433\u0431 RAM \u043a\u0430\u0436\u0434\u043e\u043c\u0443 OSD</li> <li>osd_max_pg_log_entries=osd_min_pg_log_entries=osd_pg_log_dups_tracked=osd_pg_log_trim_min = 10 (\u0445\u0437, \u043f\u043e-\u043c\u043e\u0435\u043c\u0443, \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u0430\u0451\u0442)</li> </ul> <p>\u0422\u0430\u043a\u0436\u0435 \u043d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e:</p> <ul> <li>cephx \u0443 \u043d\u0438\u0445 \u0443\u0436\u0435 \u0431\u044b\u043b \u043e\u0442\u043a\u043b\u044e\u0447\u0451\u043d. \u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0437\u0430\u0447\u0435\u043c-\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439\u00a0\u2014 \u0432\u0438\u0434\u0438\u043c\u043e, \u0447\u0438\u0442\u0430\u043b\u0438 \u043c\u043e\u044e \u0441\u0442\u0430\u0442\u044c\u044e. \u041d\u043e \u044d\u0442\u043e \u043d\u0430\u0444\u0438\u0433 \u043d\u0435 \u043d\u0430\u0434\u043e, \u043f\u0440\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u043e\u043c cephx \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0436\u0435 \u043d\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0442\u044c.</li> <li>debug objecter = 0/0 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0435\u0431\u0430\u0433\u0438 \u0443 \u043d\u0438\u0445 \u0442\u043e\u0436\u0435 \u0443\u0436\u0435 \u0431\u044b\u043b\u0438</li> <li>\u0441 prefer_deferred_size \u0438 min_alloc_size \u043e\u043d\u0438, \u0432\u0438\u0434\u0438\u043c\u043e, \u043d\u0435 \u0438\u0433\u0440\u0430\u043b\u0438\u0441\u044c</li> <li>\u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438 \u043d\u0435 \u0438\u0433\u0440\u0430\u044e\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0440\u043e\u043b\u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e. 260000 \u0438\u043b\u0438 310000 iops\u00a0\u2014 \u0434\u043b\u044f \u0446\u0435\u0444\u0430 \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442.</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#vsan","title":"\u0411\u043e\u043d\u0443\u0441: \u0432\u0438\u0441\u044f\u043d (vSAN)","text":"<p>Micron Accelerated All-Flash SATA vSAN 6.7 Solution</p> <p>\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432:</p> <ul> <li>384 GB RAM 2667 MHz</li> <li>2X Micron 5100 MAX 960 GB (randread: 93k iops, randwrite: 74k iops)</li> <li>8X Micron 5200 ECO 3.84TB (randread: 95k iops, randwrite: 17k iops)</li> <li>2x Xeon Gold 6142 (16c 2.6GHz)</li> <li>Mellanox ConnectX-4 Lx</li> <li>Connected to 2x Mellanox SN2410 25GbE switches</li> </ul> <p>\u00ab\u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 VMWare AF-6, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0434\u0430\u044e\u0449\u0435\u0439 \u043e\u0442 50K iops \u0447\u0442\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440\u00bb</p> <ul> <li>2 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 (\u0430\u043d\u0430\u043b\u043e\u0433 size=2 \u0432 \u0446\u0435\u0444\u0435)</li> <li>4 \u0441\u0435\u0440\u0432\u0435\u0440\u0430</li> <li>4 \u0412\u041c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435</li> <li>8 \u0434\u0438\u0441\u043a\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0412\u041c</li> <li>4 \u043f\u043e\u0442\u043e\u043a\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0438\u0441\u043a</li> </ul> <p>\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0432\u0432\u043e\u0434\u0430/\u0432\u044b\u0432\u043e\u0434\u0430: 512</p> <p>100%/70%/50%/30%/0% write</p> <ul> <li>\u00abBaseline\u00bb (\u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u043a\u044d\u0448): 121k/178k/249k/314k/486k iops</li> <li>\u00abCapacity\u00bb (\u043d\u0435 \u0443\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f): 51k/66k/90k/134k/363k</li> <li>\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0440\u0430\u0432\u043d\u0430 1000*512/IOPS \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0435\u0441\u0442\u0430\u0445 (1000\u043c\u0441 * \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c / iops)</li> <li>\u041d\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438 \u0441 \u043d\u0438\u0437\u043a\u0438\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u043e\u043c</li> <li>\u041d\u0435\u0442 \u0442\u0435\u0441\u0442\u043e\u0432 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f/\u0437\u0430\u043f\u0438\u0441\u0438</li> </ul> <p>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435:</p> <ul> <li>~3800 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445</li> <li>~1600 iops \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a, \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0432 \u043a\u044d\u0448</li> <li>~15000 iops \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445</li> <li>~11400 iops \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a, \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0432 \u043a\u044d\u0448</li> <li>\u0418\u0442\u043e\u0433\u043e: \u043f\u0440\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 vSAN \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0441\u044f \u0445\u0443\u0436\u0435, \u0447\u0435\u043c Ceph</li> <li>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, vSAN \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u044b\u0439, \u0430 Ceph, \u0432 \u0438\u0434\u0435\u0430\u043b\u0435, \u043d\u0435\u0442\u00a0\u2014 \u0438\u043b\u0438 \u0442\u043e\u0440\u043c\u043e\u0437\u0438\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043c\u043e\u0433 \u0431\u044b</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_29","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041c\u043e\u0434\u0435\u043b\u0438</p> <ul> <li>Micron 5100/5200, 9300. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 5300, 7300</li> <li>HGST SN260</li> <li>Intel P4500</li> </ul> <p>https://docs.google.com/spreadsheets/d/1E9-eXjzsKboiCCX-0u0r5fAjjufLKayaut_FOPxYZjc</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_30","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0420\u0435\u0437\u044e\u043c\u0435</p> <p>\u0420\u0435\u0437\u044e\u043c\u0438\u0440\u0443\u044f \u0432\u044b\u0448\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435, \u0434\u043b\u044f random write iops:</p> <ul> <li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e SSD \u0441 \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u0430\u043c\u0438. NVMe \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f. \u041f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0430: 99\u00a0% desktop SSD \u0438 NVMe \u043a\u043e\u043d\u0434\u0435\u043d\u0441\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442.</li> <li>\u2026\u0438 \u043d\u0430\u0434\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u044d\u0442\u0438\u043c SSD \u043a\u044d\u0448 (hdparm -W 0), \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 SATA!</li> <li>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 HDD\u00a0\u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u044b HDD \u0441\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c SSD-\u043a\u044d\u0448\u0435\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 Seagate EXOS \u0442\u0430\u043a\u043e\u0432\u044b, \u0445\u043e\u0442\u044c \u043d\u0430 \u043d\u0438\u0445 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043e \u0438 \u043d\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e.</li> <li>\u2026\u0438 \u0438\u043c \u0442\u043e\u0436\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u044d\u0448 (hdparm -W 0). \u0422\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 iops-\u044b, \u0430 \u043d\u0435 \u0443\u0445\u0443\u0434\u0448\u0430\u0435\u0442.</li> <li>SMR HDD \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434 Ceph \u043d\u0438\u043a\u043e\u0433\u0434\u0430.</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c powersave: cpupower frequency-set -g performance, cpupower idle-set -D 0</li> <li>\u041e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u0438: cephx_require_signatures = false cephx_cluster_require_signatures = false cephx_sign_messages = false (\u0438 \u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c rbd map / cephfs \u044f\u0434\u0435\u0440\u043d\u044b\u043c \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u043c \u0441 \u043e\u043f\u0446\u0438\u044f\u043c\u0438\u00a0-o nocephx_require_signatures,nocephx_sign_messages)</li> <li>min_alloc_size=16384 (\u0442\u0430\u043a \u0438 \u0431\u044b\u043b\u043e \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u043d\u0430 4096 \u0438 \u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043b 4096, \u0430 \u043f\u043e\u0445\u043e\u0436\u0435, \u0447\u0442\u043e \u0437\u0440\u044f)</li> <li>\u0410\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0432\u0435\u0440\u0441\u0438\u0439 \u0434\u043e Nautilus \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00a0\u2014\u00a0[global] debug objecter = 0/0\u00a0(\u0442\u0430\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u043e\u0440\u043c\u043e\u0437 \u043d\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435)</li> <li>\u0412 QEMU \u044e\u0437\u0430\u0442\u044c virtio</li> <li>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 All-flash \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0438 \u0432\u0430\u043c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b \u043b\u0438\u0431\u043e iops-\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439\u00a0\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0439\u00a0\u0437\u0430\u043f\u0438\u0441\u0438 (fsync/O_SYNC, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0421\u0423\u0411\u0414), \u043b\u0438\u0431\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0435 iops-\u044b\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c rbd cache (\u0432 qemu \u043e\u043f\u0446\u0438\u044f cache=none). \u0415\u0441\u043b\u0438 \u043d\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b \u0438\u043b\u0438 \u0443 \u0432\u0430\u0441 HDD, \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c cache=writeback.</li> <li>\u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0433 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c cache=unsafe, \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c\u00a0[global] rbd cache writethrough until flush = false</li> <li>~~\u0414\u043b\u044f HDD-only \u0438\u043b\u0438 Bad-SSD-Only \u0438 \u0432\u0435\u0440\u0441\u0438\u0439 \u0434\u043e Nautilus \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00a0\u2014 \u0441\u043d\u044f\u0442\u044c \u0440\u0443\u0447\u043d\u0438\u043a\u00a0https://github.com/ceph/ceph/pull/26909~~\u00a0- \u0443\u0436\u0435 \u0432\u043b\u0438\u0442</li> <li>\u0412\u043d\u0443\u0442\u0440\u0438 \u0412\u041c:\u00a0mount -o lazytime</li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_31","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435</p> <p>\u041d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0432\u0435\u0440\u0441\u0438\u0439 Ceph, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u043f\u0440\u0430\u0432\u043a\u0438 (\u0441\u043c. \u00ab\u0418\u0441\u0442\u043e\u0440\u0438\u044f\u00bb \u0432\u0432\u0435\u0440\u0445\u0443 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b). \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u00a0\u2014 12-15 luminous-octopus. \u0420\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b, \u0432\u0441\u0451 \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e. \u0415\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0444\u0438\u043a\u0441\u044f\u0442 \u0438 \u0432\u0441\u0451 \u0432\u0434\u0440\u0443\u0433 \u0441\u0442\u0430\u043d\u0435\u0442 \u0447\u0443\u0434\u0435\u0441\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u00a0\u2014 \u0441\u0430\u043c \u043f\u043e\u0431\u0435\u0433\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u043c \u0438 \u043f\u043e\u043f\u0440\u0430\u0432\u043b\u044e \u0441\u0442\u0430\u0442\u044c\u044e\u00a0:).</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_32","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0421\u043c. \u0442\u0430\u043a\u0436\u0435</p> <ul> <li>https://www.ixsystems.com/community/resources/list-of-known-smr-drives.141/\u00a0- \u0441\u043f\u0438\u0441\u043e\u043a SMR \u0434\u0438\u0441\u043a\u043e\u0432 (\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0435 \u043f\u043e\u043b\u043d\u044b\u0439)</li> <li>http://vasilisc.com/bluestore-ceph-2017\u00a0- \u043a\u043e\u0435-\u0447\u0442\u043e \u043f\u0440\u043e bluestore, \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0435\u0440\u043d\u043e, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435</li> <li> <p>https://amarao-san.livejournal.com/3437997.html\u00a0- \u00abIOPS \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442\u00bb\u00a0\u2014 \u0441\u043a\u0430\u0437 \u043e latency</p> <p>\u041f\u0440\u0438\u043c.\u0432\u0440\u0435\u0434\u00a0\u2014 iops \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442, \u043d\u043e \u0441 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u0440\u0435\u0436\u0438\u043c\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u0430</p> </li> <li> <p>https://yourcmc.ru/afr-calc/\u00a0- \u043c\u043e\u0439 \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 Ceph \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438 \u0441\u0445\u0435\u043c\u044b \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438</p> </li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#_33","title":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0441\u043e\u0442\u044c CEPH","text":"<p>\u0421\u043e\u0432\u0435\u0442\u044b \u043b\u0443\u0447\u0448\u0438\u0445 \u0441\u043e\u0431\u0430\u043a\u043e\u0432\u043e\u0434\u043e\u0432</p> <p>\u041e\u0444\u043b\u0430\u0439\u043d \u0431\u0430\u043b\u0430\u043d\u0441\u0435\u0440:</p> <p>ceph osd getmap -o om; osdmaptool om --upmap upmap.sh --upmap-deviation 0; bash upmap.sh; rm -f upmap.sh om</p> <p>\u0427\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u044f\u0437\u044b\u043a\u0435</p> <p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u0430 2 \u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434\u00a0\u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u043c\u00a0VitaliyFilippov</p> <ul> <li> <p>\u041a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c</p> </li> </ul>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%81%D0%BE%D1%82%D1%8C%20CEPH/#yourcmcwiki","title":"YourcmcWiki","text":"<p>- \u041c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0439 - \u0421\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0439 - \u0421\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u00a0CC-BY-SA, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0438\u043d\u043e\u0435.</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A1%D1%82%D0%BE%D1%80%D0%B0%D0%B4%D0%B6%D0%B8/%D0%A3%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D0%B5%20%D1%80%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%D0%B0%20%D0%B4%D0%B8%D1%81%D0%BA%D0%B0/","title":"\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u0438\u0441\u043a\u0430","text":"<p>\u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043a\u043e\u0440\u043d\u0435\u0432\u044b\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u043e\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0443\u0442\u0438\u043b\u0438\u0442\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0435\u0433\u043e \u043e\u0442\u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c.</p> <pre><code>apt install cloud-guest-utils\n</code></pre> <p>\u0414\u0430\u043b\u0435\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u0430\u043d\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u044b.</p> <p><pre><code>growpart /dev/sda 2 (\u043d\u043e\u043c\u0435\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0430)\n</code></pre> \u0420\u0430\u0437\u0434\u0435\u043b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0441\u044f, \u043d\u043e \u0444\u0430\u0439\u043b\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0435 \u0437\u043d\u0430\u0435\u0442. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043b\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443: <pre><code>df -T\n</code></pre> ext2/ext3/ext4: <pre><code>resize2fs\u00a0/dev/vg_centos/lv_root\n</code></pre> XFS: <pre><code>xfs_growfs /dev/sda2\n</code></pre> Reiserfs: <pre><code>resize_reiserfs\u00a0/dev/sdb\n</code></pre></p> <p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b \u0431\u044b\u043b \u043e\u0442\u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d, \u043c\u043e\u043d\u0442\u0438\u0440\u0443\u0435\u043c \u0435\u0433\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: <pre><code>mount /dev/sda2 /mnt\n</code></pre> \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c <pre><code>df -h\n</code></pre></p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A2%D1%83%D0%BB%D0%B7%D1%8B/%D0%9F%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D0%B0%20%D0%BF%D0%BE%D1%87%D1%82%D0%BE%D0%B2%D0%BE%D0%B3%D0%BE%20%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0/","title":"tool #mail","text":"<p>https://mxtoolbox.com/SuperTool.aspx#</p> <p>\u0421\u0430\u0439\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u043e\u0447\u0442\u043e\u0432\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u0438\u0441\u043a\u0430\u0445 \u0422\u0430\u043a \u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0434\u043d\u0441 \u0437\u0430\u043f\u0438\u0441\u0438</p>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A2%D1%83%D0%BB%D0%B7%D1%8B/FIO/RandWrite%204k%20Q1T1/","title":"RandWrite 4k Q1T1","text":"<pre><code>[fiotest]\nrw=randwrite\nname=fiotest\nblocksize=4k\nfilename=/mnt/pve/test/write\nsize=100g\nioengine=libaio\niodepth=1\nnumjobs=1\nruntime=60\ndirect=1\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A2%D1%83%D0%BB%D0%B7%D1%8B/FIO/Write%204k%20Q1T1/","title":"Write 4k Q1T1","text":"<pre><code>[fiotest]\nrw=write\nname=fiotest\nblocksize=4k\nfilename=/mnt/pve/test/write\nsize=100g\nioengine=libaio\niodepth=1\nnumjobs=1\nruntime=60\ndirect=1\n</code></pre>"},{"location":"%D0%97%D0%B0%D0%BC%D0%B5%D1%82%D0%BA%D0%B8/%D0%A2%D1%83%D0%BB%D0%B7%D1%8B/FIO/Write%208k%20Q1T128/","title":"Write 8k Q1T128","text":"<pre><code>[fiotest]\nrw=write\nname=fiotest\nblocksize=8k\nfilename=/mnt/pve/test/write\nsize=100g\nioengine=libaio\niodepth=128\nnumjobs=1\nruntime=60\ndirect=1\n</code></pre>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./","title":"\u0420\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442 \u043d\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430.","text":"<p>\u0412 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0435\u0436\u0443\u0440\u043d\u043e\u0433\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0432\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430. \u041d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u0434\u0435\u0442\u0441\u044f \u0437\u0430 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u043c\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u043c\u0438 \u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043f\u0438\u0442\u0430\u043d\u0438\u0435\u043c \u0426\u041e\u0414. \u041a\u0430\u043d\u0430\u043b\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u043b\u0435\u0440\u0442\u043e\u0432: - \u0421\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u043f\u0430\u043d\u0435\u043b\u044c \u0432 \u043a\u0430\u0431\u0438\u043d\u0435\u0442\u0435. - \u041f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c\u043c - \u041f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u0447\u0442\u0443 \u0442\u0435\u0445 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438. \u041f\u043e \u044d\u0442\u0438\u043c \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0437\u0430\u044f\u0432\u043a\u0438.</p>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_1","title":"\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u043d\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0430\u043b\u0435\u0440\u0442\u0430:","text":"<p>1) \u041f\u0440\u0438\u043d\u044f\u0442\u044c \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u0437\u0430\u044f\u0432\u043a\u0443, \u0437\u0430\u0432\u0435\u0434\u0435\u043d\u043d\u0443\u044e \u043d\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u0437\u0430\u044f\u0432\u043a\u0430 \u043d\u0435 \u0437\u0430\u0432\u0435\u043b\u0430\u0441\u044c (\u0441\u043b\u043e\u043c\u0430\u043b\u0438\u0441\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438, \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u0437\u0430\u0432\u0434\u0435\u043d\u0438\u0435 \u0438 \u0442.\u0434.), \u0442\u043e \u0437\u0430\u0432\u0435\u0441\u0442\u0438 \u0435\u0435 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 Intraservice \u0441\u0435\u0440\u0432\u0438\u0441 Alerting 2) \u0421\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u0447\u0435\u043c\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0441\u0435\u0440\u0432\u0438\u0441, \u043a\u0430\u043a\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442. \u0412\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u043a\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441. 3) \u041e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u0430. \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u044c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u0430 \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435. 4) \u041e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0437\u0430 \u0441\u0435\u0440\u0432\u0438\u0441 \u043e \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430. \u041e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u043f\u043e\u0447\u0442\u0435, \u0442\u0435\u043b\u0435\u0444\u043e\u043d\u0443 \u0438\u043b\u0438 \u043c\u0435\u0441\u0435\u043d\u0434\u0436\u0435\u0440\u0430\u0445. 5) \u041f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0441\u0438\u043b\u0430\u043c\u0438 \u0434\u0435\u0436\u0443\u0440\u043d\u043e\u0433\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435 \u0432 \u043a\u043e\u043c\u043f\u0435\u0442\u0435\u043d\u0446\u0438\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430, \u0442\u043e \u044d\u0441\u043a\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043d\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0437\u0430 \u044d\u0442\u043e\u0442 \u0441\u0435\u0440\u0432\u0438\u0441. \u0428\u0430\u0431\u043b\u043e\u043d \u043e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u043e\u0447\u0442\u0435. <pre><code>\u0417\u0434\u0440\u0430\u0441\u0442\u0432\u0443\u0439\u0442\u0435. \u0412 (\u0414\u0430\u0442\u0430 ) (\u0412\u0440\u0435\u043c\u044f) \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430. \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 (\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b) \u043d\u0430 \u0445\u043e\u0441\u0442\u0435 (\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0445\u043e\u0441\u0442\u0430)\n\u041f\u0440\u043e\u0448\u0443 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0443 \u0438 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \n\u041f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0438 \u0440\u0430\u0431\u043e\u0442 \u043f\u0440\u043e\u0448\u0443 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.\n</code></pre></p>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_2","title":"\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c","text":""},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_3","title":"\u041a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b\u0435.","text":"<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0426\u041e\u0414. SLA \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c 99.9%. \u041f\u0440\u0438 \u043e\u0442\u043a\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u0448\u0438\u043c \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043e\u043c. \u041a \u0442\u0430\u043a\u0438\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f: 1) \u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0421\u0425\u0414, \u044f\u0434\u0440\u043e \u0441\u0435\u0442\u0438 2) \u0421\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c 3) \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043e\u043f\u0443\u0441\u043a\u043e\u0432, \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0441\u0442\u043e\u0435\u043a, \u0421\u041e\u0420\u041c</p>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_4","title":"\u0418\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435","text":"<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u041e\u0442\u043a\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0426\u041e\u0414, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u0441\u0442\u0438 \u0432 \u0441\u0435\u0431\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f. 1) \u041e\u0442\u043a\u0430\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 2) \u041e\u0442\u043a\u0430\u0437 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 (\u0431\u0435\u043a\u0430\u043f\u044b, \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0441\u0435\u0440\u0432\u0435\u0440 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0441\u0435\u0440\u0432\u0435\u0440 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0412\u041f\u041d) 3) \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u0434\u043e\u043c\u0435\u043d\u0430 4) \u0412\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b (\u043d\u0435\u043a\u0441\u0442\u043a\u043b\u0430\u0443\u0434, \u0412\u041c \u043c\u0435\u043d\u0434\u0436\u0435\u0440\u043e\u0432, \u0413\u0438\u0442\u043b\u0430\u0431, \u043f\u0440\u043e\u0447\u0435\u0435)</p>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_5","title":"\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0435","text":"<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435. \u041e\u043d\u0438 \u0441\u0442\u043e\u044f\u0442 \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0435 \u0438 \u0433\u043e\u0442\u043e\u0432\u044f\u0442\u0441\u044f \u043a \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e \u0432 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0438\u0432. \u041e\u043d\u0438 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u044b \u043a\u0430\u043a \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u041f\u0440\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438 \u0430\u043b\u0435\u0440\u0442\u043e\u0432 \u043e\u0442 \u0442\u0430\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443</p>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_6","title":"\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c","text":"<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u0442 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430: - \u041a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 - \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0445\u043e\u0441\u0442\u0430 \u0438\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0426\u041e\u0414\u0410. \u0412\u0438\u0434\u044b \u043f\u0440\u043e\u0431\u043b\u0435\u043c: 1) \u0421\u0431\u043e\u0439 \u043f\u0438\u0442\u0430\u043d\u0438\u044f (\u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0437\u0434\u0430\u043d\u0438\u044f\\\u0437\u0430\u043b\u0430\\\u0441\u0442\u043e\u0439\u043a\u0438). \u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0432\u044b\u0445\u043e\u0434 \u0411\u041f \u0438\u0437 \u0441\u0442\u0440\u043e\u044f. 2) \u041f\u0435\u0440\u0435\u0433\u0440\u0435\u0432 3) \u0421\u0431\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 (\u0440\u0435\u0439\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440, \u043c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0442\u0430) 4) \u041d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 (\u0434\u0438\u0441\u043a, \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0430, \u0441\u0435\u0442\u044c, \u0446\u043f), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0432\u0435\u043b \u043a \u043e\u0442\u043a\u0430\u0437\u0443 \u0441\u0435\u0440\u0432\u0438\u0441\u0430.</p> <ul> <li>\u0421\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 - \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0435 \u0432\u0435\u0434\u0443\u0449\u0438\u0435 \u043a \u043e\u0442\u043a\u0430\u0437\u0443 \u0432 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u0438. \u041e\u0431\u044b\u0447\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043b\u043a\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. 1) \u0421\u0431\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430. (\u0426\u041f, \u043e\u043f\u0435\u0440\u0442\u0438\u0432\u0430\u043d\u044f \u043f\u0430\u043c\u044f\u0442\u044c, \u0434\u0438\u0441\u043a, \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043f\u043e\u0440\u0442, \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440) 2) \u041d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u043f\u0440\u0438\u0432\u0435\u043b \u043a \u043e\u0442\u043a\u0430\u0437\u0443. (\u0434\u0438\u0441\u043a, \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0430, \u0441\u0435\u0442\u044c, \u0446\u043f) 3) \u041e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430</li> </ul>"},{"location":"%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/%D0%A0%D0%B5%D0%B3%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82%20%D0%BD%D0%B0%20%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0./#_7","title":"\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.","text":"<p>\u041f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438: - \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441 \u0438 \u0445\u043e\u0441\u0442 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u043d\u0430 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430. - \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430. (\u043f\u0438\u043d\u0433, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 \u0431\u0440\u0430\u0443\u0437\u0435\u0440, \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u0441\u044f). \u0412 \u0437\u0430\u044f\u0432\u043a\u0435 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 - \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0445\u043e\u0441\u0442\u0430. (\u043f\u0438\u043d\u0433, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 IPMI). \u0412 \u0437\u0430\u044f\u0432\u043a\u0435 \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. \u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. - \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441 \u0438 \u0445\u043e\u0441\u0442 \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b, \u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f: 1) \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0445\u043e\u0441\u0442\u0430. \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u0447\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u043e\u0441\u0442 \u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0445\u043e\u0441\u0442\u0435. 2) \u0415\u0441\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c \u0445\u043e\u0441\u0442, \u0442\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u043e\u0441\u0442 \u0438 \u0441\u0435\u0440\u0432\u0438\u0441 3) \u0415\u0441\u043b\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0441\u0435\u0440\u0432\u0438\u0441, \u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0435\u0433\u043e \u043d\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0445\u043e\u0441\u0442\u0435. \u0423\u0431\u0435\u0434\u0438\u0442\u0441\u044f \u0447\u0442\u043e \u0441\u0442\u0430\u0440\u044b\u0439 \u0445\u043e\u0441\u0442 \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c. 4) \u041f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u0448\u0442\u0430\u0442\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 5) \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0431\u043e\u0435 \u0445\u043e\u0441\u0442\u0430, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0435 6) \u041e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u044c \u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 - \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d, \u043d\u043e \u0445\u043e\u0441\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d. 1) \u041f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0443 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 2) \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0448\u0442\u0430\u0442\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443. 3) \u0415\u0441\u043b\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0442, \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441 \u0438 \u0432\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0438\u0437 \u0431\u0435\u043a\u0430\u043f\u0430 4) \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0431\u043e\u0435\u0441\u0435\u0440\u0432\u0438\u0441\u0430, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0435 5) \u041e\u043f\u043e\u0432\u0435\u0441\u0442\u0438\u0442\u044c \u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u0430 \u0438 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445</p>"}]} |