Ceph
Mulig feilfix for VMer som booter til initramfs/bsod
(muligens) pga en manglende konfigurasjon i ceph-mon capabilities i alle versjoner av puppet-modulen ntnuopenstack før versjon VQ.1.1, kan VMer som har blitt skrudd av med tvang, bli meget triste i disken sin og nekte å boote skikkelig. Dette kan fikses ved å gjøre en "flatten" av disken i ceph.
# Skru av VMen som ikke booter # Ta en backup (uuid er VMens uuid fra nova) cephmon1# rbd -p volumes export <uuid>_disk <filnavn> # Kjør flatten (uuid er VMens uuid fra nova) cephmon1# rbd flatten volumes/<uuid>_disk # Skru den på igjen
Skru av reabalansering av OSDer
Dette er nyttig hvis man skal ha planlagt vedlikehold av en ceph-server. Det sørger for at ceph IKKE rebalanserer data når man skrur av en ceph-boks (det skaper veldig mye trafikk).
Gjøres på en ceph-mon host
ceph osd set noout
Etter utført vedlikehold, må man skru på igjen rebalanseringen
ceph osd unset noout
Bytte en disk
storageNN# puppet agent --disable ceph-mon# ceph osd crush reweight osd.<id> 0 // Sett vekting på OSDen til 0, for å migrere data av den, og for å hindre en ny rebalansering når man fjerner OSDen fra crushmap // Vent til rebalanseringen er ferdig ceph-mon# ceph osd out osd.<id> storageNN# systemctl stop ceph-osd@<id> ceph-mon# ceph osd purge osd.<id> --yes-i-really-mean-it storageNN# umount /var/lib/ceph/osd/ceph-<id> // Slett raidet fra hpacucli e.l. Bytt disken fysisk, og opprett nytt raid. // Sørg for at OSet har oppdaget ny disk, og at hieradata for disken stemmer storageNN# puppet agent --enable; puppet agent --test
Foreman
Liste alle interfjes
hammer host interface list --host <hostname> hammer host interface list --host compute06.skyhigh
Slette interfjes
hammer host interface delete --id <interface-id> --host <hostname>
Interface-id blir listet ut av liste-kommandoen. Da kan man f.eks gjøre smarte ting som:
hammer host interface list --host compute05.skyhigh | egrep 'qv|qbr|tap|virbr|ovs|qg|qr|ha' | awk '{print $1}' > delete.txt
og
for i in $(cat delete.txt); do hammer host interface delete --id $i --host compute05.skyhigh; done
Haproxy
To take a server out of haproxy rotation the following command can be used:
root@servicelb3:~# echo "disable server bk_keystone_public/controller03" | nc -U /var/lib/haproxy/stats
Openstack
List instances on all compute nodes on stack.it.ntnu.no
tmp_file=/tmp/$$.stack.tmp while true ; do rm /tmp/*.stack.tmp for a in $(seq -w 01 07); do echo compute$a >> $tmp_file openstack server list --all --host compute$a >> $tmp_file done clear cat /tmp/bjarneskvms rm $tmp_file sleep 1 done
List all instances in a project
openstack server list --project ntnu-00001
List all instances in a project with specified name
openstack server list --project ntnu-00001 --name bjarneskvm-\*
Migrate all instances away from one node. Be sure that destination have capasity to receive. The break time is included for a safe time to hold ctrl+c
from_node=compute07 to_node=compute04 for a in $(openstack server list --host $from_node --all -f value -c ID); do do echo $a to $to_node openstack server migrate --block-migration --live $to_node --wait $a echo break sleep 3 echo break done
Rabbitmq
Manually drain a queue
kanin1# rabbitmqadmin purge queue name=name_of_the_queue_to_be_purged