You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 19 Next »

Ceph

Mulig feilfix for VMer som booter til initramfs/bsod

(muligens) pga en manglende konfigurasjon i ceph-mon capabilities i alle versjoner av puppet-modulen ntnuopenstack før versjon VQ.1.1, kan VMer som har blitt skrudd av med tvang, bli meget triste i disken sin og nekte å boote skikkelig. Dette kan fikses ved å gjøre en "flatten" av disken i ceph.

# Skru av VMen som ikke booter
# Ta en backup (uuid er VMens uuid fra nova)
cephmon1# rbd -p volumes export <uuid>_disk <filnavn>
# Kjør flatten (uuid er VMens uuid fra nova)
cephmon1# rbd flatten volumes/<uuid>_disk
# Skru den på igjen

 

Skru av reabalansering av OSDer

Dette er nyttig hvis man skal ha planlagt vedlikehold av en ceph-server. Det sørger for at ceph IKKE rebalanserer data når man skrur av en ceph-boks (det skaper veldig mye trafikk).

Gjøres på en ceph-mon host

ceph osd set noout

Etter utført vedlikehold, må man skru på igjen rebalanseringen

ceph osd unset noout

Bytte en disk

storageNN# puppet agent --disable
ceph-mon#  ceph osd crush reweight osd.<id> 0 // Sett vekting på OSDen til 0, for å migrere data av den, og for å hindre en ny rebalansering når man fjerner OSDen fra crushmap
// Vent til rebalanseringen er ferdig
ceph-mon#  ceph osd out osd.<id>
storageNN# systemctl stop ceph-osd@<id>
ceph-mon#  ceph osd purge osd.<id> --yes-i-really-mean-it

storageNN# umount /var/lib/ceph/osd/ceph-<id>
// Slett raidet fra hpacucli e.l. Bytt disken fysisk, og opprett nytt raid.
// Sørg for at OSet har oppdaget ny disk, og at hieradata for disken stemmer
storageNN# puppet agent --enable; puppet agent --test

 

Foreman

Liste alle interfjes

hammer host interface list --host <hostname>
hammer host interface list --host compute06.skyhigh

Slette interfjes

hammer host interface delete --id <interface-id> --host <hostname>

Interface-id blir listet ut av liste-kommandoen. Da kan man f.eks gjøre smarte ting som:

hammer host interface list --host compute05.skyhigh | egrep 'qv|qbr|tap|virbr|ovs|qg|qr|ha' | awk '{print $1}'  > delete.txt

og 

for i in $(cat delete.txt); do hammer host interface delete --id $i --host compute05.skyhigh; done

Haproxy

To take a server out of haproxy rotation the following command can be used:

Disable server in haproxy
root@servicelb3:~# echo "disable server bk_keystone_public/controller03" | nc -U /var/lib/haproxy/stats
 

Openstack

List instances on all compute nodes on stack.it.ntnu.no

tmp_file=/tmp/$$.stack.tmp
while true ; do
  rm /tmp/*.stack.tmp
  for a in $(seq -w 01 07);
    do echo compute$a  >> $tmp_file
    openstack server list --all --host compute$a >> $tmp_file
  done
  clear
  cat /tmp/bjarneskvms
  rm $tmp_file
  sleep 1
done

List all instances in a project

openstack server list --project ntnu-00001

List all instances in a project with specified name

openstack server list --project ntnu-00001 --name bjarneskvm-\*

Migrate all instances away from one node. Be sure that destination have capasity to receive. The break time is included for a safe time to hold ctrl+c

from_node=compute07
to_node=compute04
for a in $(openstack server list --host $from_node --all -f value -c ID); do 
  do echo $a to $to_node
  openstack server migrate --block-migration --live $to_node --wait $a
  echo break
  sleep 3
  echo break
done

 

Rabbitmq

Manually drain a queue

kanin1# rabbitmqadmin purge queue name=name_of_the_queue_to_be_purged

 

Migrering av VMer på infra-noder som kjører KVM

Smørbrødliste med prereqs for å migrere VMer mellom infra-/api-noder som kjører KVM. Lista tar høyde for at du gjør migreringen med en personliggrupper som har nødvendige rettigheter for å arbeide med kvm/librt/qemu. Denne guiden forklarer migrering tunnellert over SSH av VMer uten delt lagring.

  1. root på noden du skal flytte fra må ha et SSH-nøklepar hvor public keyen er lagt i ~/.ssh/authorized_keys for din egen bruker på noden du flytter til.
    1. Dette kan vel muligens egentlig fikse med puppet, men det kan selvfølgelig også fikses manuelt per behov...
  2. Opprett LVM-volumet for VMen som skal flyttes, på noden den skal flyttes til. Gjør gjerne dette i Virtual Machine Manager. Det er enklest.
  3. VMen som skal flyttes må være konfigurert med en CPU-model som er kompatibel med noden den skal flyttes til. Dersom den ikke er det, skru VMen av, velg en passende modell, og skru den på igjen.

Migreringen gjøres slik, på noden du skal flytte fra. VMen må være på. 

$ virsh migrate --p2p --tunneled --persistent --copy-storage-all --verbose <vm-navn> qemu+ssh://<bruker>@<noden du skal flytte til>/system

VMen vil pauses under migreringen

Eksempel:

$ virsh migrate --p2p --tunneled --persistent --copy-storage-all --verbose flyttevm qemu+ssh://foo@kjempefinserver.mitt.domene.er.be.st/system

Kjente og/eller mulige ymse problemer og triks

  • Vi har observert at VMer som migreres til ny host kan finne på å ta samme macvtap-interface som allerede kjørende VM. Det skaper åpenbart meget lite nettvirk når disse maskinen står på samtidig.
    • Hvilket macvtap-interface VMene har, kan sjekkes med virsh domiflist <vm-navn>
    • Løsning: Skru av begge VMene. Skru dem på igjen, én og én

 

  • Hvis du endret CPU-model for VMen på flyttefot, kan det være hyggelig å endre den tilbake når den er ferdig flyttet. "Copy host-model" er en fin variant.
  • No labels