ก่อนอื่นต้องขอ share ประสบการณ์เกี่ยวกับ Datastore หน่อยค่ะ
คือ Default เวลาที่เราลง ESX เสร็จใหม่ๆ มันจะสร้าง Partition ที่เป็น VMFS ซึ่งมี Block Size ขนาด 1 MB
พอเมื่อเรามี Share Storage เช่น SAN ก็จะต้องสร้าง Datastore ใหม่ ซึ่งปกติ ใน Wizard มันจะถามว่าเราจะกำหนด Block Size ขนาดเท่าไหร่
เพื่อนๆ เคยมีใครสงสัยตรงนี้ไหมว่าเอาไว้ทำอะไร

ประสบการณ์ที่เจอมากับตัวเอง คือ ต้องการขยาย Virtual Disk สำหรับ Virtual Machine ซึ่งของเดิมสร้างไว้ขนาด 200GB แต่ต้องการขยาย Disk เป็น 500GB จาก VM -> Edit Setting มันบอกว่า Over limit ก็สงสัยว่า Datastore ยังเหลือพื้นที่อยู่หลาย TB แล้วทำไมเราไม่สามารถขยาย Virtual Disk ก็เลยไปหาคำตอบเป็นดังนี้ว่า
Default Datastore ครั้งแรกจะเป็น 1 MB ซึ่งมันสามารถสร้างไฟล์ VMDK ได้ไม่เกิน 256GB คราวนี้ก็ถึงบางอ้อเลยว่าเกิดอะไรขึ้น
คราวนี้ก็ต้องย้าย VM ไปอยู่ที่ Datastore ที่มี Block size ใหญ่กว่า 1MB

ดังนั้น Best Practice คือ ควรแบ่ง Partition (ใช้โปรแกรมพวก ServeRAID หรือ Startmart แบ่ง Disk) สำหรับการลง ESX แค่ประมาณ 20GB แล้ว Disk ที่เหลือค่อยมาสร้างเป็น VMFS หรือ Datastore ทีหลังที่มี Block size ขนาด 8 MB ไปเลย (สำหรับลูกค้าที่มี Disk ขนาดใหญ่ๆ) เหตุผลที่ควรแบ่ง Partitionแค่ 20 GB คือ ESX4 มันจะเอา Service Console ไว้อยู่ใน Datastore ด้วย ดังนั้นเราไม่สร้างลบ Default Datastore ได้หลังจากการลง ESX เสร็จแล้ว
 

แหล่งที่มา
Maximum size of VMDK file for vSphere & provision of a 1TB VM

http://communities.vmware.com/message/1316177

firstly Max Mem is 255GB, but max disksize depends on your VMFS block size.

1MB block size = Max VMDK 256GB
2MB block size = Max VMDK 512GB
4MB block size = Max VMDK 1024GB
8MB block size = Max VMDK 2048GB-512bytes

Block size is set a VMFS formating stage. it is now considered best practice to format your LUNs with 8MB blocks as this will allow easy expansion if you need to grow your LUN sizes.
 
this block size has been inplace since the release of VI3. however a VMFS partition that is created during installation will always be created with the default 1MB block size. this will mean that you will never be able to create a VMDK of a size greater that 256GB. to get greater block sizes consider VMFS creation post installion (just remove the VMFS partion for the partition table during installation) and use either the VIC to create the datastore or via the command line with vmsftools command.
vmkfstools --createfs vmfs3 --blocksize 8M vmhba0:0:0:3

ขอบคุณมากครับ .. แล้ว case ต่าง ๆ แบบนี้ควรจะทำยังไงครับ

 - Block size ใหญ่มากไปจะมีผลกับ Performance ไหมครับ ?
 - ถ้าใช้งานเป็น Database เช่น Microsoft SQL ซึ่ง Best จะต้อง Format บน System ให้เป็น Block ขนาด 8k แต่ข้างล่างเป็น 2 MB แบบนี้ Performace จะถูก Drop ลงไปไหมครับ ?
 - ถ้า Database เรา Mapping เป็นแบบ Mapping Raw Device จะดีกว่าเป็นแบบ VMFS ไหมครับ (ผมเคยทดสอบ Performance แล้วแบบ VMFS จะมี IOPS น้อยกว่าแบบ Raw ประมาณ 25% ครับ)

การกำหนดขนาดของblock size บน disk เป็นตัวกำหนดว่าเราสามารถสร้าง file 1 file ได้มีขนาดใหญ่สูงสุดเท่าไร เพื่อใช้เก็บลงไปในเนื้อdisk ซึ่งระบบ  LVM (logical volume manager) ของUnix หรือ Linux ก็เป็นแบบเดียวกัน เพื่อไว้ใช้ในการเก็บ file database 1 file ที่มีขนาดใหญ่มากๆ ในเรื่องPerformanceไม่น่าจะมีปํญหา เช่น ถ้าเรามี file ขนาด 200 GB จำนวน  3 files = 600 GB กับ file ขนาด 6MB จำนวน 600,000 files = 600 GB ถามว่า หัวอ่านของdisk ที่เก็บ fileทั้ง 2 แบบทำงานหนักกว่ากัน แบบที่ 2 น่าจะทำงานหนักกว่า เช่น การเขียน log file จำนวนมากๆ

อ่านแล้ว .. งง ครับ ช่วยแตกประเด็นให้หน่อยนะครับ ..

เขียนเองก็ งง เองเหมือนกันครับ 

ก็คือ ถ้าเรามี disk 1 ลูกขนาด 1 TB  กำหนด block size ขนาด 1 MB เราสามารถสร้าง 1 file ที่มีใหญ่สุด 256 GB จะเก็บได้ มีทั้งหมด ประมาณ 4 files
ในทำนองเดียวกัน disk 1 ลูกขนาด 1 TB  กำหนด block size ขนาด 1 MB แต่เราเก็บ file เล็กๆ หรือ สร้าง file เล็กๆ จำนวนมากๆ
เมื่อdiskมีการเรียกใช้ file ( user logon ในระบบเพื่อเรียกใช้ file) ถามว่า disk แบบไหนทำงานหนักมากกว่ากัน ซึ่งก็คือ คำถามที่ถามว่า Block size ใหญ่มากไปจะมีผลกับ Performance หรือไม่

คำตอบ ในความคิดส่วนตัวผม ไม่น่าจะมีครับ performance ดี หรือไม่ดี น่าจะเป็น จำนวนfileที่มีการเรียกใช้มากกว่า (load เข้าไปใน memory)

ท่านใดถ้ามีความคิดแตกต่างออกไป เสนอความคิดเห็นได้เลยครับ เพื่อเป็นความรู้แก่ผมด้วย

ได้ 4 Datastore ครับ ตามรูปที่ 1


ส่วนนี้เป็น .vmdk หรือ เป็น raw device ครับ ..

• .vmdk : เพราะว่า ถ้าเป็น .vmdk ก็จะมีขนาด block ตามที่เราสร้างใน Datastore
• raw device : ตามที่เรา format ใน os ครับ

1. ทำงานหนักขึ้นอยู่กับการ access ของข้อมูล
2. Block size ใหญ่มากไปจะมีผลกับ Performance หรือไม่ > ขึ้นอยู่กับลักษณะของงานที่เรียกใช้ครับ ลองดูที่รูป 2 - 4 ครับ

เท่าที่อ่านดูจากที่หามาเค้าแนะนำให้ทำ 2 ส่วนคือ

1. Aligning Guest + VMFS + LUN
2. Understanding VMFS block size

ขอบคุณมากครับ

ผมขอแชร์ นิดนะครับ เพื่อมุมมองอีกมุมครับ อาจจะใช้กับ VMFS ไม่ได้ก็ได้ครับ (หุๆ)

ผมว่า ตามความคิดของผม IO size ที่ใหญ่มีผลกับ performance ครับ โดยคิดจาก

Performance คิดจากอะไร ===> Response-time ?
Response time มาจากไหน ====> service time + Queue Time ?
IO size คือตัวแปรหนึ่งของ service time ถ้า IO size ที่ใหญ่ service time จะมากขึ้น (เป็นเหตุให้ต้องเพิ่ม spindle ของ disk กันประจำ)

ผิดถูกประการใดขออภัยด้วยนะครับ แชร์ๆ ความรู้กันครับ เป็นอีกมุมมองนึงครับ (อาจจะผิดก็ได้ เอาไว้ได้คำตอบชัวๆ จะมาแชร์ให้ฟังใหม่ครับ)

หมายเหตุ: ชอบเวปนี้นะครับแลกเปลี่ยนกันเฉพาะ VMware ล้วนๆ ในวันหน้ามี คลับก็ดีนะครับจาไปร่วม แน่นอนครับ

ขอบคุณคุณครับ ..​

จริง ๆ วันนี้ก็นั่งคุยกับคนที่เข้ามา implement VMware ให้ลูกค้า เกี่ยวกับการ align disk (เพราะว่าผมทำด้าน Storage) ว่าได้ทำให้ลูกค้าบ้างไหม และในส่วนของ Guest OS ได้ทำการ format อย่างไรบ้าง เพราะว่า จริง ๆ แล้วแค่ทำในส่วนนี้จะทำให้ VMware ที่ใช้งานอยู่ได้ Performance เพิ่มได้อีกนิดนะครับ ..​

ตอบเท่าที่ทราบละกันครับ
- Raw Device mapping แบบ physical performance ดีกว่า VMFS แน่นอนอยู่เพราะไม่ต้องมี overhead ที่ file system VMFS อีกต่อ

- Raw Device mapping แบบ virtual performance ใกล้เคียงกับ VMFS หนีกันน้อยมาก

- RDM physical ทำให้สูญเสียคุณลักษณะ virtualize ไปคือ ต้องใช้ storage จัดการอีกต่อ ถ้า backup/restore โดย vcb จะลำบาก

งั้น ๆๆ ถามต่อครับ .. ว่าแบบไหนที่สามารถเอาไป map กับ Hardware จริง ๆ ได้ครับ .. โดยที่ data ยังไม่หายครับ ..

หมายถึง data ยังอยู่ที่เดิมใช่ป่ะครับ ถ้าใช่ RDM physical ครับ

แบบยังไงก็ได้ครับ .. ขออย่างเดียวว่า Data ไปใช้กับ Phy จริง ๆ ได้ ในกรณีที่เอา VMware ขึ้นไม่ทันครับ

ถ้า ESX พังไปเลย แต่ storage ยังอยู่ มี host อยู่ config ให้มองเห็น storage ก็จะใช้ได้เลยครับสำหรับในส่วน RDM Physical

ส่วน RDM Virtual ยังไม่เคยลองจริงจังครับ

มา ช่วยเคลียร์ คับ

Raw  Phy  ทำการ ส่ง SCSI command ไปยัง ดิสกโดยตรงเลยคับ  
Raw vir    จำทำการเปลี่ยนและกรอง บาง SCSI command  ไม่ให้ไปเขียน ดิสกโดยตรงคับ  ซึ่ง การกรอง นี้เอง  จะทำใด้ คุณสมบัติ ของ virtualize ด้วย   นั้นคือ  ทำ snapshot ได้
 Raw phy ไม่  ซัพพอต snapshot คับ  อย่างที่รู้กัน  ถ้าเขียนลงดิสกตง  จะเอาที่ไหนไปจัดการการทำ Snapshot

  
ที่ผมทำให้ลูกค้ามานะฮะ
Raw phy ใช้กรณีเดียวเอง  คือ  ใช้ ทำเครื่อง  วีเอมที่ไว้ บรืหารจัดการดิสกคับ  
นอกนั้น  ผมไม่เห็นความจำเป็นในการใช้ครับ

ข้อดี Raw คือ
ใช้ทำ MSCS   or  file sharing  ครับ เนื่องจาก ขอ้มูลที่ได้นั้น จะอยู่ใน ฟอแมท NTFS   (ไม่ใช่ก้อน vmdk)  

เสียคือ
ต้อง อุทิศดิสก์ทั้งลันในการทำเลยคับ  ไม่สามารภแบ่งใช้แบบ VMFS ได้ และ แมเนจยากพอควร