Re: Exadata writeback Flash Cache usable space

  • From: Ls Cheng <exriscer@xxxxxxxxx>
  • To: Rajesh Aialavajjala <r.aialavajjala@xxxxxxxxx>
  • Date: Mon, 19 Jul 2021 22:33:18 +0200

Hi

I have to enable write back for flash cache in x9m because there is a write
bottleneck in the current X6 Exadata where flash cache is configured with
write though. So do we agree writeback reduces flash cache by the magnitude
of ASM redundancy? By x2 (normal redundancy) or  x3 (high redundancy). This
was my main question.

Thanks


On Mon, Jul 19, 2021 at 1:28 PM Rajesh Aialavajjala <
r.aialavajjala@xxxxxxxxx> wrote:

I guess this is 'nuanced'...Flash cache mirroring vs ASM mirroring...  
Writeback
usually reduces the effective size of the cache because multiple copies
need to be retained to ensure that data integrity is maintained, even in
the event of a failure.

When write-back cache is enabled, the acknowledgement comes after the data
is written to FlashCache.  Unlike a DRAM cache, Flash is persistent
storage, so it doesn't need to be written to disk. * To protect against
failure of the Flash, all writes are multiplexed across either 2 or 3
Exadata cells depending on the choice of NORMAL or HIGH redundancy
respectively.*

The data is NOT written to disk until there is space-pressure in the
Flash.

With Writeback flash cache, the data is redundant based on the defined
redundancy for the diskgroup you are writing to.  *ASM takes care of the
redundancy independently of whether cellsrv writes the data to the flash or
hard disk*.

Given that this is an X9 - PMEM comes into play -- the default setting for
PMEM Cache is Write-Through.

Again -- additions, comments, corrections are welcome.

Thanks,

--Rajesh

On Mon, Jul 19, 2021 at 3:48 AM Ls Cheng <exriscer@xxxxxxxxx> wrote:

Hi

Since writeback can contain dirty data it needs mirroring, since the
dirty data in writeback mode contains database modified blocks I think it
should follow the same redundancy as the disk groups.

I just found this yesterday, a bit dated but I think it applies


https://uhesse.com/2014/08/06/why-write-through-is-still-the-default-flash-cache-mode-on-exadata-x-4/


Thanks



On Sun, Jul 18, 2021 at 3:07 PM Rajesh Aialavajjala <
r.aialavajjala@xxxxxxxxx> wrote:

I do not think that this is necessarily the case.

The flashcache mode being set to "WriteBack" should not reduce the
capacity of the flash cache available by a third. Also - I do not think
that there's a dependency or link between the redundancy of the ASM disk
groups and the flashcache mode.

Each HC cell is provisioned with 25.6 TB of "raw" PCI flash...

From an environment that  has "WriteBack Flash Cache   Enabled" - I see
a reported cache size of 23 odd TB for each cell (this is an X8M-2)

# cellcli -e list flashcache detail
effectiveCacheSize: 23.28692626953125T
id:
size: 23.28692626953125T
status: normal

Additions, comments, corrections are welcome.

Thanks,

--Rajesh

On Sat, Jul 17, 2021 at 4:22 AM Ls Cheng <exriscer@xxxxxxxxx> wrote:

Hi

We are deploying a new Exadata x9m quarter rack with HC disks next week
and the flashcache will be configured using writeback instead of
writethrough.

In writeback mode the flash is mirrored whereas in writethrough if I
understood correctly there is no mirroring. So I have a doubt, the quarter
rack has 76.8 TB raw flash space, what is the usable space with writeback
enabled? Since we are using High Redundancy I expect 25.6TB usable flash
cache space, correct?

Thanks



Other related posts: