Error: Conversion Anndata to Scarf’s Zarr format file

[drewmard]

Hi! I saw the recent paper in Nat Comm and the scarf package looks great! I have a large scRNA-seq dataset and I am interested in switching some of our pipelines over from Seurat/Scanpy to Scarf. However, I am running into an error when converting anndata to zarr file formats.

I am using an example anndata file:

>>> adata
AnnData object with n_obs × n_vars = 12479 × 33538
    obs: 'nCount_RNA', 'nFeature_RNA', 'percent.mt'
    var: 'name'

The code I am running is:

reader = scarf.H5adReader(
    f_in, 
    cell_ids_key = 'index',               # Where Cell/barcode ids are saved under 'obs' slot
    feature_ids_key = 'name',            # Where gene ids are saved under 'var' slot
    feature_name_key = 'name'  # Where gene names are saved under 'var' slot
)  

# change value of `zarr_fn` to your choice of filename and path
writer = scarf.H5adToZarr(
    reader,
    zarr_fn=f_out
)
writer.dump()

And the final error is for writer.dump():

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/scarf/writers.py", line 394, in dump
    store.set_coordinate_selection((a.row + s, a.col), a.data)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/core.py", line 1608, in set_coordinate_selection
    indexer = CoordinateIndexer(selection, self)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/indexing.py", line 714, in __init__
    boundscheck_indices(dim_sel, dim_len)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/indexing.py", line 454, in boundscheck_indices
    raise BoundsCheckError(dim_len)
zarr.errors.BoundsCheckError: index out of bounds for dimension with length 12479

Here is the full output:

>>> reader = scarf.H5adReader(
...     f_in,
...     cell_ids_key = 'index',               # Where Cell/barcode ids are saved under 'obs' slot
...     feature_ids_key = 'name',            # Where gene ids are saved under 'var' slot
...     feature_name_key = 'name'  # Where gene names are saved under 'var' slot
... )
WARNING: `obsm` group not found in the H5ad file
>>> 
>>> # change value of `zarr_fn` to your choice of filename and path
>>> writer = scarf.H5adToZarr(
...     reader,
...     zarr_fn=f_out
... )
INFO: No value provided for assay names. Will use default value: 'RNA'
WARNING: Could not find cells ids key: index in `obs`.
Reading attributes from group obs:   0%|                                                                                         
                                                                                                                                 
                                                                                                                        Reading a
ttributes from group obs:  25%| █████████████████████████████████████████████████████████████████████████████████████████████████
██████████████▊                                                                                                                  
                                                                                                               Reading attributes
 from group obs:  75%| ██████████████████████████████████████████████████████████████████████████████████████████████████████████
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
████████████████████████████████████████████████████████████████████████████████████████████████████▎ Reading attributes from gro
up obs: 100%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
██████████████████████████████████████████████████████████████████████████ 4/4 [00:00]
WARNING: Reading of obsm failed because it either does not exist or is not in expected format
Reading attributes from group var:   0%|                                                                                         
                                                                                                                                 
                                                                                                                        Reading attributes from group var:  50%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                 Reading attributes from group var: 100%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 2/2 [00:00]
	
>>> writer.dump()
  0%|                                                                                                                                                                                                                                                                                                                                                                                       8%| █████████████████████████████████████                                                                                                                                                                                                                                                                                                                                                15%| ██████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                                                           23%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                      31%| ████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                 38%| █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                            46%| ██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                       54%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                  62%| ████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             69%| █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                        77%| █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   85%| ████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 92%| ████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 92%| ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      12/13 [00:09]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/scarf/writers.py", line 394, in dump
    store.set_coordinate_selection((a.row + s, a.col), a.data)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/core.py", line 1608, in set_coordinate_selection
    indexer = CoordinateIndexer(selection, self)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/indexing.py", line 714, in __init__
    boundscheck_indices(dim_sel, dim_len)
  File "/home/amarder/anaconda3/envs/scarf_env/lib/python3.9/site-packages/zarr/indexing.py", line 454, in boundscheck_indices
    raise BoundsCheckError(dim_len)
zarr.errors.BoundsCheckError: index out of bounds for dimension with length 12479

Any suggestions would be appreciated. Thanks in advance!
-Andrew Marderstein

[stela2502]

Hello and thank you for your question. I also have had issues with Python in general and Scarf in detail.
The answer to your question is likely an extremely simple one:

If you read this line in the error message

WARNING: Could not find cells ids key: index in `obs`.

you likely have your answer.

I assume you wanted to use the obs row names. But Scarf actually expects a column with this information.
I assume the easiest is to provide a column name that actually exists.
And yes - I have been there, too. More clear error messages would be a dream come true for me. That is true for almost all Bioinformatic Python software ;-)

I hope this helps you!

[parashardhapola]

Hi @stela2502,

Thanks for pitching in. I dont think the issue is related to the Warning.
The process fails while writing the count matrix into the Zarr file.

/PD

[parashardhapola]

Since this is a bug. I have moved this discussion here:

#77 (comment)