Passed nVerticesOwned from MPAS

Author: dhyan1272

src/pmpo_MPMesh.cpp

@@ -102,7 +102,7 @@ void MPMesh::calculateStressDivergence(){
 
   //Mesh Information
   auto elm2VtxConn = p_mesh->getElm2VtxConn();
-  int numVtx = p_mesh->getNumVertices();
+  int numVtxOwned = p_mesh->getNumVerticesOwned();
   auto vtxCoords = p_mesh->getMeshField<polyMPO::MeshF_VtxCoords>();
   int numVertices = p_mesh->getNumVertices();
   auto tanLatVertexRotatedOverRadius = p_mesh->getMeshField<MeshF_TanLatVertexRotatedOverRadius>();
@@ -176,7 +176,7 @@ void MPMesh::calculateStressDivergence(){
   }
 
   auto stressDivergence = p_mesh->getMeshField<MeshF_StressDivergence>();
-  Kokkos::parallel_for("calculate_divergence", numVtx, KOKKOS_LAMBDA(const int vtx){
+  Kokkos::parallel_for("calculate_divergence", numVtxOwned, KOKKOS_LAMBDA(const int vtx){
     double ramp = nearAnEdge_l(vtx);
     double invM = 1.0/vtxMatrixMass_l(vtx);
     invM = vtxMatrixMass_l(vtx) >1e-4 ? invM : 0;

src/pmpo_c.cpp

@@ -814,6 +814,12 @@ void polympo_setMeshNumVtxs_f(MPMesh_ptr p_mpmesh, const int numVtxs){
   p_mesh->setMeshVtxBasedFieldSize(); 
 }
 
+void polympo_setMeshNumVtxsOwned_f(MPMesh_ptr p_mpmesh, const int numVtxsOwned){
+  checkMPMeshValid(p_mpmesh);
+  auto p_mesh = ((polyMPO::MPMesh*)p_mpmesh)->p_mesh;
+  p_mesh->setNumVtxsOwned(numVtxsOwned);
+}
+
 void polympo_getMeshNumVtxs_f(MPMesh_ptr p_mpmesh, int & numVtxs) {
   checkMPMeshValid(p_mpmesh); //chech vailidity
   auto p_mesh = ((polyMPO::MPMesh*)p_mpmesh)->p_mesh;

src/pmpo_c.h

@@ -64,6 +64,7 @@ void polympo_setMeshGeomTypePlanar_f(MPMesh_ptr p_mpmesh);
 void polympo_setMeshGeomTypeSpherical_f(MPMesh_ptr p_mpmesh);
 void polympo_setMeshSphereRadius_f(MPMesh_ptr p_mpmesh, const double sphereRadius);
 void polympo_setMeshNumVtxs_f(MPMesh_ptr p_mpmesh, const int numVtxs);
+void polympo_setMeshNumVtxsOwned_f(MPMesh_ptr p_mpmesh, const int numVtxsOwned);
 void polympo_getMeshNumVtxs_f(MPMesh_ptr p_mpmesh, int & numVtxs);
 void polympo_setMeshNumElms_f(MPMesh_ptr p_mpmesh, const int numElms);
 void polympo_getMeshNumElms_f(MPMesh_ptr p_mpmesh, int & numElms);

src/pmpo_fortran.f90

@@ -522,6 +522,15 @@ subroutine polympo_setMeshNumVtxs(mpMesh,numVtxs) &
     integer(c_int), value :: numVtxs
   end subroutine
 
+
+  subroutine polympo_setMeshNumVtxsOwned(mpMesh,numVtxsOwned) &
+             bind(C, NAME='polympo_setMeshNumVtxsOwned_f')
+    use :: iso_c_binding
+    type(c_ptr), value :: mpMesh
+    integer(c_int), value :: numVtxsOwned
+  end subroutine
+
+
   !---------------------------------------------------------------------------
   !> @brief get the number of mesh vertices
   !> @param mpMesh(in) mpMesh object

src/pmpo_mesh.cpp

@@ -156,7 +156,7 @@ namespace polyMPO{
   void Mesh::gridSolveGPU(){
     std::cout<<__FUNCTION__<<std::endl;
     //Mesh Fields
-    int numVertices = getNumVertices(); 
+    int numVerticesOwned = getNumVerticesOwned(); 
     auto totalMassVtx = getMeshField<MeshF_TotalMassVtx>();
     auto totalMassFVtx = getMeshField<MeshF_TotalMassFVtx>();
     auto airStress = getMeshField<MeshF_AirStress>();
@@ -171,7 +171,7 @@ namespace polyMPO{
     double sinOceanTurningAngle=0.0;
     double cosOceanTurningAngle=1.0;   
 
-    Kokkos::parallel_for("SolveGridVelocity", numVertices, KOKKOS_LAMBDA(const int vtx){
+    Kokkos::parallel_for("SolveGridVelocity", numVerticesOwned, KOKKOS_LAMBDA(const int vtx){
       if(solve_velocity(vtx) == 0) return;
       double a, b, c, d, s, rhs_u, rhs_v, denom ;
 
@@ -195,7 +195,7 @@ namespace polyMPO{
         printf("Vtx %d F: %.15e %.15e %.15e %.15e %.15e %.15e %.15e %.15e %.15e \n", vtx, totalMassVtx(vtx,0), totalMassFVtx(vtx,0), 
         airStress(vtx,0), airStress(vtx,1), surfaceTiltForce(vtx,0), surfaceTiltForce(vtx,1), oceanStress(vtx,0), oceanStress(vtx,1), 
         oceanStressCoeff(vtx, 0));*/
-        printf("Vtx %d V: %.15e %.15e \n", vtx, velocity(vtx,0), velocity(vtx,1));
+        //printf("Vtx %d V: %.15e %.15e \n", vtx, velocity(vtx,0), velocity(vtx,1));
       }  
     });
   }

src/pmpo_mesh.hpp

@@ -123,6 +123,7 @@ class Mesh {
 
     double sphereRadius_;
     int numVtxs_;
+    int numVtxsOwned_;
     int numElms_;
     //IntView nEdgesPerElm_;
     IntVtx2ElmView elm2VtxConn_;
@@ -203,6 +204,7 @@ class Mesh {
     geom_type getGeomType() { return geomType_; }
     double getSphereRadius() { return sphereRadius_; }
     int getNumVertices() { return numVtxs_; }
+    int getNumVerticesOwned() { return numVtxsOwned_; }
     int getNumElements() { return numElms_; }
     IntVtx2ElmView getElm2VtxConn() { return elm2VtxConn_; }
     IntElm2ElmView getElm2ElmConn() { return elm2ElmConn_; }
@@ -221,6 +223,8 @@ class Mesh {
                                                sphereRadius_ = sphereRadius;}
     void setNumVtxs(int numVtxs) {PMT_ALWAYS_ASSERT(meshEdit_);
                                   numVtxs_ = numVtxs;}
+    void setNumVtxsOwned(int numVtxsOwned) {PMT_ALWAYS_ASSERT(meshEdit_);
+                                  numVtxsOwned_ = numVtxsOwned;}
     void setNumElms(int numElms) {PMT_ALWAYS_ASSERT(meshEdit_);
                                   numElms_ = numElms;}
     void setElm2VtxConn(IntVtx2ElmView elm2VtxConn) {PMT_ALWAYS_ASSERT(meshEdit_);