Cuando actualizo los datos?

Hola a todos. Mi duda es la siguiente:

He realizado una app para android en la que desde una pagina web se genera un mensaje que tiene que ir a los usuarios de la app. Estos mensajes se van almacenando en una base de datos mysql dentro de un servidor y una vez insertado el mensaje envia una notificación a los usuarios interesados de la app. (Todo esto me ha llevado algún que otro dolor de cabeza, pero al final he logrado que funcionase utilizando el servicio gratuito que ofrece la página parse.com. Si alguien está interesado en saber como funciona que me lo diga y le ahorro los dolores de cabeza que he tenido yo).

Hasta aquí todo funciona ok. La duda que tengo es: Cuando se tienen que actualizar los datos en la aplicación con el servidor mysql? En un primer momento lo desarrollé haciendo que cada vez que se querían consultar los mensajes en la app, este se conectaba al servidor mysql, recogía los mensajes y los mostraba en una lista. Luego pensé que este sistema era poco eficiente, ya que si el usuario volvía a ver los mensajes aunque no hubiera ninguno nuevo, la app siempre estaba realizando la conexión con el servidor mysql sin que hubiera necesidad. Además, si el usuario no estaba conectado, no podia utilizar la app. Entonces cambié el sistema e hice que la app se conectara con los datos mysql y se los bajara a una base de datos interna sqlite. Hasta aquí todo bien. Y ahora viene mi duda:

En que momento hago para que se actualicen los datos otra vez? Lo he hecho cuando el usuario abre la notificacion, entonces es cuando se conecta al servidor mysql y recoge los mensajes nuevos. Pero que pasa si el usuario pasa de la notificación y abre la app directamente? los datos no se actualizan ya que no ha abierto la notificación. Ahora estoy probando en hacerlo cuando se reciba la notificación (se recibe la notificación invisible para el usuario, actualizo los datos y lanzo la notificación para que sea visible para el usuario). Esta sería una manera correcta de hacerlo? Y si recibe dos notificaciones en un breve intervalo de tiempo? Me gustaría que si hay alguien que ha diseñado algún tipo de app parecida me indicara la forma que el ha utilizado para hacer que los datos siempre estén actualizados, sin estar constantemente pidiendo actualizaciones al servidor, sino que solo lo hiciera en el momento en el que realmente hay mensajes nuevos.

Gracias.